🚨 Vấn đề #1 với AI địa phương giờ đã được giải quyết. Có một công cụ mới gọi là llmfit kiểm tra phần cứng của bạn và cho bạn biết mô hình nào sẽ chạy tốt trước khi bạn tải xuống bất kỳ thứ gì. Vì vậy, thay vì đoán và gặp lỗi hết bộ nhớ… nó cung cấp cho bạn một danh sách xếp hạng dựa trên máy của bạn. Công cụ này làm gì (trong một lệnh): → quét cấu hình của bạn (RAM / CPU / GPU / VRAM) → đánh giá các mô hình về chất lượng, tốc độ, độ phù hợp và ngữ cảnh → tự động chọn định lượng tốt nhất → gán nhãn cái gì là lý tưởng, cái gì là ổn và cái gì là biên giới Phần tôi thích nhất: nó xử lý các mô hình MoE một cách chính xác. Ví dụ: Mixtral 8x7B có ~46.7B tham số tổng cộng, nhưng chỉ ~12.9B là hoạt động cho mỗi token, và llmfit tính đến điều đó (nhiều công cụ vẫn không làm được). 100% Mã nguồn mở.