🚨 Проблема #1 з локальним ШІ тепер вирішена. Є новий інструмент під назвою llmfit, який перевіряє ваше обладнання і повідомляє, які моделі працюватимуть добре, ще до того, як ви щось завантажите. Тож замість того, щоб гадати і знаходити помилки з пам'яті... Він дає рейтинговий список за вашим комп'ютером. Що він робить (в одній команді): → сканує вашу систему (RAM / CPU / GPU / VRAM) → оцінює моделі за якістю, швидкістю, посадкою та контекстом → автоматично вибирає найкращу квантизацію → позначає, що ідеально, що прийнятно і що на межі Найбільше мені подобається: він правильно працює з моделями MoE. Приклад: Mixtral 8x7B має ~46,7B загальних параметрів, але активні лише ~12,9B на токен, і llmfit це враховує (багато інструментів досі не враховують). 100% відкритий код.