🚨 Проблема номер 1 с локальным AI теперь решена. Существует новый инструмент под названием llmfit, который проверяет ваше оборудование и сообщает, какие модели будут хорошо работать, прежде чем вы что-либо загрузите. Таким образом, вместо того чтобы гадать и сталкиваться с ошибками нехватки памяти… он предоставляет вам ранжированный список на основе вашего устройства. Что он делает (в одной команде): → сканирует вашу конфигурацию (ОЗУ / ЦП / ГП / Видеопамять) → оценивает модели по качеству, скорости, соответствию и контексту → автоматически выбирает лучшую квантизацию → помечает, что идеально, что нормально, а что на грани Часть, которая мне нравится больше всего: он правильно обрабатывает модели MoE. Пример: Mixtral 8x7B имеет ~46.7B общих параметров, но только ~12.9B активны на токен, и llmfit учитывает это (многие инструменты все еще не делают этого). 100% с открытым исходным кодом.