🚨 Il problema numero 1 con l'AI locale è ora risolto. C'è un nuovo strumento chiamato llmfit che controlla l'hardware e ti dice quali modelli funzioneranno bene prima di scaricare qualsiasi cosa. Quindi, invece di indovinare e incorrere in errori di memoria esaurita... ti fornisce un elenco classificato in base alla tua macchina. Cosa fa (in un comando): → scansiona la tua configurazione (RAM / CPU / GPU / VRAM) → valuta i modelli per qualità, velocità, adattamento e contesto → seleziona automaticamente la migliore quantizzazione → etichetta ciò che è ideale, ok o borderline La parte che mi piace di più: gestisce correttamente i modelli MoE. Esempio: Mixtral 8x7B ha ~46,7B parametri totali, ma solo ~12,9B sono attivi per token, e llmfit tiene conto di questo (molti strumenti ancora non lo fanno). 100% Opensource.