🚨 Problem #1 med lokal AI är nu löst. Det finns ett nytt verktyg som heter llmfit som kontrollerar din hårdvara och berättar vilka modeller som kommer att fungera långt innan du laddar ner något. Så istället för att gissa och hitta fel som inte är minnesladdade... Den ger dig en rankad lista baserad på din maskin. Vad den gör (i ett kommando): → skannar din setup (RAM / CPU / GPU / VRAM) → utvärderar modeller för kvalitet, hastighet, passform och kontext → väljer automatiskt den bästa kvantiseringen → märker vad som är idealiskt, okej, eller gränsfallande Det jag gillar mest: den hanterar MoE-modeller korrekt. Exempel: Mixtral 8x7B har totalt ~46,7 miljarder params, men endast ~12,9 miljarder är aktiva per token, och llmfit tar hänsyn till det (många verktyg gör det fortfarande inte). 100 % öppen källkod.