🚨 Problemet #1 med lokal AI er nå løst. Det finnes et nytt verktøy kalt llmfit som sjekker maskinvaren din og forteller deg hvilke modeller som vil fungere lenge før du laster ned noe. Så i stedet for å gjette og treffe feil i hukommelsen... Den gir deg en rangert liste basert på maskinen din. Hva den gjør (i én kommando): → skanner oppsettet ditt (RAM / CPU / GPU / VRAM) → vurderer modeller for kvalitet, hastighet, tilpasning og kontekst → velger automatisk den beste kvantiseringen → merker hva som er ideelt vs greit vs grensegrense Det jeg liker best: den håndterer MoE-modeller riktig. Eksempel: Mixtral 8x7B har ~46,7 milliarder totale parametere, men bare ~12,9 milliarder er aktive per token, og llmfit tar hensyn til det (mange verktøy gjør det fortsatt ikke). 100 % åpen kildekode.