🚨 Problema #1 cu AI-ul local este acum rezolvată. Există un nou instrument numit llmfit care verifică hardware-ul și îți spune ce modele vor rula cu mult înainte să descarci ceva. Așa că, în loc să ghicesc și să găsesc erori din memorie... Îți oferă o listă clasată în funcție de calculatorul tău. Ce face (dintr-o comandă): → scanează configurația ta (RAM / CPU / GPU / VRAM) → evaluează modelele pentru calitate, viteză, potrivire și context → selectează automat cea mai bună cuantificare → etichetează ce este ideal vs ok vs borderline Partea care îmi place cel mai mult: gestionează corect modelele MoE. Exemplu: Mixtral 8x7B are ~46,7B parametri totali, dar doar ~12,9B sunt active per token, iar llmfit ține cont de asta (multe unelte încă nu o fac). 100% opensource.