🚨 Problém #1 s lokální AI je nyní vyřešen. Existuje nový nástroj zvaný llmfit, který kontroluje váš hardware a říká vám, které modely budou běžet ještě před tím, než cokoli stáhnete. Takže místo hádání a chyb z paměti... Dává ti žebříček podle tvého stroje. Co dělá (jedním příkazem): → skenuje vaše nastavení (RAM / CPU / GPU / VRAM) → hodnotí modely podle kvality, rychlosti, přizpůsobení a kontextu → automaticky vybírá nejlepší kvantizaci → štítky, co je ideální, co je v pořádku a co hraniční Nejvíce se mi líbí: správně zpracovává modely MoE. Příklad: Mixtral 8x7B má ~46,7B celkových parametrů, ale na token je aktivních jen ~12,9B, a llmfit to zohledňuje (spousta nástrojů to stále nepočítá). 100% opensource.