🚨 Największy problem z lokalnym AI został teraz rozwiązany. Jest nowe narzędzie o nazwie llmfit, które sprawdza twój sprzęt i informuje, które modele będą działać dobrze, zanim cokolwiek pobierzesz. Zamiast zgadywać i napotykać błędy związane z brakiem pamięci… dostajesz uporządkowaną listę na podstawie swojego komputera. Co robi (w jednym poleceniu): → skanuje twoją konfigurację (RAM / CPU / GPU / VRAM) → ocenia modele pod kątem jakości, szybkości, dopasowania i kontekstu → automatycznie wybiera najlepszą kwantyzację → oznacza, co jest idealne, a co w porządku lub na granicy Najbardziej podoba mi się to, że poprawnie obsługuje modele MoE. Przykład: Mixtral 8x7B ma ~46,7B całkowitych parametrów, ale tylko ~12,9B jest aktywnych na token, a llmfit to uwzględnia (wiele narzędzi wciąż tego nie robi). 100% otwarte źródło.