🚨 Das #1 Problem mit lokaler AI ist jetzt gelöst. Es gibt ein neues Tool namens llmfit, das deine Hardware überprüft und dir sagt, welche Modelle gut laufen werden, bevor du irgendetwas herunterlädst. Anstatt zu raten und auf Out-of-Memory-Fehler zu stoßen… gibt es dir eine rangierte Liste basierend auf deiner Maschine. Was es tut (in einem Befehl): → scannt dein Setup (RAM / CPU / GPU / VRAM) → bewertet Modelle hinsichtlich Qualität, Geschwindigkeit, Eignung und Kontext → wählt die beste Quantisierung automatisch aus → kennzeichnet, was ideal, okay oder grenzwertig ist Der Teil, den ich am meisten mag: es behandelt MoE-Modelle korrekt. Beispiel: Mixtral 8x7B hat ~46,7B Gesamtparameter, aber nur ~12,9B sind pro Token aktiv, und llmfit berücksichtigt das (viele Tools tun das immer noch nicht). 100% Open Source.