🚨 المشكلة #1 مع الذكاء الاصطناعي المحلي قد حلت الآن. هناك أداة جديدة اسمها llmfit تفحص أجهزتك وتخبرك أي النماذج ستعمل جيدا قبل تحميل أي شيء. لذا بدلا من التخمين واكتشاف أخطاء خارج الذاكرة... يعطيك قائمة مصنفة بناء على جهازك. ما الذي يفعله (في أمر واحد): → يفحص إعدادك (ذاكرة RAM / معالج / معالج / بطاقة رسومات / VRAM → يقيم النماذج من حيث الجودة والسرعة والملاءمة والسياق → يختار أفضل كمية تلقائيا → يحدد ما هو المثالي وما هو مقبول مقابل الحد الجزء الذي أحبه أكثر: يتعامل مع نماذج MoE بشكل صحيح. مثال: Mixtral 8x7B يحتوي على ~46.7 مليار بارام إجمالي، لكن فقط ~12.9 مليار فعال لكل رمز، وllmfit يأخذ ذلك في الاعتبار (الكثير من الأدوات لا تزال لا تفعل ذلك). 100٪ مفتوح المصدر.