BOOM! En hel AI-lokal modell kan nu köras i minimalt minne utan GPU! Ser fram emot att testa och köra Microsofts nya open source BitNet b1.58 och tänja på AI-gränserna! Jag har testat den på min gamla Hero Jr.-robot och ger den ett nytt lokalt, internetfritt resonemangsystem. Denna 1,58-bitars LLM körs effektivt på mycket små enheter som en Raspberry Pi 5 och levererar 5–7 tokens/sekund utan en GPU som är perfekt för edge computing. ZeroClaw-agenten kopplar till BitNet för att utföra uppgifter BÄTTRE än en Mac Studio Pro utan orimliga molntokenkostnader. Detta förändrar världen eftersom nu kan vilken modern CPU som helst ha snabb AI-AI som är nära enheten. Modellen är inte som de största molnmodellerna men den överträffar vad de kunde göra för två år sedan. Vi har dussintals stora tester idag men jag kan säga att detta kommer att öppna AI:n när som helst och var som helst i världen. Kramande ansikte: 🚀 #AI #BitNet