轟! 整個 AI 本地模型現在可以在最小的記憶體中運行,且不需要 GPU! 我很興奮能測試和運行微軟的新開源 BitNet b1.58,推動 AI 的邊界! 我已經在我的舊 Hero Jr. 機器人上運行測試,為它提供了一個新的本地、無網路的推理系統。 這個 1.58 位的 LLM 在像 Raspberry Pi 5 這樣非常小的設備上高效運行,每秒提供 5-7 個標記,無需 GPU,非常適合邊緣計算。ZeroClaw 代理與 BitNet 介面,執行任務的表現比 Mac Studio Pro 更好,且沒有荒謬的雲端代幣成本。 這是改變世界的,因為現在任何現代 CPU 都可以擁有快速的設備上相鄰有用的 AI。 這個模型雖然不如最大的雲端模型,但它超越了兩年前它們所能做到的。 今天我們有數十個大型測試,但我可以說這將開啟隨時隨地的 AI 世界。 Hugging Face: 🚀 #AI #BitNet