BOOM! Một mô hình AI cục bộ hoàn toàn giờ đây có thể chạy với bộ nhớ tối thiểu mà không cần GPU! Rất hào hứng để thử nghiệm và chạy BitNet b1.58 mã nguồn mở mới của Microsoft và đẩy ranh giới AI! Tôi đã thử nghiệm nó trên robot Hero Jr. cũ của mình, mang đến cho nó một hệ thống lý luận cục bộ mới, không cần internet. Mô hình LLM 1.58 bit này chạy hiệu quả trên các thiết bị rất nhỏ như Raspberry Pi 5, cung cấp 5-7 token/giây mà không cần GPU, hoàn hảo cho tính toán biên. Đại lý ZeroClaw giao tiếp với BitNet để thực hiện các nhiệm vụ TỐT HƠN cả Mac Studio Pro mà không có chi phí token đám mây vô lý. Điều này thay đổi thế giới vì giờ đây bất kỳ CPU hiện đại nào cũng có thể có AI hữu ích nhanh chóng trên thiết bị. Mô hình này không giống như các mô hình đám mây lớn nhất nhưng nó vượt qua những gì mà chúng có thể làm 2 năm trước. Chúng tôi có hàng chục bài kiểm tra lớn hôm nay nhưng tôi có thể nói rằng điều này sẽ mở ra thế giới AI bất cứ lúc nào và ở bất cứ đâu. Hugging Face: 🚀 #AI #BitNet