我們剛剛完成了歷史上最大的去中心化 LLM 預訓練運行：Covenant-72B。無需許可，在 Bittensor 子網 3 上進行。 72B 參數。約 1.1T 令牌。商品互聯網。沒有集中式集群。沒有白名單。任何擁有 GPU 的人都可以自由加入或離開。 1/n

本週五在 TGIF，@DistStateAndMe 將與 @erfan_mhi 坐下來，討論 PULSE 的首席研究員。 PULSE 論文顯示，Grail 如何實現 100 倍的帶寬減少，以便在分散式強化學習訓練中進行權重同步。這使得去中心化的強化學習在普通互聯網上變得可行。 Erfan 將介紹這項研究對 Grail 路線圖的意義，以及子網接下來的發展方向。

TGIF #23 將在 5 分鐘內直播。十字軍東征將與我們一起直播。 @DistStateAndMe 和來自 @HackQuest_ 的 Kevin 將在 @opentensor 子網 Ideathon 上出現。