Nous venons de terminer le plus grand entraînement préliminaire décentralisé de LLM de l'histoire : Covenant-72B. Sans autorisation, sur le sous-réseau Bittensor 3. 72B paramètres. ~1,1T tokens. Internet de commodité. Pas de cluster centralisé. Pas de liste blanche. Quiconque ayant des GPU pouvait rejoindre ou quitter librement. 1/n

Ce vendredi sur TGIF, @DistStateAndMe s'entretient avec @erfan_mhi, le chercheur principal derrière PULSE. Le document PULSE montre comment Grail réalise une réduction de bande passante de 100x pour la synchronisation des poids dans l'entraînement RL distribué. C'est ce qui rend l'apprentissage par renforcement décentralisé pratique sur Internet classique. Erfan expliquera ce que cette recherche signifie pour la feuille de route de Grail et où va le sous-réseau à partir de là.

TGIF #23 est en direct dans 5 minutes. Les Croisades vont être en direct avec nous. @DistStateAndMe et Kevin de @HackQuest_ sur l'Ideathon du sous-réseau @opentensor.