科学的世界モデルを拡大するには、アーキテクチャ、トレーニング目標、数値の共同設計が必要です。本日は、低精度の事前学習に関するシリーズの最初の投稿を紹介します。まずはNVIDIAの安定した4ビット学習のためのNVFP4レシピから始めます。 パート1: パート2: 浮動小数点の基礎、ヒューリスティック、カスタムCUDAカーネル、安定化技術についてもカバーします。今後の記事では、ハイブリッドアーキテクチャに関するカスタムレシピや結果も取り上げます。

スライディングウィンドウアテンション(SWA)は、効率を高めるフロンティアハイブリッドモデルを強化しています。もっと良いものはありますか? スライディングウィンドウアテンション(SWA)のより速く、より高品質のドロップイン代替品であるファランクスをご紹介します。 Phalanxは、データの局所性と、GPUに直接マッピングされるギザギザのブロックアラインウィンドウに重点を置いて設計された、ハードウェアと数値を意識したウィンドウレイヤーの新しいファミリーです。 トレーニングでは、Phalanxは、コストのかかるワープ間通信を削減することで、最適化されたSWAハイブリッドとトランスフォーマーよりも、4K〜32Kのコンテキスト長で10〜40%高いエンドツーエンドのスループットを実現します。 本日、技術レポート、ブログ、研究カーネルライブラリであるspearのPhalanxカーネルの両方をリリースします。 採用中です。

これまでで最も強力なベース拡散言語モデル(DLM)であるRND1のご紹介です。 RND1 (Radical Numerics Diffusion) は、スパース MoE アーキテクチャを備えた 30B パラメータ (3B アクティブ) を持つ実験的な DLM です。 私たちはそれをオープンソースにし、重み、トレーニングの詳細、コードをリリースして、DLM推論とポストトレーニングに関するさらなる研究を促進しています。 私たちは研究者兼エンジニア(DeepMind、Meta、Liquid、Stanford)であり、再帰的自己改善(RSI)のエンジンを構築し、それを使用して私たち自身の研究を加速しています。 私たちの目標は、AI に AI を設計させることです。 採用中です。