Ein CS-Student am MIT beendete sein letztes Semester mit einem GPA von 4,0. Ich fand seinen NotebookLM-Workflow in einem Reddit-Thread um 2 Uhr morgens vergraben. Er löschte ihn eine Stunde später. Hier ist genau, was er gemacht hat. Er hat nie Vorlesungsfolien hochgeladen und um eine Zusammenfassung gebeten. Sein erster Prompt war immer: "Hier sind meine Notizen, das Kapitel im Lehrbuch und die Prüfungen vom letzten Jahr. Nenne mir die 3 Möglichkeiten, wie Professoren Studenten bei Prüfungen mit diesem Konzept hereinlegen. Erstelle dann ein Problem, das alles aus den letzten 3 Wochen kombiniert." Er hat das Material nicht studiert. Er hat studiert, wie das Material gegen ihn verwendet wird. Aber der Schritt, der mich dazu brachte, meinen Laptop zuzuklappen und an die Decke zu starren, war sein zweiter. Er lud jede einzelne Aufgabe hoch, die er im gesamten Semester falsch hatte. Dann fragte er: "Finde das Muster in meinen Fehlern. Welches Konzept missverstehe ich immer wieder in verschiedenen Formen?" Jeder andere Student nutzte NotebookLM als Suchmaschine. Er nutzte es als Spiegel. Sein dritter Prompt war als Verknüpfung auf seinem Handy gespeichert. "Basierend auf meinen Notizen und diesen Prüfungen, für welches Thema bin ich gerade am wenigsten vorbereitet? Nenne mir die 5 Fragen, die am wahrscheinlichsten in meiner Abschlussprüfung erscheinen werden, die ich noch nicht beantworten kann." Drei Prompts. Jede einzelne Woche. Während seine Kommilitonen die Folien in der Nacht vor den Prüfungen noch einmal durchgingen, wusste er bereits genau, wo er scheitern würde. Dann hat er es behoben. Er hat nicht härter studiert. Er hat sich einfach nie wohl gefühlt.

🚨 NVIDIA hat gerade einen Plan für das Training von KI-Modellen mit einer Billion Parametern veröffentlicht. Und es erklärt leise, wie die nächste Generation von Modellen weit über die heutigen LLMs hinaus skalieren wird. Das Papier stellt ein System zum Training von Mixture-of-Experts (MoE) Modellen vor, das Megatron Core verwendet, die gleiche Infrastruktur, die zum Training einiger der größten Modelle der Welt eingesetzt wird. Die Grundidee hinter MoE ist einfach, aber mächtig: Anstatt das gesamte Modell für jedes Token zu aktivieren, leitet das System jedes Token nur an einige spezialisierte "Experten" weiter. Das bedeutet, dass Sie die Gesamtzahl der Parameter massiv skalieren können, ohne die Rechenleistung für jedes Token zu erhöhen. In der Theorie gibt Ihnen das: • Kapazität von einer Billion Parametern • Dichte-Modell-Rechenleistung pro Token • Massive Effizienzgewinne Aber in der Praxis bricht es alles zusammen. Das Training von MoE-Modellen schafft einen Albtraum über drei Systemschichten: Speicher. Kommunikation. Berechnung. Einen zu optimieren, führt zu Engpässen bei den anderen. NVIDIAs Lösung ist im Wesentlichen ein Full-Stack-Co-Design der gesamten Trainingspipeline. Sie haben mehrere systemweite Optimierungen eingeführt: • Fein abgestimmte Neuberechnung & Speicherentlastung zur Kontrolle des GPU-Speicherdrucks • Optimierte Token-Dispatcher, damit Tokens effizient zwischen Experten weitergeleitet werden können • Gruppierte GEMM + CUDA-Grafiken zur Maximierung der GPU-Rechenleistung • Paralleles Falten, das flexibles mehrdimensionales Parallelisieren über GPUs ermöglicht • Niedrigpräzises Training (FP8 / NVFP4), um die Rechenkosten drastisch zu senken All dies läuft innerhalb von Megatron Core, NVIDIAs Open-Source-Trainings-Stack für große Modelle. Die Leistungszahlen sind absurd. Auf NVIDIAs neuesten GPU-Systemen: • 1.233 TFLOPS pro GPU beim Training von DeepSeek-V3-685B • 974 TFLOPS pro GPU beim Training von Qwen3-235B Und das Framework skaliert bereits über Tausende von GPUs in Produktionsclustern. Die größere Geschichte hier ist nicht nur schnelleres Training. Es ist die Richtung der KI-Architektur. Dichte Modelle skalieren linear mit der Rechenleistung. MoE-Modelle skalieren fast exponentiell mit den Parametern, während die Rechenleistung überschaubar bleibt. So erhalten Sie: 100B → 1T → 10T Parameter-Modelle. Das gleiche Rechenbudget. Nur intelligenteres Routing. Wenn die nächste Welle von Grenzmodellen erneut in der Größe explodiert, erklärt dieses Papier genau, wie sie trainiert werden. Papier: Skalierbares Training von Mixture-of-Experts-Modellen mit Megatron Core

Google hat einen 64-seitigen technischen Leitfaden zum Bau von KI-Agenten veröffentlicht.