Introductie van RTFM (Real-Time Frame Model): een zeer efficiënt Wereldmodel dat videokaders in real time genereert terwijl je ermee interacteert, aangedreven door een enkele H100 GPU. RTFM rendert persistente en 3D consistente werelden, zowel echt als fantasie. Probeer vandaag nog onze demo van RTFM!

Generatieve Wereldmodellen zullen onvermijdelijk computationeel veeleisend zijn, mogelijk zelfs verder schalen dan de vereisten van de huidige LLM's. Maar wij geloven dat ze een cruciale onderzoekrichting zijn om te verkennen in de toekomst van rendering en ruimtelijke intelligentie.

RTFM bouwt geen expliciete 3D-representatie van de wereld. In plaats daarvan neemt het een of meer 2D-afbeeldingen als invoer en genereert het direct nieuwe 2D-afbeeldingen van dezelfde scène vanuit verschillende gezichtspunten.

RTFM kan worden gezien als een geleerde renderer: het is een autoregressieve diffusietransformer die end-to-end is getraind op grootschalige videogegevens, en het leert 3D-geometrie, reflecties, schaduwen en meer te modelleren door ze gewoon te observeren in zijn trainingsset.

RTFM kan ook worden gebruikt om echte locaties te reconstrueren vanuit spaarzaam vastgelegde foto's. Dit zijn geen echte video's: het zijn frames die zijn gegenereerd door RTFM.

Voor een beperkte tijd kun je zelf een live demo van RTFM uitproberen, gehost op cloud GPU's en gestreamd naar je apparaat (ondersteuning voor mobiel inbegrepen!):