Vi presenterar RTFM (Real-Time Frame Model): en mycket effektiv världsmodell som genererar videoramar i realtid när du interagerar med den, som drivs av en enda H100 GPU. RTFM återger beständiga och 3D-konsistenta världar, både verkliga och imaginära. Prova vår demo av RTFM idag!

Generativa världsmodeller kommer oundvikligen att vara beräkningsmässigt krävande, och potentiellt skala bortom till och med kraven för dagens LLM:er. Men vi tror att de är en viktig forskningsriktning att utforska i framtiden för rendering och rumslig intelligens.

RTFM bygger inte en explicit 3D-representation av världen. I stället tar den en eller flera 2D-bilder som indata och genererar direkt nya 2D-bilder av samma scen från olika synvinklar.

RTFM kan ses som en inlärd renderare: det är en autoregressiv diffusionstransformator som tränas från ände till ände på storskaliga videodata, och den lär sig att modellera 3D-geometri, reflektioner, skuggor och mer bara genom att observera dem i sin träningsuppsättning.

RTFM kan också användas för att rekonstruera verkliga platser från sparsamt tagna fotografier. Det här är inte riktiga videor: de är ramar som genereras av RTFM.

Under en begränsad tid kan du prova en livedemo av RTFM själv, värd på moln-GPU:er och streamad till din enhet (mobilsupport ingår!):