نقدم لكم RTFM (نموذج الإطار في الوقت الفعلي): نموذج عالمي عالي الكفاءة يقوم بإنشاء إطارات فيديو في الوقت الفعلي أثناء تفاعلك معها ، مدعوم بوحدة معالجة رسومات H100 واحدة. يقدم RTFM عوالم ثابتة ومتسقة ثلاثية الأبعاد ، حقيقية وخيالية. جرب عرضنا التوضيحي ل RTFM اليوم!

ستكون نماذج العالم التوليدية متطلبة حسابيا حتما ، ومن المحتمل أن تتجاوز حتى متطلبات LLMs اليوم. لكننا نعتقد أنها اتجاه بحثي حاسم لاستكشافه في مستقبل التقديم والذكاء المكاني.

لا يبني RTFM تمثيلا ثلاثي الأبعاد صريحا للعالم. بدلا من ذلك ، يأخذ صورة ثنائية الأبعاد واحدة أو أكثر كمدخل ، ويولد مباشرة صورا ثنائية الأبعاد جديدة لنفس المشهد من وجهات نظر مختلفة.

يمكن اعتبار RTFM عرضا مكتسبا: إنه محول انتشار ذاتي الانحدار مدرب من طرف إلى طرف على بيانات الفيديو واسعة النطاق ، ويتعلم نمذجة الهندسة ثلاثية الأبعاد والانعكاسات والظلال والمزيد فقط من خلال مراقبتها في مجموعة التدريب الخاصة به.

يمكن أيضا استخدام RTFM لإعادة بناء مواقع العالم الحقيقي من الصور الفوتوغرافية التي تم التقاطها بشكل ضئيل. هذه ليست مقاطع فيديو حقيقية: إنها إطارات تم إنشاؤها بواسطة RTFM.

لفترة محدودة ، يمكنك تجربة عرض توضيحي مباشر ل RTFM بنفسك ، مستضافة على وحدات معالجة الرسومات السحابية ويتم بثها على جهازك (يشمل دعم الهاتف المحمول!):