Dane z rzeczywistego świata są brakującym ogniwem między symulacją a inteligencją fizyczną. Dzięki Lemorele P300 (R) Robora zacieśnia tę lukę, przekształcając każdego użytkownika w współtwórcę ewolucji uczenia się AI. Umożliwia to przechwytywanie wideo w czasie rzeczywistym w wysokiej rozdzielczości z dowolnej kamery, niezależnie od tego, czy jest zamontowana na prototypie robota, dronie, czy ręcznej kamerze. Ten wizualny strumień jest przesyłany bezprzewodowo i bezstratnie do podłączonego urządzenia (tabletu, telefonu lub komputera), które uruchamia interfejs Robora VLA lub aplikację do przechwytywania danych. Urządzenie następnie przesyła lub przesyła te strumienie bezpośrednio do chmury Robora lub lokalnego węzła przetwarzania VLA. Zbierając dane z różnych środowisk i przypadków użycia, Robora zdobywa podstawy do trenowania i dostosowywania swoich modeli na podstawie rzeczywistych informacji sensorycznych, wychodząc poza dane czysto symulowane. To podejście jest kluczowe dla zmniejszenia luki między symulacją a rzeczywistością, różnicy w wydajności między robotami trenowanymi w symulacji a tymi działającymi w złożonych środowiskach fizycznych.

Robora Sim: Środowisko oparte na PyBullet do nauki fizycznej inteligencji robotów Obecnie budujemy nasze środowisko symulacyjne Robora do nauki opartej na symulacjach, wykorzystując PyBullet, standardowy silnik fizyczny szeroko stosowany w badaniach i rozwoju robotyki napędzanej AI. Środowisko jest zoptymalizowane z wykorzystaniem algorytmów uczenia przyspieszanych przez GPU, co umożliwia szybkie uczenie przez naśladowanie oraz uczenie przez wzmocnienie w bezpiecznym i kontrolowanym wirtualnym otoczeniu przed wdrożeniem w rzeczywistości. Ta platforma symulacyjna pozwala naszym modelom uczyć się, dostosowywać i generalizować w różnych morfologiach robotów, typach terenu i celach zadań - wszystko to przed wdrożeniem w rzeczywistości. W swojej istocie system łączy wysokopoziomowy planista zasilany VLA z algorytmami niskopoziomowej kontroli ruchu, działając spójnie, aby wytwarzać emergentne, fizycznie inteligentne zachowania. Ta synergia między symulacją, uczeniem a transferem do rzeczywistego świata stanowi istotny krok naprzód w naszym dążeniu do adaptacyjnych i inteligentnych systemów robotycznych. Dzięki zaawansowanej randomizacji domeny i generacji danych syntetycznych, Środowisko Symulacyjne Robora zapewnia, że polityki trenowane w symulacji skutecznie przenoszą się na roboty rzeczywiste, minimalizując różnicę między symulacją a rzeczywistością. Co więcej, użytkownicy będą mogli testować i integrować swoje własne zestawy sprzętowe w wybranych środowiskach symulacyjnych w aplikacji Robora Dapp, zapewniając bezproblemową kompatybilność i bezpieczniejsze wdrożenie w rzeczywistości.

W tym tygodniu w Robora skupiliśmy się głównie na rozwoju. Nasza praca koncentrowała się na ulepszaniu podstawowych narzędzi, które napędzają platformę, od zarządzania modelami i możliwościami dostosowywania po mapowanie 3D i wizję komputerową. Rozszerzyliśmy również naszą sieć, dołączając do nowych inicjatyw AI w rzeczywistym świecie, i kontynuowaliśmy prace nad łączeniem badań z praktycznymi zastosowaniami robotyki. Oto kluczowe aktualizacje: - Opublikowaliśmy aktualizację rozwoju Robora, dzieląc się postępami na platformie: dodano zarządzanie wagami modeli z integracją Hugging Face, stworzono wczesne narzędzie CLI dla deweloperów, ustalono plan dla SDK dostosowywania z uczeniem przez naśladowanie i RLHF w PyBullet oraz rozpoczęto prace nad SDK mapowania 3D do generowania rzeczywistych środowisk. - Robora dołączyła do Real World AI Foundry, globalnej inicjatywy prowadzonej przez @iotex_io wraz z partnerami takimi jak Vodafone, Filecoin i Theta. Ta współpraca pomaga tworzyć otwarte standardy i ramy dla AI w rzeczywistym świecie oraz wspiera naszą misję łączenia systemów fizycznych z inteligentnymi agentami. - Opublikowaliśmy nasze podsumowanie miesięczne za wrzesień, podkreślając najnowsze aktualizacje rozwoju i przedstawiając przegląd kierunku, w którym zmierza platforma. - Ogłosiliśmy, że nasza współpraca z uniwersytetami nad modułem wizji Robora jest bliska zakończenia. Ten system wizji komputerowej typu open-source daje robotom możliwość widzenia i rozumienia świata w czasie rzeczywistym i wkrótce zostanie zaprezentowany razem z badaczami i partnerami, którzy wnieśli swój wkład.