Co to jest SimReady 3D?

Co oznacza SimReady?

SimReady oznacza gotowość do symulacji. Zasób SimReady 3D zawiera informacje, które symulator może wykorzystać do interpretacji obiektu i jego zachowania, a także jego widocznej geometrii i materiałów. W zależności od zadania informacje te mogą obejmować kształty kolizji, masę, tarcie, etykiety semantyczne i komponenty przegubowe.

SimReady nazywa także strukturę specyfikacji zainicjowaną przez firmę NVIDIA i zbudowaną na OpenUSD. Definiuje możliwości symulacji poprzez uporządkowane właściwości i metadane. Mające zastosowanie wymagania zależą od przeznaczenia składnika zasobów; obiekt używany do percepcji kamery i obiekt używany do manipulacji robotycznej wymagają różnych możliwości. Przegląd specyfikacji SimReady firmy NVIDIA opisuje to podejście.

Czym różni się zasób SimReady od zwykłego modelu 3D?

Model z teksturą opisuje kształt i wygląd obiektu. Symulator musi także wiedzieć, w jaki sposób obiekt zajmuje przestrzeń, reaguje na kontakt i porusza się. Realistyczna szafka kuchenna ilustruje różnicę: jej wyrenderowany obraz może przedstawiać drzwi i klamkę, podczas gdy interakcja robota wymaga, aby te komponenty miały użyteczną geometrię, kształty kolizyjne i odpowiednie połączenie.

Zasób gotowy do gry może już zawierać kolizje i animacje, ale jego konfiguracja jest zaprojektowana dla konkretnej gry. Zadanie uczenia się robota może wymagać skalibrowanych wymiarów, parametrów fizycznych, adnotacji semantycznych i sprawdzenia zgodności z zamierzoną interakcją. Gotowość jest oceniana na podstawie tego zadania i czasu wykonywania symulacji.

Co sprawia, że symulacja zasobu 3D jest gotowa?

Geometria, skala i materiały

Wymiary, orientacja i struktura obiektu muszą odpowiadać zamierzonemu środowisku. Chwytak robota i uchwyt muszą być przedstawione w zgodnej skali. Materiały wizualne i tekstury wspierają renderowane obserwacje, podczas gdy właściwości materiału fizycznego opisują zachowanie, takie jak tarcie i odbicie. Wytyczne dotyczące modelowania firmy NVIDIA kładą nacisk na skalę w świecie rzeczywistym i spójną konstrukcję zasobów.

Geometria zderzeń i właściwości fizyczne

Kształty kolizji określają, gdzie następuje kontakt. Masa i bezwładność wpływają na reakcję poruszającego się obiektu na siły; tarcie wpływa na to, czy powierzchnie się ślizgają. Właściwości te muszą odpowiadać obiektowi i zadaniu. Widoczna siatka i geometria kolizji mogą się różnić, na przykład gdy prostsza reprezentacja kolizji poprawia wydajność symulacji. USD Physics udostępnia schematy opisujące właściwości fizyczne w scenie OpenUSD.

Etykiety semantyczne i części znaczące

Informacje semantyczne identyfikują, co reprezentuje obiekt lub komponent. Etykiety, takie jak szafka, drzwi i uchwyt, ułatwiają interpretację sceny i opatrzone adnotacjami dane szkoleniowe. Oddzielna geometria części umożliwia indywidualny wybór tych komponentów i manipulowanie nimi. Oznaczanie semantyczne może również obsługiwać identyfikację obiektów na obrazach renderowanych na potrzeby uczenia maszynowego.

Stawy i punkty chwytu specyficzne dla zadania

Zadanie otwierania szafy wymaga połączenia drzwiowego z odpowiednią osią i ograniczeniami ruchu. Zadanie typu „podnieś i umieść” wymaga dostępnych powierzchni kontaktowych i przydatnych miejsc do chwytania. Są to dodatki specyficzne dla zadania: statyczny obiekt tła nie potrzebuje wszystkich funkcji wymaganych przez zasób manipulacji przegubowej.

Dlaczego zasoby SimReady mają znaczenie dla fizycznej sztucznej inteligencji?

Fizyczne systemy AI postrzegają i działają w środowiskach fizycznych. Symulacja zapewnia zespołom zajmującym się rozwojem robotów miejsce do wykonywania zadań, zmieniania warunków i gromadzenia danych. Jakość zasobów wpływa na te eksperymenty: nieprawidłowy zderzacz może zablokować prawidłowe uchwycenie, a nieprawidłowo wyskalowany uchwyt może wpłynąć na to, czy zadanie będzie osiągalne.

Zasoby strukturyzowane również sprawiają, że zmienność jest bardziej użyteczna. Scena może zmienić położenie obiektu, wymiary lub właściwości materiału, zachowując jednocześnie informacje potrzebne do wykonania zadania. Te różnice wspierają procesy uczenia się robotów i oceny, chociaż wydajność w symulacji nadal wymaga oceny w porównaniu z celami ze świata rzeczywistego.

Jak sprawdzić zasoby SimReady w Isaac Sim?

Walidacja obejmuje sprawdzenie struktury zasoby i obserwację jego zachowania w symulatorze docelowym. Fizyczny przepływ pracy AI w Thrixel wykorzystuje Isaac Sim do testów, takich jak:

• Osiądź: umieść przedmiot na przeznaczonym mu podłożu i sprawdź, czy zatrzyma się zgodnie z oczekiwaniami.
• Upuszczenie: sprawdź reakcję i stabilność kontaktu po wylądowaniu obiektu.
• Slajd: sprawdź, jak powierzchnie oddziałują na siebie w ruchu.
• Połączenie przegubowe: sprawdź oś, zasięg i ruch drzwi, pokryw lub innych części przegubowych.
• Chwyć i podnieś: sprawdź, czy robot może nawiązać kontakt, utrzymać i podnieść zamierzony przedmiot.

Testy powinny odzwierciedlać zamierzone zadanie. Drzwi, które otwierają się prawidłowo w izolacji, wymagają również sprawdzenia wnętrza szafki, obecności otaczających obiektów i robota. Walidacja zasobów i walidacja scen dotyczą różnych źródeł awarii.

Czy sztuczna inteligencja może generować zasoby SimReady i całe sceny?

Sztuczna inteligencja może generować geometrię i wygląd na podstawie podpowiedzi lub obrazów referencyjnych, a następnie wspierać przygotowanie części, fizyki i informacji o zadaniu. Generator modeli 3D AI firmy Thrixel udostępnia edytowalne zasoby na potrzeby tego procesu. Kompletny przepływ pracy składa również środowisko i sprawdza jego zachowanie w symulacji. Przewodnik po generatywnej sztucznej inteligencji 3D wyjaśnia podstawowe procedury generowania modeli.

Thrixel dla fizycznej sztucznej inteligencji obejmuje rekonstrukcję cyfrowego bliźniaka ze zdjęć i filmów, generowanie ustrukturyzowanych scen, części semantycznych, autorskie punkty uchwytu i weryfikację symulacji. W ramach tego procesu powstają siatki trójkątów z materiałami PBR i danymi wyjściowymi sceny USDA zawierającymi informacje symulacyjne. Obsługuje także zmienność zasobów i scen oraz trajektorie robota w celu uczenia się przez naśladownictwo.

Aby stworzyć interaktywny świat za pomocą agenta kodującego, Build World łączy generowanie zasobów z montażem sceny i inspekcją iteracyjną. Projekty fizycznej sztucznej inteligencji dodają wymagania, takie jak zadania robota, kalibracja fizyczna i weryfikacja specyficzna dla symulatora. dyskusja na temat projektu fizycznej sztucznej inteligencji firmy Thrixel rozpoczyna się od tych wymagań i dostępnych danych referencyjnych.

Często zadawane pytania dotyczące zasobów SimReady 3D

Czy każdy plik USD jest zasobem SimReady?

Nie. OpenUSD może opisać scenę bez możliwości symulacji wymaganych przez zadanie. Plik wymaga odpowiednich właściwości strukturalnych, semantyki i walidacji. W Często zadawanych pytaniach dotyczących SimReady firmy NVIDIA wyjaśniono, dlaczego przechowywanie danych w samych dolarach nie gwarantuje gotowości do symulacji.

Czy zasoby SimReady to to samo, co cyfrowe bliźniaki?

Terminy opisują różne aspekty składnika zasobów. Cyfrowy bliźniak reprezentuje konkretny obiekt lub środowisko ze świata rzeczywistego. Gotowość do symulacji opisuje możliwości potrzebne do wykorzystania tej reprezentacji w symulacji. Zrekonstruowaną kuchnię można przygotować do symulacji, natomiast wygenerowana kuchnia SimReady nie musi odpowiadać jednej konkretnej, prawdziwej kuchni.

Czy istniejący model 3D może stać się gotowy do symulacji?

Tak. Punktem wyjścia może być istniejąca siatka. Przygotowanie może obejmować korektę skali, oddzielenie ruchomych części, utworzenie geometrii kolizji i właściwości fizycznych, dodanie etykiet semantycznych i przetestowanie wyniku w symulatorze celu. Praca zależy od konstrukcji modelu i zamierzonego zadania.

Czy wszystkie zasoby SimReady wymagają połączeń lub punktów uchwytu?

Nie. Te możliwości zależą od interakcji. Podłoga wymaga odpowiedniej geometrii i zachowania kontaktowego; otwierana szuflada wymaga artykulacji; przedmiot przeznaczony do chwytania wymaga ustawienia manipulacyjnego. Odpowiednie wymagania symulacyjne określają, co należy opracować i sprawdzić.