Qu'est-ce que SimReady 3D ?

Que signifie SimReady ?

SimReady signifie prêt pour la simulation. Un asset 3D SimReady contient des informations qu'un simulateur peut utiliser pour interpréter l'objet et son comportement, ainsi que sa géométrie et ses matériaux visibles. Selon la tâche, ces informations peuvent inclure les formes de collision, la masse, le frottement, les étiquettes sémantiques et les composants articulés.

SimReady nomme également un cadre de spécification initié par NVIDIA et construit sur OpenUSD. Il définit les capacités de simulation à travers des propriétés structurées et des métadonnées. Les exigences applicables dépendent de l'utilisation prévue de l'asset ; un objet utilisé pour la perception par la caméra et un autre utilisé pour la manipulation robotique nécessitent des capacités différentes. La présentation de la spécification SimReady de NVIDIA, , décrit cette approche.

En quoi un asset SimReady est-il différent d'un modèle 3D classique ?

Un modèle texturé décrit la forme et l'apparence d'un objet. Un simulateur doit également savoir comment cet objet occupe l’espace, réagit au contact et se déplace. Une armoire de cuisine réaliste illustre la différence : son image rendue peut montrer une porte et une poignée, tandis que l'interaction du robot nécessite que ces composants aient une géométrie utilisable, des formes de collision et un joint approprié.

Un asset prêt pour le jeu peut déjà inclure des collisions et des animations, mais sa configuration est conçue pour un jeu particulier. Une tâche d'apprentissage robotique peut nécessiter des dimensions calibrées, des paramètres physiques, des annotations sémantiques et une validation par rapport à l'interaction prévue. L'état de préparation est évalué par rapport à cette tâche et à l'exécution de la simulation.

Qu'est-ce qui rend un asset 3D prêt pour la simulation ?

Géométrie, échelle et matériaux

Les dimensions, l'orientation et la structure de l'objet doivent correspondre à l'environnement prévu. Une pince de robot et une poignée doivent être représentées à des échelles compatibles. Les matériaux et textures visuels prennent en charge les observations rendues, tandis que les propriétés physiques des matériaux décrivent des comportements tels que la friction et le rebond. Les conseils de modélisation de NVIDIA mettent l'accent sur l'échelle du monde réel et la construction cohérente des assets.

Géométrie de collision et propriétés physiques

Les formes de collision déterminent l'endroit où le contact se produit. La masse et l'inertie affectent la façon dont un objet en mouvement répond aux forces ; le frottement affecte le glissement des surfaces. Ces propriétés doivent être adaptées à l'objet et à la tâche. Le maillage visible et la géométrie des collisions peuvent différer, par exemple lorsqu'une représentation de collision plus simple améliore les performances de la simulation. USD Physics fournit des schémas pour décrire les propriétés physiques dans une scène OpenUSD.

Étiquettes sémantiques et parties significatives

Les informations sémantiques identifient ce que représente un objet ou un composant. Les étiquettes telles que l'armoire, la porte et la poignée prennent en charge l'interprétation des scènes et les données de formation annotées. La géométrie des pièces séparées permet à ces composants d'être sélectionnés et manipulés individuellement. Étiquetage sémantique peut également prendre en charge l'identification d'objets dans des images rendues pour l'apprentissage automatique.

Articulations et points de préhension spécifiques à une tâche

Une tâche d'ouverture d'armoire nécessite un joint de porte avec un axe et des limites de mouvement appropriés. Une tâche de sélection et de placement nécessite des surfaces de contact accessibles et des emplacements de préhension utiles. Il s'agit d'ajouts spécifiques à une tâche : un objet d'arrière-plan statique n'a pas besoin de toutes les capacités requises par un asset de manipulation articulée.

Pourquoi les assets SimReady sont-ils importants pour l'IA physique ?

Les systèmes d’IA physique perçoivent et agissent dans des environnements physiques. La simulation donne aux équipes de développement de robots un endroit pour exercer des tâches, varier les conditions et collecter des données. La qualité des assets affecte ces expériences : un collisionneur incorrect peut bloquer une compréhension valide, et une poignée mal mise à l'échelle peut modifier l'accessibilité de la tâche.

Les assets structurés rendent également la variation plus utile. Une scène peut modifier le placement d'un objet, ses dimensions ou ses propriétés matérielles tout en conservant les informations nécessaires à l'exécution de la tâche. Ces variations prennent en charge les flux de travail d'apprentissage et d'évaluation des robots, bien que les performances en simulation doivent encore être évaluées par rapport à l'objectif du monde réel.

Comment validez-vous les assets SimReady dans Isaac Sim ?

La validation comprend la vérification de la structure de l'asset et l'observation de son comportement dans le simulateur cible. Le flux de travail d'IA physique de Thrixel utilise Isaac Sim pour des tests tels que :

• Settle: placez un objet sur son support prévu et vérifiez s'il s'immobilise comme prévu.
• Drop: vérifie la réponse du contact et la stabilité lorsque l'objet atterrit.
• Slide: examine comment les surfaces interagissent sous le mouvement.
• Articulation commune : vérifie l'axe, la plage et le mouvement des portes, des couvercles ou d'autres pièces articulées.
• Saisir et soulever : teste si le robot peut entrer en contact, tenir et soulever l'objet prévu.

Les tests doivent refléter la tâche prévue. Une porte qui s'ouvre correctement de manière isolée doit également être vérifiée à l'intérieur de son armoire, en présence des objets environnants et du robot. La validation des assets et la validation de la scène traitent différentes sources de défaillance.

L'IA peut-elle générer des ressources SimReady et des scènes entières ?

L'IA peut générer la géométrie et l'apparence à partir d'invites ou d'images de référence, puis prendre en charge la préparation des pièces, la physique et les informations sur les tâches. Le générateur de modèles 3D par IA de Thrixel fournit des ressources modifiables pour ce processus. Un workflow complet assemble également l'environnement et vérifie son comportement en simulation. Le guide d'IA générative 3D explique les flux de travail sous-jacents de génération de modèles.

Thrixel pour AI physique couvre la reconstruction de jumeaux numériques à partir de photos et de vidéos, la génération de scènes structurées, les parties sémantiques, les points de saisie rédigés et la validation de la simulation. Le flux de travail produit des maillages triangulaires avec des matériaux PBR et une sortie de scène USDA contenant des informations de simulation. Il prend également en charge les variations d'assets et de scènes ainsi que les trajectoires des robots pour l'apprentissage par imitation.

Pour la création d'un monde interactif avec un agent de programmation, Build World connecte la génération d'assets à l'assemblage de scènes et à l'inspection itérative. Les projets d'IA physique ajoutent des exigences telles que les tâches du robot, l'étalonnage physique et la validation spécifique au simulateur. La discussion sur le projet d'IA physique de Thrixel commence par ces exigences et les entrées de référence disponibles.

Questions courantes sur les ressources SimReady 3D

Chaque fichier USD est-il un asset SimReady ?

Non. OpenUSD peut décrire une scène sans contenir les capacités de simulation requises par une tâche. Le fichier a besoin des propriétés structurées, de la sémantique et de la validation appropriées. La FAQ SimReady de NVIDIA explique pourquoi le stockage des données en USD seul ne permet pas d'établir la préparation à la simulation.

Les assets SimReady sont-ils les mêmes que les jumeaux numériques ?

Les termes décrivent différents aspects d’un asset. Un jumeau numérique représente un objet ou un environnement particulier du monde réel. La préparation à la simulation décrit les capacités nécessaires pour utiliser cette représentation dans une simulation. Une cuisine reconstruite peut être préparée pour la simulation, tandis qu'une cuisine SimReady générée ne correspond pas nécessairement à une cuisine réelle spécifique.

Un modèle 3D existant peut-il être prêt pour la simulation ?

Oui. Un maillage existant peut être un point de départ. La préparation peut impliquer la correction de l'échelle, la séparation des pièces mobiles, la création de la géométrie et des propriétés physiques de la collision, l'ajout d'étiquettes sémantiques et le test du résultat dans le simulateur de cible. Le travail dépend de la structure du modèle et de la tâche prévue.

Tous les assets SimReady nécessitent-ils des articulations ou des points de préhension ?

Non. Ces capacités dépendent de l’interaction. Un sol a besoin d'une géométrie et d'un comportement de contact adaptés ; un tiroir qui s'ouvre a besoin d'être articulé ; un objet destiné à être saisi nécessite une configuration de manipulation. Les exigences de simulation pertinentes déterminent ce qui doit être créé et vérifié.