Thrixel para IA física

Mundos listos para simulación para el aprendizaje de robots

Convierta entradas y especificaciones del mundo real en recursos 3D estructurados, entornos completos y datos de simulación para IA física.

Interacción de robots en una cocina generada por Thrixel. Demostración mostrada a 3× velocidad.

Creación 3D para IA física

Reconstruir un entorno existente o generar una escena estructurada a partir de una especificación.

De entradas del mundo real

Reconstrucción de gemelos digitales

Las fotos y los videos se convierten en recursos 3D y entornos de múltiples objetos con mallas triangulares, materiales PBR y partes semánticas separadas. La producción del USDA tiene la estructura y la física necesarias para los flujos de trabajo de simulación.

De una especificación de escena

Datos de simulación a escala

Genere escenas completamente estructuradas con recursos listos para simulación y definiciones de tareas correspondientes. Varíe los recursos y diseños utilizando distribuciones del mundo real y produzca trayectorias de robots para el aprendizaje por imitación.

Desde el mensaje hasta la escena completa de SimReady

Un entorno con objetos articulados, materiales físicos y geometría de colisión, listo para la interacción en simulación. ¿Qué es SimReady 3D?

Un ambiente de cocina completo con muebles, electrodomésticos y objetos articulados. El paso elevado se muestra a una velocidad de 2×.
  • Articulaciones físicas

    Las piezas articuladas modelan cómo las puertas, tapas y otros componentes se mueven e interactúan.

  • Materiales de física

    Las propiedades físicas de la superficie apoyan el contacto y el movimiento dentro de la simulación.

  • Colisionadores válidos

    La geometría de colisión da a los objetos una presencia física para la manipulación y la interacción con el entorno.

3D Semántico para Interacción de Robots

Los recursos contienen información sobre sus componentes, superficies de contacto y ubicaciones de agarre.

  • Razonamiento de la parte semántica

    Las mallas separadas identifican componentes significativos, por lo que una manija, una puerta y un cuerpo de gabinete pueden participar en una tarea.

  • Puntos de comprensión creados

    Los autores de Thrixel captan ubicaciones para la manipulación del robot, con comprobaciones de agarre y elevación en simulación.

  • Geometría de colisión precisa

    Los colisionadores de malla y los esquemas de física USD describen los contactos y las restricciones utilizados durante la interacción.

De las imágenes de referencia a los recursos validados

El flujo de trabajo de reconstrucción conecta la apariencia, la geometría y el comportamiento físico.

  1. 01

    Entradas de referencia

    Comience con imágenes de un solo objeto o de una escena completa. Las entradas de referencia y las dimensiones guían la reconstrucción.

  2. 02

    reconstrucción 3D

    Cree geometría, texturas PBR, mallas separadas para partes semánticas y física lista para simulación en un recurso estructurado.

  3. 03

    Validación de Isaac Sim

    Probar y calibrar el recurso en simulación, comprobando su comportamiento mediante contacto, articulación y manipulación.

Comprobaciones en simulación

  • Resolver
  • Soltar
  • Diapositiva
  • Articulación articular
  • Agarrar y levantar

Datos de simulación para el aprendizaje de robots

Variación de recursos y escenas.

La variación de procedimientos expande un entorno en múltiples configuraciones basadas en distribuciones del mundo real. Las escenas estructuradas conservan los recursos, la física y las definiciones de tareas necesarias para la simulación.

Trayectorias imitación-aprendizaje

Las trayectorias de los robots capturan las interacciones con el medio ambiente. Las partes semánticas, los puntos de comprensión creados por el autor y la física validada respaldan las tareas de manipulación utilizadas para producir datos de imitación.

Discutir un proyecto de IA física

Comparta las entradas de referencia, el entorno de destino y las tareas del robot. El equipo puede discutir los requisitos de reconstrucción, generación de escenas y datos de simulación.

Contacto Thrixel