Thrixel para IA física

Mundos prontos para simulação para aprendizagem de robôs

Transforme entradas e especificações do mundo real em recursos 3D estruturados, ambientes completos e dados de simulação para IA física.

Interação de robôs numa cozinha gerada por Thrixel. Demonstração apresentada à velocidade 3×.

Criação 3D para IA Física

Reconstrua um ambiente existente ou gere uma cena estruturada a partir de uma especificação.

A partir de entradas do mundo real

Reconstrução de gémeos digitais

As fotos e vídeos tornam-se ambientes recursos 3D e multiobjeto com malhas triangulares, materiais PBR e partes semânticas separadas. A saída do USDA traz a estrutura e a física necessárias para os fluxos de trabalho de simulação.

De uma especificação de cena

Dados de simulação à escala

Gere cenas totalmente estruturadas com recursos prontos para simulação e definições de tarefas correspondentes. Varie os recursos e os layouts utilizando distribuições do mundo real e produza trajetórias de robôs para aprendizagem por imitação.

Do prompt à cena completa do SimReady

Um ambiente com objetos articulados, materiais físicos e geometria de colisão, pronto para interação em simulação. O que é o SimReady 3D?

Ambiente de cozinha completo com mobiliário, eletrodomésticos e objetos articulados. Flythrough apresentado em velocidade 2×.
  • Articulações de física

    As peças articuladas modelam a forma como portas, tampas e outros componentes se movem e interagem.

  • Materiais de Física

    As propriedades físicas da superfície suportam o contacto e o movimento dentro da simulação.

  • Colisores válidos

    A geometria de colisão dá aos objetos uma presença física para a manipulação e interação com o meio envolvente.

3D semântico para interação com robôs

Os recursos transportam informação sobre os seus componentes, superfícies de contacto e locais de alcance.

  • Raciocínio da parte semântica

    Malhas separadas identificam componentes significativos, pelo que um puxador, uma porta e um corpo de armário podem participar numa tarefa.

  • Pontos de compreensão da autoria

    Os autores de Thrixel captam locais para manipulação de robôs, com verificações de agarrar e levantar em simulação.

  • Geometria de colisão precisa

    Mesh colliders e os esquemas USD Physics descrevem os contactos e as restrições utilizados durante a interação.

Das imagens de referência aos recursos validados

O fluxo de trabalho de reconstrução liga a aparência, a geometria e o comportamento físico.

  1. 01

    Entradas de referência

    Comece com imagens de um único objeto ou de uma cena inteira. As entradas e dimensões de referência orientam a reconstrução.

  2. 02

    Reconstrução 3D

    Crie geometria, texturas PBR, malhas separadas para partes semânticas e física pronta para simulação num recurso estruturado.

  3. 03

    Validação de Isaac Sim

    Testar e calibrar o recurso em simulação, verificando o seu comportamento através do contacto, articulação e manipulação.

Verificações na simulação

  • Acordo
  • Queda
  • Diapositivo
  • Articulação articular
  • Agarre e levante

Dados de simulação para aprendizagem de robôs

Variação de características e cenas

A variação processual expande um ambiente em múltiplas configurações baseadas em distribuições do mundo real. As cenas estruturadas retêm os recursos, a física e as definições das tarefas necessárias para a simulação.

Trajectórias de aprendizagem por imitação

As trajetórias do robô captam as interações com o ambiente. As partes semânticas, os pontos de compreensão da autoria e a física validada apoiam as tarefas de manipulação utilizadas para produzir dados de imitação.

Discuta um projeto de IA física

Partilhe as entradas de referência, o ambiente de destino e as tarefas do robô. A equipa pode discutir os requisitos de reconstrução, geração de cenas e dados de simulação.

Contactar com Thrixel