Thrixel 适用于 Physical AI

面向机器人学习的仿真环境

将现实世界的输入和规范转化为用于物理 AI 的结构化 3D 资源、完整环境和仿真数据。

Thrixel 生成的厨房中的机器人交互。以 3 倍速度展示演示。

面向 Physical AI 的 3D 创作

重建现有环境或根据规范生成结构化场景。

来自现实世界的输入

数字孪生重构

将照片和视频转换为 3D 资源与多物体环境,包含三角形网格、PBR 材质及独立的语义部件。USDA 输出保留仿真工作流程所需的结构和物理属性。

根据场景要求

大规模仿真数据

使用可用于仿真的资源和相应的任务定义生成完整的结构化场景。使用真实世界的分布来改变资源和布局,并生成用于模仿学习的机器人轨迹。

从提示词到完整的 SimReady 场景

具有铰接对象、物理材质和碰撞几何形状的环境,准备好在仿真中进行交互。 什么是 SimReady 3D?

包含家具、电器和铰接物体的完整厨房环境。漫游演示以 2 倍速播放。
  • 物理关节

    铰接零件模拟门、盖子和其他组件如何移动和相互作用。

  • 物理材质

    物理表面属性支持仿真中的接触和运动。

  • 有效碰撞器

    碰撞几何为对象提供了用于操纵和环境交互的物理存在。

机器人交互的语义 3D

资源携带有关其组件、接触面和抓取位置的信息。

  • 语义部件推理

    单独的网格识别有意义的组件,因此把手、门和柜体可以各自参与一项任务。

  • 预设抓取点

    Thrixel 为机器人操作设置抓取位置,并在仿真中验证抓取和提起动作。

  • 精确的碰撞几何

    网格碰撞器和USD Physics模式描述了交互过程中使用的接触和约束。

从参考图像到验证资源

重建工作流程连接外观、几何形状和物理行为。

  1. 01

    参考输入

    从单个对象或整个场景的图像开始。参考输入和尺寸指导重建。

  2. 02

    3D重建

    在结构化资源中创建几何体、PBR 纹理、语义部件的单独网格以及可用于仿真的物理。

  3. 03

    Isaac Sim 验证

    在仿真中测试和校准资源,通过接触、铰接和操作检查其行为。

模拟检查

  • 静置稳定性
  • 跌落
  • 滑动
  • 关节运动
  • 抓取与提起

机器人学习仿真数据

资源和场景变化

程序变化将环境扩展到基于真实世界分布的多种配置。结构化场景保留模拟所需的资源、物理和任务定义。

模仿学习轨迹

机器人轨迹记录与环境的交互。语义部件、预设抓取点和经过验证的物理属性共同支持操作任务,用于生成模仿学习数据。

讨论 Physical AI 项目

共享参考输入、目标环境和机器人任务。团队可以讨论重建、场景生成和仿真数据要求。

联系 Thrixel