什么是SimReady 3D?

SimReady 3D 资源将几何形状和外观与模拟所需的结构和物理属性相结合。它们有助于将视觉场景转变为机器人可以感知并与之交互的环境。

SimReady 是什么意思?

SimReady 表示可用于仿真的。SimReady 3D 资源包含模拟器可用来解释对象及其行为的信息,以及其可见的几何形状和材质。根据任务的不同,该信息可以包括碰撞形状、质量、摩擦力、语义标签和铰接组件。

SimReady也命名了由NVIDIA发起并建立在OpenUSD之上的规范框架。它通过结构化属性和元数据定义模拟功能。适用的要求取决于资源的预期用途;用于相机感知的物体和用于机器人操纵的物体需要不同的功能。 NVIDIA 的 SimReady 规范概述 描述了这种方法。

SimReady 资源与常规 3D 模型有何不同?

纹理模型描述对象的形状和外观。模拟器还需要知道该物体如何占据空间、如何响应接触以及如何移动。真实的厨柜说明了其中的差异:其渲染图像可能显示门和把手,而机器人交互则要求这些组件具有可用的几何形状、碰撞形状和适当的关节。

游戏就绪资源可能已经包括碰撞和动画,但其设置是为特定游戏设计的。机器人学习任务可能需要校准尺寸、物理参数、语义注释以及针对预期交互的验证。根据该任务和模拟运行时间评估准备情况。

3D 资源需要满足哪些条件才能用于仿真?

几何结构、比例与材质

尺寸、方向和对象结构需要与预期环境相匹配。机器人夹具和手柄必须以兼容的比例表示。视觉材质和纹理支持渲染观察,而物理材质属性描述摩擦和弹跳等行为。 NVIDIA 的建模指南强调现实世界的规模和一致的资源构建。

碰撞几何和物理特性

碰撞形状决定了接触发生的位置。质量和惯性会影响移动物体对力的反应;摩擦力影响表面是否滑动。这些属性需要适合对象和任务。可见网格和碰撞几何体可能不同,例如,当更简单的碰撞表示可以提高模拟性能时。 USD Physics 提供用于描述 OpenUSD 场景中的物理属性的模式。

语义标签与有意义的部件

语义信息识别对象或组件所代表的内容。柜子、门和把手等标签支持场景解释和带注释的训练数据。单独的零件几何形状允许单独选择和操作这些组件。 语义标签还可以支持识别为机器学习而渲染的图像中的对象。

针对具体任务的关节与抓取点

柜子打开任务需要具有合适的轴和运动限制的门接头。拾放任务需要可触及的接触面和有用的抓取位置。这些是特定于任务的附加功能:静态背景对象不需要铰接式操作资源所需的所有功能。

为什么 SimReady 资源对于物理 AI 很重要?

Physical AI系统在物理环境中感知并行动。模拟为机器人开发团队提供了执行任务、改变条件和收集数据的场所。资源质量会影响这些实验:不正确的碰撞器可能会阻止有效的抓取,而错误缩放的手柄可能会改变任务是否可达。

结构化资源也使变异变得更加有用。场景可以更改对象放置、尺寸或材质属性,同时保留运行任务所需的信息。这些变化支持机器人学习和评估工作流程,尽管模拟性能仍然需要根据现实世界的目标进行评估。

如何验证Isaac Sim中的SimReady资源?

验证包括检查资源的结构并观察其在目标模拟器中的行为。 Thrixel 的物理 AI 工作流程使用 Isaac Sim 进行测试,例如:

  • 沉降:将物体放置在其预定的支撑物上并检查其是否按预期静止。
  • 掉落:检查物体落地时的接触响应和稳定性。
  • 幻灯片:检查表面在运动下如何相互作用。
  • 关节铰接:检查门、盖子或其他铰接部件的轴、范围和运动。
  • 抓取和举起:测试机器人是否能够接触、握住和举起预期物体。

测试应该反映预期的任务。隔离正确打开的门还需要检查其柜子内部、周围物体和机器人是否在场。资源验证和场景验证解决不同的故障来源。

AI可以生成SimReady资源和整个场景吗?

人工智能可以根据提示或参考图像生成几何形状和外观,然后支持零件、物理和任务信息的准备。 Thrixel的AI 3D模型生成器为此过程提供了可编辑的资源。完整的工作流程还可以组装环境并在仿真中检查其行为。 3D 生成式 AI 指南解释了底层模型生成工作流程。

Thrixel forphysical AI涵盖了照片和视频的数字孪生重建、结构化场景生成、语义部件、创作的抓取点和模拟验证。该工作流程使用 PBR 材质和携带模拟信息的 USDA 场景输出生成三角形网格。它还支持用于模仿学习的资源和场景变化以及机器人轨迹。

对于使用编程智能体创建交互式世界,Build World 将资源生成连接到场景组装和迭代检查。 Physical AI 项目添加了机器人任务、物理校准和模拟器特定验证等要求。 Thrixel 的物理人工智能项目讨论从这些要求和可用的参考输入开始。

有关SimReady 3D资源的常见问题

每个 USD 文件都是 SimReady 资源吗?

No.OpenUSD可以描述场景而不包含任务所需的模拟能力。该文件需要适当的结构化属性、语义和验证。 NVIDIA 的 SimReady 常见问题解答解释了为什么仅以USD存储数据并不能建立模拟准备。

SimReady资源与数字孪生相同吗?

这些术语描述了资源的不同方面。数字孪生代表特定的现实世界对象或环境。仿真准备情况描述了在仿真中使用该表示所需的功能。重建的厨房可以准备用于模拟,而生成的 SimReady 厨房不需要对应于一个特定的真实厨房。

现有的 3D 模型可以进行仿真吗?

是的。现有的网格可以作为起点。准备工作可能包括校正比例、分离移动部件、创作碰撞几何形状和物理属性、添加语义标签以及在目标模拟器中测试结果。这项工作取决于模型的结构和预期任务。

所有SimReady资源都需要关节或者抓点吗?

不。这些能力取决于交互。地板需要合适的几何形状和接触行为;打开抽屉需要铰接;用于抓取的物体需要操纵设置。相关的模拟要求决定了必须编写和检查的内容。

探索 Physical AI 的 Thrixel