來自現實世界的輸入
數位孿生重建
照片和影片成為具有三角形網格、PBR 材質和獨立語義部分的 3D 資源和多物件環境。 USDA 輸出包含模擬工作流程所需的結構和物理場。
Physical AI 3D 創作
重建現有環境或根據規範產生結構化場景。
從場景規範來看
大規模模擬資料
使用模擬就緒的 3D 資源和對應的任務定義產生完整的結構化場景。使用真實世界的分佈改變 3D 資源和佈局，並產生用於模仿學習的機器人軌跡。
從提示到完成 SimReady 場景
具有鉸接物件、物理材料和碰撞幾何體的環境，準備在模擬中進行互動。 什麼是 SimReady 3D？
物理關節
鉸接零件模擬門、蓋子和其他元件如何移動和相互作用。
物理材質
物理表面屬性支援模擬中的接觸和運動。
有效的碰撞器
碰撞幾何體為物體提供了操縱和環境互動的物理存在。
機器人互動的語意 3D
3D 資源攜帶有關其元件、接觸面和抓取位置的資訊。
語意部分推理
單獨的網格可識別有意義的元件，因此把手、門和櫃體都可以參與一項任務。
定義機器人抓取點
Thrixel 定義機器人操縱的機器人抓取位置，並在模擬中進行抓取和提升檢查。
精確的碰撞幾何形狀
網格碰撞器和 USD Physics 模式描述了互動過程中使用的接觸和約束。
從參考影像到經過驗證的 3D 資源
重建工作流程將外觀、幾何形狀和物理行為連結起來。
- 01
參考輸入
從單一物體或整個場景的影像開始。參考輸入和尺寸指導重建。
- 02
3D重建
在結構化 3D 資源中建立幾何體、PBR 紋理、語意部分的單獨網格以及模擬就緒物理學。
- 03
Isaac Sim驗證
在模擬中測試和校準 3D 資源，透過接觸、關節和操作檢查其行為。
模擬檢查
- 靜置
- 掉落
- 滑動
- 機械關節的運動
- 抓取與抬升
機器人學習的模擬資料
3D資源與場景變化
程式變更將環境擴充套件到基於現實世界分佈的多種配置。結構化場景保留模擬所需的 3D 資源、物理場和任務定義。
模仿學習軌跡
機器人軌跡捕捉與環境的互動。語意部分、定義的機器人抓取點和經過驗證的物理支援用於產生模仿資料的操作任務。
討論 Physical AI 專案
共享參考輸入、目標環境和機器人任務。團隊可以討論重建、場景生成和模擬資料要求。
聯絡 Thrixel