Что такое SimReady 3D?

Что означает SimReady?

SimReady означает готовность к моделированию. 3D-ассет SimReady содержит информацию, которую симулятор может использовать для интерпретации объекта и его поведения, а также его видимую геометрию и материалы. В зависимости от задачи эта информация может включать формы столкновения, массу, трение, семантические метки и шарнирные компоненты.

SimReady также называет структуру спецификаций, инициированную NVIDIA и построенную на OpenUSD. Он определяет возможности моделирования посредством структурированных свойств и метаданных. Применимые требования зависят от предполагаемого использования ассета; Объект, используемый для восприятия камерой, и объект, используемый для роботизированных манипуляций, требуют разных возможностей. Этот подход описан в обзоре спецификации SimReady от NVIDIA.

Чем ресурс SimReady отличается от обычной 3D-модели?

Текстурированная модель описывает форму и внешний вид объекта. Симулятору также необходимо знать, как этот объект занимает пространство, реагирует на контакт и движется. Реалистичный кухонный шкаф иллюстрирует разницу: на его визуализированном изображении могут быть изображены дверь и ручка, а для взаимодействия с роботом требуется, чтобы эти компоненты имели удобную геометрию, формы столкновения и соответствующие соединения.

Готовый к игре ассет может уже включать в себя столкновения и анимацию, но его настройка предназначена для конкретной игры. Задача обучения роботов может потребовать калиброванных размеров, физических параметров, семантических аннотаций и проверки на предмет предполагаемого взаимодействия. Готовность оценивается по этой задаче и времени выполнения моделирования.

Что делает 3D-моделирование объекта готовым?

Геометрия, масштаб и материалы

Размеры, ориентация и структура объекта должны соответствовать предполагаемой среде. Захват и ручка робота должны быть представлены в совместимых масштабах. Визуальные материалы и текстуры поддерживают визуализированные наблюдения, а физические свойства материала описывают такое поведение, как трение и отскок. В руководстве по моделированию NVIDIA особое внимание уделяется реальному масштабу и последовательному построению ассетов.

Геометрия столкновения и физические свойства

Формы столкновений определяют, где происходит контакт. Масса и инерция влияют на то, как движущийся объект реагирует на силы; трение влияет на то, скользят ли поверхности. Эти свойства должны соответствовать объекту и задаче. Видимая сетка и геометрия столкновений могут различаться, например, когда более простое представление столкновений улучшает производительность моделирования. USD Physics предоставляет схемы для описания физических свойств в сцене OpenUSD.

Семантические метки и значимые части

Семантическая информация определяет, что представляет собой объект или компонент. Такие метки, как шкаф, дверь и ручка, помогают интерпретировать сцену и аннотировать данные обучения. Отдельная геометрия детали позволяет выбирать эти компоненты и манипулировать ими по отдельности. Семантическая маркировка также может поддерживать идентификацию объектов на изображениях, созданных для машинного обучения.

Соединения и точки захвата для конкретных задач

Для открытия шкафа требуется дверное соединение с подходящей осью и ограничениями движения. Для задачи захвата и размещения необходимы доступные контактные поверхности и удобные места для захвата. Это дополнения для конкретных задач: статическому фоновому объекту не требуются все возможности, необходимые для артикулированного ассета манипуляции.

Почему ассеты SimReady важны для физического ИИ?

Системы Physical AI воспринимают физическую среду и действуют в ней. Симуляция позволяет командам разработки роботов проверять задачи, менять условия и собирать данные. Качество ассетов влияет на эти эксперименты: неверный коллайдер может помешать корректному захвату, а неправильный масштаб ручки может изменить доступность действия для робота.

Структурированные ассеты также делают вариации более полезными. Сцена может изменять размещение объекта, размеры или свойства материала, сохраняя при этом информацию, необходимую для выполнения задачи. Эти варианты поддерживают рабочие процессы обучения и оценки роботов, хотя производительность моделирования по-прежнему требует оценки по сравнению с реальными целями.

Как вы проверяете ассеты SimReady в Isaac Sim?

Проверка включает проверку структуры ассета и наблюдение за его поведением в целевом симуляторе. Рабочий процесс физического искусственного интеллекта Thrixel использует Isaac Sim для таких тестов, как:

• Установка: поместите объект на предполагаемую опору и проверьте, остановится ли он так, как ожидалось.
• Падение: проверьте реакцию и стабильность контакта при приземлении объекта.
• Слайд: посмотрите, как поверхности взаимодействуют при движении.
• Сочленение. Проверьте ось, диапазон и движение дверей, крышек и других шарнирных частей.
• Захватить и поднять. Проверьте, сможет ли робот коснуться, удержать и поднять нужный объект.

Тесты должны отражать поставленную задачу. Дверь, которая правильно открывается изолированно, также нуждается в проверке внутри шкафа, рядом с окружающими предметами и роботом. Проверка ассетов и проверка сцены устраняют разные источники сбоев.

Может ли ИИ генерировать ресурсы SimReady и целые сцены?

ИИ может генерировать геометрию и внешний вид на основе подсказок или эталонных изображений, а затем поддерживать подготовку деталей, физику и информацию о задачах. Генератор 3D-моделей искусственного интеллекта Thrixel предоставляет редактируемые ресурсы для этого процесса. Полный рабочий процесс также собирает среду и проверяет ее поведение в моделировании. Руководство по 3D-генеративному искусственному интеллекту объясняет основные рабочие процессы создания моделей.

Thrixel для физического ИИ включает реконструкцию цифровых двойников по фотографиям и видео, генерацию структурированных сцен, семантические части, заданные точки захвата и проверку в симуляции. Процесс создаёт треугольные сетки с PBR-материалами и сцены USDA с данными для симуляции. Также поддерживаются вариации ассетов и сцен и траектории роботов для имитационного обучения.

Для интерактивного создания мира с помощью агента программирования Build World связывает генерацию ресурсов со сборкой сцены и итеративной проверкой. Проекты Physical AI добавляют такие требования, как задачи роботов, физическая калибровка и проверка для конкретного симулятора. обсуждение проекта физического ИИ в Thrixel начинается с этих требований и доступных справочных материалов.

Распространенные вопросы о 3D-ресурсах SimReady

Является ли каждый файл USD ассетом SimReady?

Нет. OpenUSD может описывать сцену, не вмещая в себя возможности моделирования, необходимые для задачи. Файлу необходимы соответствующие структурированные свойства, семантика и проверка. Часто задаваемые вопросы по SimReady NVIDIA объясняет, почему хранение данных только в USD не обеспечивает готовность к моделированию.

Являются ли ассеты SimReady такими же, как цифровые двойники?

Эти термины описывают различные аспекты ассета. Цифровой двойник представляет собой конкретный объект или среду реального мира. Готовность к моделированию описывает возможности, необходимые для использования этого представления в моделировании. Реконструированную кухню можно подготовить к моделированию, при этом сгенерированная кухня SimReady не обязательно должна соответствовать одной конкретной реальной кухне.

Может ли существующая 3D-модель стать готовой к моделированию?

Да. Существующая сетка может быть отправной точкой. Подготовка может включать корректировку масштаба, разделение движущихся частей, разработку геометрии и физических свойств столкновений, добавление семантических меток и тестирование результата в целевом симуляторе. Работа зависит от структуры модели и поставленной задачи.

Всем ли ассетам SimReady нужны соединения или точки захвата?

Нет. Эти возможности зависят от взаимодействия. Полу необходима подходящая геометрия и контактное поведение; открывающийся ящик нуждается в шарнирном соединении; объект, предназначенный для захвата, требует настройки манипуляции. Соответствующие требования к моделированию определяют, что необходимо создать и проверить.