Nvidia AI создает 3D-модели на основе 2D-видео, появятся ли приложения для 3D-печати?

Американский производитель графических процессоров Nvidia опубликовал исследовательскую работу, в которой описывается новая модель искусственного интеллекта (ИИ), способная конвертировать 2D-видеоклипы в подробные 3D-модели.

Исследование показало, что нынешние генеративные модели искусственного интеллекта с трудом улавливают мелкие детали объектов, такие как повторяющиеся текстуры, однородные цвета и сильные цветовые вариации. Говорят, что новая технология искусственного интеллекта Nvidia под названием Neuralangelo решает эти проблемы. Neuralangelo предлагает модели высокой точности и возможность точно переводить текстуры сложных материалов из 2D-видео.

Как может развиваться Nvidia AI как инструмент 3D-печати?

Nvidia подчеркивает потенциальные преимущества, в частности, для творческих профессионалов, которые могут быстро и легко создавать виртуальные объекты, используя кадры, снятые со смартфона. Искусство, виртуальная реальность, разработка видеоигр, робототехника и производство промышленных цифровых двойников были названы потенциальными приложениями Neuralangelo.

Компания уже продемонстрировала широкие возможности своей новой технологии искусственного интеллекта, воссоздав скульптуру Давида Микеланджело и бортовой грузовик. Нейраланджело также может реконструировать крупномасштабную среду. Nvidia успешно создала 3D-модель парка в своем кампусе в районе залива, используя видеозаписи с высоты птичьего полета, снятые дроном.

«Возможности 3D-реконструкции, которые предлагает Neuralangelo, принесут большую пользу создателям, помогая им воссоздать реальный мир в цифровом мире», — прокомментировал Минг-Ю Лю, старший директор по исследованиям Nvidia и соавтор исследовательской работы. «Этот инструмент в конечном итоге позволит разработчикам импортировать детализированные объекты – будь то небольшие статуи или массивные здания – в виртуальные среды для видеоигр или промышленных цифровых двойников».

Хотя этот новый инструмент искусственного интеллекта еще предстоит объединить с приложениями для 3D-печати, представитель Nvidia сообщил 3D Printing Industry, что это может стать будущим направлением. В настоящее время модели Неураланджело не могут быть напечатаны на 3D-принтере.

Легко представить себе потенциал интеграции аддитивного производства с Neuralangelo.

Будь то экспорт созданной ИИ сетки в виде файла для печати в будущем или как часть цифрового двойника. В настоящее время цифровые двойники используются на этапах проектирования и прототипирования продукта, а также на последующих стадиях жизненного цикла продукта.

Преобразование 2D-видео в 3D-модели с помощью ИИ

Neuralangelo использует примитивы мгновенной нейронной графики (NGP) в сочетании с функциями расстояния сигнала (SDF) для достижения высококачественного преобразования видео. NGP предоставляет гибридные трехмерные сетчатые структуры с хеш-кодированием с несколькими разрешениями. Это гибридное представление значительно увеличивает возможности представления нейронных полей и позволяет улавливать более мелкие детали.

По сути, Neuralangelo снимает 2D-видео объекта или окружающей среды и выбирает несколько кадров, на которых показаны разные точки зрения. После определения положения камеры в каждом кадре ИИ создает приблизительную 3D-модель. Затем этот черновой рендеринг оптимизируется, уточняя детали и производя готовый продукт с высоким качеством и точностью поверхности.

Исследователи выделяют два фактора, которые являются ключевыми для этого подхода. Во-первых, использование числовых градиентов для вычисления производных высокого порядка. Говорят, что это имеет решающее значение для стабилизации процесса оптимизации. Во-вторых, график прогрессивной оптимизации жизненно важен для восстановления структур на разных уровнях детализации. Это позволяет провести полную и точную реконструкцию 3D-модели.

Проект Nvidia Neuralangelo будет представлен на конференции Computer Vision and Pattern Recognition (CVPR) этого года в Ванкувере с 18 по 22 июня. Neuralangelo будет представлен вместе с почти 30 другими проектами, охватывающими самые разные темы: от оценки позы, 3D-реконструкции и создания видео.

ИИ и аддитивное производство

Искусственный интеллект — одно из главных модных слов в сфере 3D-печати на данный момент. В этом году опрос руководителей индустрии 3D-печати показал, что автоматизированное создание 3D-моделей с использованием искусственного интеллекта является частью будущего 3D-печати.