Коллектив учёных из Сколтеха, Института искусственного интеллекта AIRI, МИФИ и зарубежных университетов представил исследование, которое попало в престижный отчёт Стэнфордского университета AI Index Report, где подводятся итоги развития трендов искусственного интеллекта в 2023 году. В статье представлен большой набор данных Skoltech3D, с помощью которого можно создавать методы получения трёхмерных моделей объектов реального мира. Эксперты Стэнфорда признали, что представленный датасет качественно отличается от существующих решений. Впервые собраны данные в большом масштабе, с сенсоров разного типа — с фотокамер и с камер глубины (лидаров) — и вместе с высокоточным референсом.

Существующие методы 3D-реконструкции объектов, по словам авторов исследования, в основном опираются на один тип данных: либо с фотокамер, либо с камер глубины. У обоих типов алгоритмов есть свои недостатки, поэтому учёные поставили перед собой задачу создать более комплексное решение.

«Отчасти алгоритмов, которые бы эффективно использовали оба типа данных, не было потому, что не было набора данных, который позволял бы эти алгоритмы разрабатывать, тестировать. Мы собрали такой набор данных. Наш датасет — первый в своём роде, содержащий комбинации данных с разных сенсоров и имеющий высокоточные данные, которые можно использовать в качестве эталона при тестировании алгоритмов. Фокус при сборе данных мы сделали на такие типы поверхностей объектов, которые вызывают сложности у современных методов реконструкции — это глянцевые или однородные по цвету поверхности, а также полупрозрачные материалы», — рассказал первый автор работы Олег Войнов, инженер-исследователь в Центре прикладного искусственного интеллекта Сколтеха.

В отчёте Стэнфордского университета работу отметили во второй главе, в которой рассматривается широкий спектр возможностей искусственного интеллекта — от языковой обработки до обучения с подкреплением. Авторы отчёта подчеркнули, что в новом наборе данных содержится 1,4 миллиона изображений, сделанных со 100 различных ракурсов при 14 типах освещения.

«Ключевой технологией для автоматизации сбора датасета является применение коллаборативного робота с 6 степенями свободы. Робот позиционировал камеры в пространстве с точностью 0.1 мм. Для каждого объекта робот сформировал 100 ракурсов. Также мы разработали систему освещения, обеспечивающую 14 режимов работы. Движение манипулятора, съёмка мультимодальными камерами и освещение было синхронизировано и управлялось с сервера. Данные технологии позволили полность автоматизировать процесс оцифровки 3D-объектов и в перспективе поможет масштабировать датасет трёхмерных изображений Skoltech3D», — рассказал Дмитрий Тетерюков, доцент, руководитель Лаборатории интеллектуальной космической робототехники Сколтеха. 

Трёхмерная реконструкция объектов сегодня пользуется популярностью во многих сферах. Например, одним из проектов коллектива учёных под руководством директора Центра прикладного искусственного интеллекта, профессора Евгения Бурнаева, стало создание трёхмерных цифровых копий наиболее интересных объектов в Храме Василия Блаженного совместно с Государственным историческим музеем. Целью работы было сделать цифровую 3D-модель собора, чтобы её смогли использовать для организации виртуальных выставок.

«Помимо сохранения культурного исторического наследия, на 3D-реконструкцию есть запрос, например, со стороны врачей. Можно сделать трёхмерную модель органа и планировать операцию на пациенте уже на основе этой модели, а не по фотографиям с разметкой. В бизнесе и на маркетплейсах такие методы тоже популярны. Вместо фотографии товара можно показывать его трёхмерную модель, которую можно покрутить, посмотреть. Потенциальный покупатель даже может прогуляться по модели своей будущей квартиры», — добавляет Олег Войнов.

Как отметили авторы, коллектив продолжает работу над применением уникального набора данных для разработки новых, комплексных методов 3D-реконструкции.