Поскольку в настоящее время LiDAR, камеры и радары являются оптимальными решениями для задач восприятия автономного вождения, объединение данных с датчиков на основе DNN является важным этапом для достижения универсальной и надежной производительности прогнозирования для обнаружения 3D-объектов. 

Автомобиль предоставлен компанией Integrant, оснащен LiDAR, камерами с глобальным затвором и датчиком GPS.

FADet — это мультисенсорная сеть 3D-обнаружения, которая специально изучает характеристики различных сенсоров на основе локальных модулей внимания. Для изображений с камер мы предлагаем субмодуль, основанный на двойном внимании. Для облаков точек LiDAR используется субмодуль, основанный на тройном внимании, а для особенностей радарных точек применяется субмодуль, основанный на смешанном внимании. С помощью локальных подмодулей внимания FADet добивается эффективных результатов обнаружения в длиннохвостых и сложных сценах с использованием камер, LiDAR и радаров.

Статус проекта: в разработке.