В Международный день робототехники расскажем, над чем работают инженеры и учёные Лаборатории интеллектуальной космической робототехники (Центра системного прогнозирования Сколтеха) под руководством доцента Дмитрия Тетерюкова.

Prometheus

Система для телеуправления манипулятором или гуманоидным роботом с двухпальцевым захватом, оснащённым силовой обратной связью. Цель системы — сформировать датасеты для выполнения различных действий, необходимых для обучения нейросетей. Особенность системы состоит в том, что она позволяет оператору ощущать силу, с которой он удерживает объект. Система работает с помощью форс-сенсора на манипуляторе, который установлен совместно с системой передачи усилий. Когда захват начинает сжиматься вокруг объекта, электроника, предназначенная для считывания и фильтрации данных, передаёт информацию о силе сжатия на другую плату, которая обрабатывает её и управляет мотором, встроенным в специальную ручку. Эта ручка позволяет не только управлять захватом на манипуляторе, но и передавать пользователю ощущение силы захвата.

Чувствительность системы настолько высока, что позволяет ощутить даже момент захвата пластикового одноразового стаканчика. В результате экспериментов с пользователями было установлено, что они сжимают объекты примерно на 40% слабее, чем обычно, благодаря чему возможно безопасное управление хрупкими предметами.

Команда лаборатории разработала электрические схемы с использованием микроконтроллеров, изготовила печатные платы, создала конструкцию форс-сенсоров и ручек, а также написала весь программный код для микроконтроллера и компьютера. Система готова к мелкосерийному производству.

METDrive

Система улучшает автономное вождение за счёт мультимодальности — использования множества данных. Она анализирует как статические, так и динамические аспекты дорожной обстановки, что делает вождение безопаснее. METDrive использует данные о состоянии автомобиля (углы поворота, руление, газ, маршрут) и информацию от датчиков, чтобы предсказывать дальнейший путь. Для этого авторы предложили специальную функцию потерь, которая учитывает временные изменения.

Систему протестировали на платформе CARLA (Longest6 benchmark), где она показала хорошие результаты: 70% за общую оценку вождения, 94% за завершение маршрута и 0.78 за количество нарушений. Это демонстрирует её эффективность в реальных условиях.

Операционная система CognitiveOS

CognitiveOS — первая операционная система, созданная для когнитивных роботов, которые могут работать на разных роботизированных платформах. Она состоит из девяти модулей, которые помогают роботу выполнять сложные задачи в реальном мире. В зависимости от задачи модули можно настраивать, изменять или отключать, а также добавлять новые. Это делает систему гибкой и масштабируемой, по сравнению с традиционными подходами. CognitiveOS упрощает работу исследователям и разработчикам, лишая их сложностей создания системы с нуля.

Эксперименты показали, что система хорошо справляется с задачами, адаптируется к разным условиям и превосходит другие модели в категории «Логическое мышление». Авторы также предоставляют код и данные для воспроизведения системы.

Хаптика

В Лаборатории интеллектуальной космической робототехники занимаются разработкой новых технологий взаимодействия человека и робота (HRI) и тактильной техники с помощью искусственного интеллекта. 

Команда HRI и Haptics сосредоточена на интеграции LLM (больших языковых моделей), VLM (моделей «зрение-язык») и VLA (моделей «зрение-язык-действие») для улучшения восприятия, принятия решений и взаимодействия роботов. Эти системы искусственного интеллекта позволяют нашим роботам интуитивнее понимать и реагировать на окружающую среду, что позволяет использовать их в таких приложениях, как:

• совместное бимануальное манипулирование объектами несколькими роботами, которые действуют на основе интерпретации сцены;

• вспомогательная навигация для слепых людей, использующая модели «зрение-язык» (VLM) для улучшения пространственной осведомленности;

• тактильные интерфейсы, сочетающие нейронные сети и мультимодальный ИИ.

Гетерогенный рой роботов с использованием глубокого обучения для автономной навигации в неструктурированных средах

Благодаря своей разнородности роботы в рое могут распределять задачи доставки между агентами, обладающими уникальными инструментами для решения той или иной цели в известных или частично неизвестных средах. Основные направления разработок включают алгоритмы глубокого обучения с подкреплением для распределения задач среди роботов группы и децентрализованного поиска маршрутов к ним, а также алгоритмы групповой посадки беспилотных летательных аппаратов (БПЛА) на мобильные роботы. В рамках этого направления лаборатория Сколтеха активно сотрудничает с Индийским институтом научного образования и исследований в Бхопале (IISER) и Университетом Хамад бин Халифа, куда учёные из России планируют отправиться для совместной работы над алгоритмами поиска пути гетерогенными роями роботов. 

UAV-VLA

Технология генерирует крупномасштабные воздушные миссии с использованием ИИ, открывая двери для сквозных автономных полётов. В её основе — использование спутниковых снимков и мощных алгоритмов обработки текстов и изображений для создания маршрутов полётов и планов действий по простым запросам. Это позволяет лучше планировать миссии и оперативно принимать решения. В итоге система делает работу с БПЛА более эффективной и удобной. Новый метод продемонстрировал повышение точности поиска объектов на карте и сокращение длины маршрутов. Разработка будет полезным инструментом в создании датасетов для VLA моделей. Работа будет представлена на конференции IEEE/ACM International Conference on Human-Robot Interaction в марте этого года.

Race.AI

Проект представляет новый метод автономной навигации гоночных дронов, основанный на Visual-Language-Action (VLA) моделях и позволяющий эмулировать поведение человека-пилота. Основная цель исследования — разработка алгоритмов, которые позволяют дронам адаптировать стратегию полёта на основе визуальной и языковой информации в реальном времени, что приближает процесс принятия решений к человеческому уровню. Для достижения этой цели модель была обучена на специализированном датасете гоночных дронов, что позволило добиться высокой степени обобщения даже в сложных гоночных сценариях. Проект RaceVLA открывает новые горизонты в области автономной навигации, позволяя дронам быстро адаптироваться к изменяющимся условиям, что особенно важно в условиях динамических гоночных трасс.