Захар Ягудин, магистрант программы «Инженерные системы», Лаборатория интеллектуальной космической робототехники (Центр системного проектирования Сколтеха), поделился итогами конференции:

«На конференции IEEE FLLM 2024 в Дубае я представил четыре статьи от нашей лаборатории:

А. Лыков и Д. Тетерюков, «LLM-BRAIN: Быстрое создание дерева поведения робота на основе большой языковой модели с использованием искусственного интеллекта» (ознакомиться с аннотацией можно здесь).

Ц. Го, З. Ягудин, А. Лыков, М. Коненков и Д. Тетерюков, «VLM-Auto: Ассистент автономного вождения на базе VLM с поведением и пониманием, похожими на человеческие, для сложных дорожных сцен» (ознакомиться с аннотацией можно здесь).

А. Лыков, М. Альтамирано Кабрера, К. Фидель Гбагбе и Д. Цецеруков, «Роботы могут чувствовать: LLM-базированная структура для этического рассуждения роботов» (ознакомиться с аннотацией можно здесь).

В. Берман, А. Баженов и Д. Тетерюков, «MissionGPT: Планировщик миссий для мобильных роботов на основе трансформаторной модели робототехники» (ознакомиться с аннотацией можно здесь).

Конференция прошла замечательно. Среди участников были постдокторанты из Массачусетского технологического института, студенты из Кембриджского университета – представители ведущих мировых вузов. Мы получили множество позитивных отзывов о наших работах».

Мы работали над проектом «VLM-Auto: ассистент автономного вождения на базе VLM с поведением и пониманием, похожими на человеческие, для сложных дорожных сцен».

«Основная проблема классических систем автономного управления заключается в их чрезмерной зависимости от заранее установленных правил. Если сценарий отсутствует в исходном наборе данных, поведение таких систем становится непредсказуемым. Благодаря использованию большой языковой модели и генеративного подхода наша система способна адаптироваться к новым условиям более гибко и находить оптимальные решения. Даже если определённые ситуации отсутствуют в обучающей выборке, большая языковая модель все равно предлагает подходящую стратегию поведения. В рамках нашего проекта модель анализирует изображение дорожной сцены, оценивает такие параметры, как погодные условия и состояние дорожного покрытия (например, скользкость), а затем корректирует управление автомобилем. Так, при движении в условиях города, где дождь и туман сочетаются с интенсивным движением пешеходов, система автоматически снижает скорость и регулирует ускорения».