15 декабря в Москве наградили 11 лауреатов пятой международной премии Yandex ML Prize. Аспиранты Сколтеха Никита Гущин, Антон Разжигаев и Денис Кузнеделев, которые обучаются на программе «Вычислительные системы и анализ данных в науке и технике», получили награды в трёх номинациях. Эксперты признали их одними из лучших среди 200 претендентов из 11 стран. Всем лауреатам выплатят премии от 500 тысяч до 1 миллиона рублей в зависимости от номинации, предоставят доступ к сервисам Яндекс 360 и выдадут грант в 500 тысяч рублей на использование платформы Yandex Cloud — с её помощью можно выполнять объёмные вычисления и обрабатывать данные экспериментов.

Денис Кузнеделев изучает ускорение и сжатие нейронных сетей: «Мы с коллегами предложили новый эффективный метод оценки важности параметров в сети и определения оптимальной конфигурации сжатых весов. Большинство экспериментов мы провели над архитектурами нейросетей, используемых в области компьютерного зрения, но сам по себе метод универсален и может быть применён практически к любой области обработки искусственного языка или аудио. Ряд современных нейросетевых архитектур теперь можно запускать на устройствах ограниченной вычислительной мощности даже без доступа к интернету — например, нейросеть для распознавания лиц или речи на телефоне, мультиязычный переводчик. Я также занимаюсь машинным обучением на гетерофильных графах. Данное направление интересно с прикладной точки зрения: оно позволяет разрабатывать алгоритмы для определения мошенников в соцсетях и подозрительных банковских транзакций».

Денис получил премию в номинации «Исследователи Яндекса». Он поделился, что это большая честь и удача для него: «Очень приятно получить признание за свои научные результаты, особенно учитывая количество конкурсантов. Это мероприятие было ещё и отличной возможностью познакомиться и пообщаться с другими исследователями в области». 

Антон Разжигаев работает над тремя исследовательскими направлениями: интеграция проверенных источников знаний с языковыми моделями для решения проблемы галлюцинаций, мультимодальные исследования, объединяющие различные форматы данных, и изучение механизмов обучения больших моделей, включая анализ их активаций и внутренние репрезентации. Аспирант получил премию в номинации «Исследователи». 

«В рамках первого направления я пытаюсь скрестить структурированную информацию из Википедии и языковые модели, чтобы они не выдумывали несуществующие факты (галлюцинации). Что касается второго направления, кажется, что путь к сильному ИИ лежит не только через текст, а через объединение всех основных форматов данных: текста, изображений, видео, аудио. Да и количество текстовой информации весьма ограничено — в течение пары лет мы её исчерпаем и обучим языковые модели вообще на всём, что есть, поэтому надо расширять область доступных для них знаний. В третьем направлении мне безумно интересно, как и почему большие модели обучаются так здорово. Чтобы это понять, я углубляюсь внутрь этих моделей, изучаю их активации, динамику их эмбеддингов. Во время такого препарирования обученных (и обучающихся) моделей становится понятно, как можно сделать их эффективнее — быстрее, компактнее и, надеюсь, даже умнее», — прокомментировал Антон.

Никита Гущин занимается разработкой новых генеративных нейронных сетей для изображений и биологических данных: «В случае изображений я разрабатываю нейронные сети, способные повышать качество и разрешение изображений или перерисовывать изображений в другом стиле. В биологии же сети моделируют развитие стволовых клеток и реакцию клеток на лекарства». 

Никита получил премию в номинации «Первая публикация». «В этом году у меня приняли две статьи на конференцию NeurIPS 2023, причём одна из работ попала в топ 2,5%. Поскольку это были мои первые статьи, я подался на эту номинацию. На интервью подробно в течение часа рассказал о проделанной и планируемой работе. По итогу Яндекс объявил меня одним из трёх победителей в номинации „Первая публикация“, чему я конечно был очень рад», — поделился Никита.