Параллельные алгоритмы для искусственного интеллекта

Цель лаборатории — поиск альтернативных путей исполнения параллельных программ для снижения ресурсоёмкости в задачах искусственного интеллекта. Мы решаем две основные задачи: разбиение больших операций на набор относительно небольших подзадач и планирование исполнения этих подзадач на доступном аппаратном обеспечении. Лаборатория развивает собственный фреймворк машинного обучения NNTile.

Результаты

Для достижения высокой масштабируемой производительности для текущих потребностей ИИ мы сосредоточимся на следующих задачах:

Асинхронное параллельное обучение и инференс
Задаче-ориентированная модель программирования
Алгоритмы планирования
Снижения объёма коммуникаций при помощи квантизаций
Численная устойчивость операций
Альтернативные линейные слои
Влияние расположения данных на производительность линейных слоев
Написание низкоуровневых функций при помощи OpenAI Trion
Контакты

Сколковский институт науки и технологий

Территория Инновационного Центра «Сколково»

Россия, Москва, 121205, Большой бульвар д. 30, стр. 1

Офис E-A4-3028