Параллельные алгоритмы для искусственного интеллекта

Численная линейная алгебра — это устоявшаяся область исследований с богатой историей, полной изобретений. Она является корнем и движущей силой всех современных методов для решения всех видов задач. Последние достижения в подходе к параллельной обработке таких базовых процедур численной линейной алгебры, как QR-разложение и факторизация Холецкого на гетерогенных кластерах, все еще недостаточно представлены в области ИИ. Парадигма программирования на основе задач требует, чтобы весь алгоритм был представлен в виде направленного ациклического графа задач. Каждая задача выполняется на каком-либо вычислительном устройстве, например, ядре CPU или GPU, которое выбирается библиотекой планирования, и работает с локальными копиями данных, предоставляемыми библиотекой планирования. Реализация методов обучения и вывода ИИ в рамках структуры на основе задач и решение всех узких мест в арифметике и передаче данных являются основными задачами лаборатории.

результаты

Для достижения высокой масштабируемой производительности для текущих потребностей ИИ мы сосредоточимся на следующих задачах:

алгоритмические исследования, позволяющие выполнять одни и те же операции разными способами, чтобы обеспечить различную оптимальную производительность на кластерах и суперкомпьютерах разного масштаба
оптимизация производительности низкоуровневых строительных блоков
разработка качественного программного обеспечения для параллельного обучения и вывода ИИ для различных современных моделей нейронных сетей