Исследователи Центра искусственного интеллекта Сколтеха совместно с коллегами из Самарского университета разработали систему для автоматического выделения этапов производственных процессов по видеопотокам. С её помощью нейросеть сможет сама определить отклонения от производственного процесса и даже предотвратить аварийные ситуации. Используемый подход самообучения (self-supervised learning) позволяет сократить затраты на ручную разметку данных и повысить устойчивость работы модели в реальных условиях. Результаты исследования опубликованы в журнале IEEE Access (Q1) — одной из ведущих международных платформ в области инженерных и компьютерных наук.

Технология предназначена для временной сегментации видеопотоков с производственных площадок. Система понимает, на каком этапе находится та или иная операция — например, замена масла или сборка компонентов — и автоматически выделяет ключевые моменты в видеоматериале.

«Внедрение таких систем даёт реальную экономию: теперь не нужно вручную разбирать сотни часов видео, чтобы обучить нейросеть распознавать производственные этапы, — поясняет ведущий инженер по машинному обучению Центра ИИ Сколтеха Максим Алёшин. — Модель будет самостоятельно выделять закономерности в больших объёмах необработанного материала. Это позволяет промышленным камерам в реальном времени выявлять отклонения от нормального хода процесса и помогать предотвратить аварийные ситуации».

Нейросеть обучается на большом массиве неразмеченных видеозаписей, самостоятельно выделяя ключевые признаки без участия разметчиков. Затем проходит дообучение на небольшой размеченной выборке и адаптируется под конкретные задачи (например, для классификации событий «замена колеса», «замена масла», «статическое состояние»). Система показала высокую скорость обработки видеопотоков, что делает её пригодной для применения в реальном времени в промышленных условиях.

По словам руководителя исследовательской группы Центра ИИ Сколтеха Светланы Илларионовой, технология станет частью более широких решений для обеспечения промышленной безопасности и оптимизации производственных процессов.

В ближайших планах команды — расширить количество поддерживаемых сценариев и типов производственных операций, протестировать систему на реальных объектах с непрерывным мониторингом большого числа процессов, интегрировать подход в комплексные системы для умного видеонаблюдения на промышленных площадках.

«Именно такие проекты делают производство более безопасным и интеллектуальным. Мы уверены, что предложенная методика найдёт применение и за пределами классических сборочных линий», — подчёркивает Светлана Илларионова.