Коллектив учёных из Сколтеха и Санкт-Петербургского государственного университета аэрокосмического приборостроения представил работу, в которой предложил альтернативный метод определения гнилых и плесневых участков яблок на послеуборочной стадии, когда фрукты хранят на складах, а потом доставляют к потребителям. Система компьютерного зрения позволит выявлять разные типы дефектов на ранней стадии, когда они ещё могут быть недоступны человеческому глазу. Работа опубликована в журнале Entropy.

Несмотря на то что многие процессы автоматизированы, оценку качества фруктов и овощей на послеуборочной стадии, особенно во время сортировки, в основном производит человек. Пока продукты доставляют до потребителей, они могут портиться и повреждаться. Некоторые участки гниения человек может просмотреть, пропустить, тем более если рядом нет специалиста-агронома, который точно может сказать, что это за болезнь или повреждение.

На примере яблок учёные рассматривали два типа дефектов: гниение и плесень. Например, если яблоки плотно упакованы, они будут ударяться друг о друга, и в местах соударения быстрее испортятся. Плесень появляется, когда были кардинально нарушены условия хранения или когда фермер не заметил её во время сбора урожая.

Для обнаружения повреждений специалисты используют инфракрасный свет, но, как отмечают исследователи, для этого нужны мульти- и гиперспектральные камеры. Они очень дорогие и порой очень сложно устроены. Идея исследования — в том, чтобы предложить альтернативный способ этим камерам с использованием глубокого обучения, моделей, которые могут генерировать инфракрасные изображения. Авторы подчёркивают, что не стремятся заменить традиционные способы, а лишь предлагают один из более доступных и продвинутых методов.

«Мы задействовали два типа нейронных сетей: генеративно-состязательные и свёрточные. Модели первого типа позволяют получать один вид изображений из другого. В нашем случае мы получаем инфракрасные снимки из RGB-снимков, то есть из видимых фотографий. Но этого недостаточно для определения дефектов, потому что генеративно-состязательные модели не классифицируют изображения. Поэтому в дело вступают свёрточные модели, которые позволяют выделять объекты нужных нам классов на снимках», — рассказывает первый автор работы Никита Стасенко, младший инженер-исследователь в Проектном центре агротехнологий Сколтеха.

Эксперименты исследователи проводили в несколько этапов: сначала собирали и обрабатывали данные из видимых фотографий. Для снимков было отобрано 16 яблок четырёх разных сортов. Далее яблоки каждого сорта подвергли разному воздействию: одно тщательно помыли и высушили, второе подвергли механическому воздействию, а третье заморозили при температуре -20°C.

«Когда мы собрали данные, мы оценили несколько моделей на основе генеративно-состязательных нейронных сетей: Pix2Pix, CycleGAN, and Pix2PixHD. Мы проверили эти модели и сравнили сгенерированные инфракрасные снимки с оригинальными. По метрикам качества оценки изображения, сгенерированные моделью Pix2PixHD, оказались максимально близки к оригинальным», — продолжает Никита Стасенко.

На втором этапе задействовали свёрточную модель Mask R-CNN — в предыдущих экспериментах коллектива именно эта модель показала себя наиболее эффективно. Для того, чтобы её обучить, учёные собрали другой набор данных, состоящий только из инфракрасных снимков. Далее эти снимки разметили: указали, где здоровые яблоки, а где участки гниения и плесени.

На третьем этапе группа учёных использовала Jetson Nano — специальную встраиваемую систему, которая позволяют запускать обученные нейронные сети. В будущем на основе этой системы можно будет создать реальное устройство для обнаружения дефектов фруктов и овощей. Помимо этого, в планах учёных — масштабировать результаты на другие растительные культуры, а также протестировать другие нейронные модели.

В работе над исследованием также приняли участие учёные Исломжон Гофуржон Угли Шухратов и Дмитрий Шадрин из Центра прикладного ИИ Сколтеха, Андрей Сомов из Центра системного проектирования Сколтеха, а также их коллеги из других организаций.