Иллюстрация. Может ли устройство, которое считывает электрическую активность мозга, уловить в голове человека сигналы цифр и определить, что он с ними делает: пишет, произносит вслух или лишь думает о них? Картинка сгенерирована ИИ-моделью MirageMaker на сайте Deep Dream Generator с использованием фрагментов, предоставленных авторами статьи

Российские исследователи из Сколтеха, Федерального центра нейрохирургии Минздрава РФ, Сеченовского университета и МГУ имени М. В. Ломоносова исследовали мозговую активность при письме и говорении у двух пациентов с имплантированными внутричерепными электродами. Опубликованные в библиотеке препринтов medRxiv результаты этой работы расширяют базу знаний, необходимую для создания «читающих мысли» нейроинтерфейсов, которые смогут распознавать мысли и намерения пользователя, не зная наперёд, хочет ли он пошевелить протезом, набрать текст или выполнить иную задачу.

«Нейроучёные постепенно переходят от концепции, что есть область мозга, которая отвечает за ту или иную функцию, к концепции, что за функцию отвечает некоторая сеть динамически взаимодействующих областей. И в решении моторных задач, например, участвует множество областей, что подтверждается и нашими результатами, — рассказывает Николай Сыров, один из авторов исследования, старший научный сотрудник Центра нейробиологии и нейрореабилитации имени Владимира Зельмана в Сколтехе. — Возникает интересный вопрос: если функции не локализованы в одном месте, а распределены по коре, можем ли мы зарегистрировать электрическую активность мозга и понять, что он пытается сделать, не зная заранее, какого рода намерение мы ищем?»

Этот вопрос лежит в основе концепции мультимодальных нейроинтерфейсов — так называются мозговые чипы, которые, в отличие от большинства существующих решений, не ориентированы на одну конкретную функцию. Вместо того, чтобы искать только сигналы, которые кодируют намерение пошевелить протезом, или только связанные с речью сигналы, мультимодальный интерфейс будет сам определять по электрической активности, к какой категории она относится. Учёные из Сколтеха считают, что за этим подходом — будущее интерфейсов «мозг — компьютер», однако для его реализации потребуется ещё множество подобных исследований, которые прояснят тонкости распределения функций по областям мозга.

В нынешнем исследовании участвовали два пациента с эпилепсией. Обоим по медицинским показаниям имплантировали электроды в мозг в Федеральном центре нейрохирургии Минздрава РФ в Тюмени. Таким образом врачи ищут очаг эпилептической активности. То есть расположение электродов не мотивировано ожиданиями учёных касательно возможной локализации в мозге активности, связанной с письмом и речевыми задачами, которые были предложены пациентам.

В первом задании пациенты писали цифры на планшете. Во втором они сперва произносили слова вслух, потом беззвучно артикулировали их (шевелили губами и проч.) и наконец лишь воображали произнесение слов, без какого бы то ни было движения языка, губ и т. д. Всё это время с электродов велась непрерывная запись мозговой активности.

Учёные обнаружили, что задача по письму, которая, по сути своей, является двигательной, вызывала не локализованную активность: сигнал принимают все электроды, независимо от их положения. Такая картина соответствует ожиданиям учёных, что координированное движение сопряжено с распределённой по коре головного мозга активностью.

В некоторых участках мозга активность наблюдалась при реализации обеих функций: говорения и письма. С точки зрения перспективы реализации мультимодальных интерфейсов это — хороший знак.

Что касается речевой задачи, электрическая активность при полноценном говорении и при немой артикуляции хорошо соответствовали друг другу. А сигнал «внутреннего голоса», пусть он и оказался существенно слабее, всё же отлично вписывался в ту же картину. Это логично, ведь эту едва уловимую активность можно рассматривать как сигнал речи за вычетом движения органов артикуляции и слуха. Такой «остаточный» сигнал может быть связан, например, с извлечением слов из памяти. «Любая попытка зарегистрировать сигнал внутреннего голоса сама по себе интересна тем, что вы в каком-то смысле читаете мысли. Не так много научных групп, которые этим занимаются», — поделился первый автор статьи, младший научный сотрудник Центра нейробиологии и нейрореабилитации имени Владимира Зельмана Гурген Согоян.

Важное нововведение работы научной группы из Сколтеха — это запись мозговой активности у одних и тех же пациентов при решении как речевой, так и моторной задачи. Обычно две эти функции рассматривают отдельно, хотя говорению присущ двигательный аспект: органы речи движутся. Регистрация сигнала у одного индивида, выполняющего разные задачи, со временем позволит определить области пересечения соответствующих функций в нервной системе. Это знание необходимо для создания мультифункциональных нейроинтерфейсов, которые смогут декодировать разные функции, включая намерения чем-то пошевелить и что-то сказать.