Ученые преобразовали активность мозга в текст с помощью искусственного интеллекта (ИИ). Команда из Калифорнийского университета в Сан-Франциско записала данные о нейронах, которые были активированы, когда люди говорили, чтобы разработать свой метод, который позволил бы тем, у кого с синдромом заперта, восстановить форму общения.

Обучение AI чтению нейронной активности

Калифорнийская команда опубликовала свои результаты на этой неделе в журнале Nature Neuroscience. В своей статье команда описывает, как они успешно разработали систему на основе искусственного интеллекта, которая может преобразовывать мозговые сигналы в текст, и в будущем это может позволить тем, кто потерял речь, снова общаться.

Четыре участника были набраны для участия в исследовании. У этих участников уже было множество электродов, вживленных в их мозг, чтобы помочь контролировать их эпилептические припадки.

Во время исследования участники должны были прочитать вслух набор из 50 предложений. Они делали это несколько раз, пока команда отслеживала их нейронную активность. Затем алгоритм машинного обучения изучал нейронные данные, используя их для преобразования активности мозга в числовой код.

Затем система проверила, что сгенерированные числа были конкретно связаны с речевыми аспектами, сравнивая фактическое записанное аудио со звуками, которые система предсказывала из небольших сегментов мозговой активности. Это обеспечило специфику системы. Затем числа, преобразованные во второй части системы ИИ, которая преобразовывала строки цифр в последовательности слов.

В начале система генерировала предложения, которые не имели смысла. Тем не менее, система продолжала сравнивать свои результаты со словами, которые были фактически прочитаны, чтобы улучшить ее точность. Со временем система улучшилась, узнав, какие слова были связаны с конкретными типами нейронной активности, и поняв, какие слова могут следовать друг за другом.

В следующей части исследования исследователи продолжали тестировать систему, заставляя ее генерировать письменный текст, используя только мозговую активность (мозговую активность, создаваемую при чтении речи).

Хотя система не была на 100% точной, она показала себя более точной, чем предыдущие системы. Точность была выше или ниже в зависимости от человека, которого обучала система, показывая различия между участниками. Тем не менее, частота ошибок системы ИИ была ниже, чем у профессиональных транскриберов-людей, 3% по сравнению с 5%. Хотя алгоритм обучался на очень ограниченном наборе предложений, в отличие от расшифровщиков, которые работают с неограниченным вводом данных.

Высокоэффективная система

Ученые воодушевлены тем, что было достигнуто командой Калифорнийского университета, потому что она демонстрирует, что систему ИИ можно обучить менее чем за 40 минут и получить высокий уровень точности. Используя обычные методы, для достижения того же эффекта потребуются миллионы часов обучения.

Уровни точности, достигнутые в этом исследовании, выше, чем ранее зарегистрированные другими методами. Тем не менее, важно отметить, что для эффективного использования системы, чтобы помочь людям с ограниченными возможностями в восстановлении коммуникативных навыков, требуется гораздо больше исследований и разработок. Это связано с тем, что в настоящее время метод основан на обучении работе мозга, возникающей в результате громкого разговора участника, чего не могут делать те, у кого зафиксирован синдром, или те, кто перенес серьезные инсульты.

Возвращение общения людям с ограниченными возможностями

Хотя система в настоящее время не может использоваться, чтобы помочь тем, у кого нет речи, снова общаться. Это применение технологии не выходит за рамки возможного. Ученые рассматривают эту работу как потенциальную основу для речевого протеза. С большим количеством работы, система может продвинуться до такой степени, что она сможет понять нейронную деятельность, связанную с внутренней речью, без необходимости сначала обучаться тому, кто действительно читает предложения в первую очередь. Это могло бы дать возможность людям, страдающим синдромом, снова общаться с миром.