Парализованная женщина говорит через аватар благодаря мозговому имплантату

В 2005 году Энн Джонсон перенесла инсульт, в результате которого она была сильно парализована и не могла говорить. Ей было 30 лет.

В лучшем случае она могла издавать звуки типа «ох» и «ах», но ее мозг все еще посылал сигналы.

Теперь, через 18 лет после инсульта Джонсон, произошел научный прорыв: экспериментальная технология перевела сигналы ее мозга в слышимые слова, что позволило ей общаться через цифровой аватар.

Технология, разработанная исследователями из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли, основана на имплантате, установленном на поверхности мозга Джонсона в областях, связанных с речью и языком.

Имплантат, который Джонсон получил во время операции в прошлом году, содержит 253 электрода, которые перехватывают сигналы мозга от тысяч нейронов. Во время операции врачи также установили в голове Джонсон порт, к которому был подключен кабель, по которому сигналы ее мозга передавались в компьютерный банк.

Компьютеры используют алгоритмы искусственного интеллекта для перевода сигналов мозга в предложения, произносимые цифровым анимированным персонажем. Поэтому, когда Джонсон попытался сказать что-то вроде: «Приятно видеть вас снова», аватар на соседнем экране произнес эти слова вслух.

Система кажется значительно более быстрой и точной, чем предыдущие технологии, которые пытались достичь аналогичных результатов, и она позволила Джонсону общаться, используя относительно расширенный словарный запас.

Исследователи использовали запись речи Джонсон на свадьбе, чтобы персонализировать голос аватара. Система также преобразовывала сигналы мозга Джонсона в движения лица аватара, такие как поджатые губы, и эмоциональные выражения, такие как печаль или удивление.

Результаты эксперимента Опубликовано в среду В журнале Природа.

Доктор Эдвард Чанг, автор исследования, который делал операцию Джонсону, сказал, что он «чрезвычайно счастлив» наблюдать, как она общается через аватар.

«Нет ничего, что могло бы выразить удовлетворение от того, что нечто подобное действительно работает в реальном времени», — заявил на пресс-конференции Чанг, заведующий кафедрой нейрохирургии Калифорнийского университета в Сан-Франциско.

Технология преобразовала попытки Джонсона говорить со скоростью около 80 слов в минуту. Чжан сказал, что нормальный диапазон речи составляет от 150 до 200. Его средний показатель точности составлял около 75 процентов, когда Джонсон использовал словарный запас из 1024 слов.

В опросе комментариев Джонсон написала, что была взволнована, когда услышала, как аватар говорит голосом, похожим на ее собственный.

Она написала: «Первые семь лет после инсульта я пользовалась только доской для писем. Мой муж так устал вставать и переводить мне доску для писем».

Она сказала, что ее главной целью во время учебы было стать консультантом и использовать технологии для общения с клиентами.

«Думаю, аватар сделает их более комфортными», — написала она.

Однако эта технология не является беспроводной, поэтому она еще не достаточно развита, чтобы ее можно было включить в повседневную жизнь Джонсона.

Два параллельных исследования показывают, как мозговые имплантаты могут обеспечить речь

И второе исследование тоже Опубликовано в среду в NatureТочно так же это помогло парализованной женщине общаться практически в реальном времени.

Пациент, Пэт Беннетт, страдает болезнью Лу Герига, или боковым амиотрофическим склерозом, неврологическим заболеванием, которое ослабляет мышцы. Беннетт все еще может передвигаться и одеваться, но она больше не может использовать мышцы рта и горла для произнесения слов.

Имплантировав два крошечных датчика в ее мозг, исследователи из Стэнфорда обучили компьютерную программу декодировать сигналы от отдельных клеток мозга и преобразовывать их в слова на экране компьютера. Как и в первом исследовании, датчики были подключены к компьютеру через кабель.

Технология преобразовывала попытки речи Беннетт в слова со скоростью 62 слова в минуту и ​​имела точность около 91 процента, когда она использовала словарный запас из 50 слов. Но точность упала примерно до 76%, когда я использовал словарный запас в 125 000 слов, а это означает, что 1 из 4 слов было неправильным.

«В конце концов, технологии догонят и сделают их более доступными для людей, которые просто не могут говорить», — написал Беннетт в своем заявлении. «Для тех, кто не разговаривает, это означает, что они могут оставаться на связи с большим миром, возможно, продолжать работать и поддерживать дружеские и семейные отношения».

Связь мозг-компьютер еще не идеальна

Эксперименты с использованием электродов для считывания сигналов мозга датируются Конец 90-хНо в последние годы в области исследований достигнуты большие успехи.

В 2021 году команда Стэнфорда, проводившая эксперимент Беннета, использовала мозговые имплантаты и программное обеспечение искусственного интеллекта. Перевод сигналов мозга, связанных с почерком парализованного человека, в текст на экране компьютера. В том же году исследовательская группа Чжана из Калифорнийского университета в Сан-Франциско впервые продемонстрировала, что она может успешно переводить сигналы мозга сильно парализованного человека непосредственно в слова.

Но два новых эксперимента, описанные в журнале Nature, позволили установить гораздо более быстрые соединения, чем предыдущие попытки.

«Благодаря этим новым исследованиям теперь можно представить будущее, в котором мы сможем восстановить беглость разговорной речи парализованному человеку, дав ему возможность говорить то, что он хочет сказать, свободно и с достаточно высокой точностью, чтобы его можно было надежно понять», — ведущий автор исследования. книга. Фрэнсис Уиллетт, ученый из лаборатории нейронного протезирования Стэнфордского университета, заявил на пресс-конференции: «Стэнфордское исследование.

что редакционная статья Однако исследования, которые были опубликованы в среду, вместе с двумя исследованиями, подчеркивают несколько проблем, связанных с обеспечением широкой доступности этих технологий.

Во-первых, я заметил, что оба участника все еще могут в некоторой степени двигать мышцами лица и издавать звуки, поэтому неясно, как системы будут работать у людей без каких-либо остаточных движений. Во-вторых, я задавался вопросом, может ли эта технология использоваться кем-либо, кроме высококвалифицированных исследователей.

В редакционной статье говорится, что системы «остаются слишком сложными для того, чтобы лица, осуществляющие уход, могли работать дома без тщательного обучения и обслуживания».

Доктор Джимми Хендерсон, профессор нейрохирургии в Стэнфорде, проводивший операцию Беннетту, признал ограничения, но сказал, что есть много возможностей для дальнейшего улучшения прогрессирования.

«Я думаю, что имплантируемые и хирургические технологии будут существовать, по крайней мере, в обозримом будущем», — сказал Хендерсон.

Он сказал, что его долгосрочная цель — гарантировать, что люди с болезнью Лу Герига никогда не потеряют способность общаться.