Исследователи из Нью-Йоркского университета реконструируют речь по активности мозга, проливая свет на сложные нервные процессы

Newswise – Производство речи – это сложное неврологическое явление, которое не позволяет исследователям объяснить его. Разделение сложной сети нейронных областей, которые контролируют тонкие движения мышц рта, челюсти и языка, с областями, которые обрабатывают слуховую обратную связь при слышании вашего голоса, является сложной проблемой, и ее необходимо решить для следующего поколения речи. Производство протезов.

Теперь группа исследователей из Нью-Йоркского университета сделала ключевые открытия, которые помогут распутать эту сеть, и используют их для создания технологии реконструкции голоса, которая воссоздает голоса пациентов, потерявших способность говорить.

Команда возглавляется совместно Флинкер был осужден — Доцент кафедры биомедицинской инженерии в Тандоне Нью-Йоркского университета и нейробиологии в Медицинской школе имени Гроссмана Нью-Йоркского университета — W Яо Ван — Профессор биомедицинской инженерии, электротехники и вычислительной техники в Тандоне Нью-Йоркского университета, а также член NYU WIRELESS — создал и использовал сложные нейронные сети для восстановления речи по записям мозга, а затем использовал это воссоздание для анализа процессов, управляющих человеческой речью. . Они подробно описали свои новые открытия в Новая статья опубликована в Трудах Национальной академии наук. (Бнас).

Производство человеческой речи — это сложное поведение, которое включает в себя контроль двигательных команд, а также обработку обратной связи самостоятельно произносимой речи. Эти процессы требуют участия нескольких сетей мозга в тандеме. Однако было трудно разделить степень и время рекрутирования коры для моторного контроля и сенсорной обработки, возникающей в результате производства речи.

В новом исследовании исследователям удалось распутать сложные процессы обратной связи и обратной связи во время производства речи. Используя инновационную архитектуру глубокого обучения на нейрохирургических записях человека, команда использовала дифференцируемый синтезатор речи на основе правил для декодирования речевых параметров из корковых сигналов. Реализуя архитектуру нейронных сетей, которая различает причинные (использующие текущие и прошлые нейронные сигналы для декодирования текущей речи), антипричинные (использующие текущие и будущие нейронные сигналы) или комбинацию обеих (непричинных) временных сверток, исследователи смогли способен выполнять детальный анализ. Вклад обратной связи и обратной связи в производство речи.

«Этот подход позволил нам разделить обработку нейронных сигналов прямой и обратной связи, которые происходят одновременно, когда мы производим речь и чувственную обратную связь на наши голоса», — говорит Флинкер.

Этот сложный подход не только расшифровал интерпретируемые речевые параметры, но и позволил получить представление о рецептивных височных полях определенных областей коры. Поразительно, но результаты бросают вызов преобладающим представлениям о том, что рефлексы отделяются от корковых сетей прямой связи. Анализ выявил тонкую структуру смешанной обратной и прямой обработки, охватывающую лобную и височную кору. Эта новая перспектива в сочетании с исключительной производительностью декодирования речи представляет собой большой шаг вперед в нашем понимании сложных нейронных механизмов, лежащих в основе производства речи.

Исследователи использовали эту новую перспективу для разработки протезов, которые могут читать и декодировать активность мозга непосредственно в речи. В то время как многие исследователи работают над разработкой таких устройств, прототип Нью-Йоркского университета имеет одно ключевое отличие: он способен в значительной степени воссоздать голос пациента, используя лишь небольшой набор записей. В результате пациенты не восстанавливают голос после его потери, а скорее обретают его. они Голосуйте еще раз. Это происходит благодаря глубокой нейронной сети, которая учитывает основное слуховое пространство и может обучаться всего на нескольких образцах отдельного аудио, например, на видео на YouTube или записи Zoom.

Для сбора данных исследователи обратились к группе пациентов с рефрактерной эпилепсией, которую в настоящее время невозможно лечить медикаментами. Этим пациентам была имплантирована в мозг сетка субдуральных электродов для электроэнцефалографии (ЭЭГ) на одну неделю для мониторинга их состояния, и они согласились на 64 дополнительных электрода меньшего размера, вложенных между обычными клиническими электродами. Они предоставили исследователям ключевую информацию об активности мозга в процессе произнесения речи.

Помимо Флинкера и Ванга, в число исследователей входят Ран Ван, Сюэпин Чен и Амирхоссейн Халилиан-Гортани с факультета электротехники и компьютерной инженерии Нью-Йоркского университета, Ляо Ю с факультета биомедицинской инженерии, а также Патрисия Дуган, Дэниел Фридман и Оррин Девинский из Отделение неврологии имени Гроссмана Нью-Йоркского университета. отделения и Вернер Дойл из отделения нейрохирургии.

Эта статья стала результатом гранта NSF в размере 850 000 долларов США, направленного на разработку нейронных декодеров для обработки речи и разработки управляемых моделей общения, а также грантов Национального института здравоохранения R01NS109367, R01NS115929 и R01DC018805. Теперь исследователи получили дополнительные 950 000 долларов для продолжения этой работы при совместном финансировании программы NSF Collaborative Research in Computational Neuroscience (CRCNS) и программы Disability and Rehabilitation Engineering (DARE). Средства будут поддерживать дальнейшее развитие вычислительных методов, которые позволят глубже понять нейробиологию языка и ее применение в новых клинических приложениях речи и языка.

О инженерной школе Тандон Нью-Йоркского университета

История Тандонской инженерной школы Нью-Йоркского университета восходит к 1854 году, когда были основаны Школа гражданского строительства и архитектуры Нью-Йоркского университета и Бруклинский университетский политехнический институт. В результате слияния, произошедшего в январе 2014 года, была создана комплексная школа преподавания и исследований в области инженерных и прикладных наук как часть глобального университета, имеющая тесные связи с инженерными программами Нью-Йоркского университета в Абу-Даби и Нью-Йоркского университета в Шанхае. Нью-Йоркский университет Тандон основан на ярких традициях предпринимательства, интеллектуального любопытства и инновационных решений самых острых глобальных проблем, стоящих перед человечеством. Исследования в Тандоне сосредоточены на жизненно важных пересечениях между коммуникациями/ИТ, кибербезопасностью, системами и инструментами обработки данных/робототехники, а также важными областями общества, на которые они влияют, включая новые средства массовой информации, здравоохранение, устойчивое развитие и городскую жизнь. Мы считаем, что разнообразие является неотъемлемой частью совершенства, и работаем над созданием динамичной, инклюзивной и равноправной среды для всех наших студентов, преподавателей и сотрудников. Для получения дополнительной информации посетите сайт Engineering.nyu.edu.