Без слов: как ученые помогают «заговорить» парализованным людям

Первые разработки

Серьезные наработки в этой области были впервые обнародованы в 2019 году, когда калифорнийские ученые продемонстрировали технологию, которая преобразует нейронную активность в речь. Тот декодер был несовершенным, и воспроизведение не всегда выходило точным, но разобрать слова получалось. Причем с этим справлялись не только участники эксперимента, но и посторонние люди. Чтобы добиться такого результата, ученые несколько лет анализировали сигналы мозга и составляли перечень соответствующих им слов. 

Добровольцами были пациенты с тяжелой формой эпилепсии, которым в мозг были временно имплантированы электроды. Они произносили как отдельные слова, так и целые предложения, а компьютер фиксировал электрическую активность серого вещества. Затем ученые проанализировали данные и создали на их основе модель виртуального голосового аппарата, которая воспроизводила то, что ранее говорили участники эксперимента. 

Орфографический подход и сигналы мозга

В том же году ученые провели эксперимент, в котором доброволец с тетраплегией представлял, как он выводит рукой буквы алфавита. Компьютерная модель, изучавшая особенности его мозговой активности, интерпретировала команды и считывала воображаемые предложения с точностью до 95 % и скоростью около 66 символов в минуту. Орфографический подход, при котором компьютер переводит в речь сигналы для движения руки или кисти, долгое время был самым популярным в коммуникативном нейропротезировании. Но у него есть большой минус: все происходит медленно. Это касается и синтезаторов, которые расшифровывают речь с помощью движений глаз или лицевых мышц. Такой был, например, у Стивена Хокинга.

Своим механическим голосом британский физик Стивен Хокинг мог «произносить» до 15 слов в минуту Изображение: © hawking.org.uk

Настоящий прорыв в этой области случился в 2021 году, когда нейрохирург Эдвард Чанг успешно протестировал речевой нейропротез (на его разработку ученый потратил более 10 лет). Пациенту с тяжелым параличом хирургическим путем вживили электродную матрицу, с помощью которой потом записывали нейронную активность в речевой моторной коре. Всего было около 50 сеансов, и во время каждого мужчина пытался произнести одно из 50 заранее подготовленных слов вроде «вода», «семья», «хороший» и составленные из них короткие предложения. В это время электроды записывали, какие сигналы получает мозг от речевой коры. Чтобы добиться большей точности при распознавании слов, ученые использовали систему автокоррекции вроде той, которая исправляет ошибки в мессенджере на мобильном телефоне. Результат оказался впечатляющим: точность декодирования доходила до 93 %, а скорость была местами 18 слов в минуту. Это изобретение стало настоящим прорывом.

Цифровой аватар

Впрочем, этот год тоже оказался богатым на события. Сначала был создан декодер, который переводит беззвучную речь пациентки в текст со скоростью 62 слова в минуту. А позже команда Эдварда Чанга разработала новый интерфейс и перевела сигналы мозга также в устную речь цифрового аватара и его мимику. Их программа генерировала текст со скоростью 78 слов в минуту — в четыре раза быстрее, что другие подобные интерфейсы.

Ученые добились того, чтобы кодовые слова плавнее и естественнее выстраивались в предложения. Для этого они использовали те же декодеры, которые помогают распознавать речь человека голосовому помощнику Siri от Apple. Кроме того, исследователи увеличили словарный запас и точность расшифровки. 

Но самое главное, они смогли выйти за пределы орфографии и перейти к разговорной речи, а ведь это и есть наш главный способ общения друг с другом. Для этого они сгенерировали цифровой аватар, который умеет не только транслировать речь, но и передавать множество невербальных сигналов: улыбку, хмурый взгляд, удивление, а также открытие рта или сжатие губ. Лицо участницы эксперимента анимировали с помощью специальной технологии благодаря видео ее речи на свадьбе 20 лет назад. Запись также помогла воссоздать голос женщины.

Что дальше?

Подобные эксперименты помогли ученым выяснить, что артикуляционные и голосовые представления сохраняются в коре головного мозга даже после длительной потери речи, и именно это позволило добиться таких хороших результатов. 

Но несмотря на очевидные успехи, до широкого внедрения таких нейроинтерфейсов в жизнь парализованных пациентов еще далеко. Предстоит сократить время обучения декодера, увеличить точность расшифровки и убедиться, что имплантированные электроды будут работать, как надо, в течение долгого времени и что интерфейсами могут пользоваться пациенты с разными диагнозами. Очевидно также, что аппарат нужно избавить от проводов, чтобы пользователю не требовалось подключаться к стационарному компьютеру для синтеза речи.

Ученые надеются создать в будущем миниатюрный протез наподобие кардиостимулятора, способный работать автономно. С таким прибором утратившие способность разговаривать люди снова смогут общаться.

Константин Шелепин Фото: Марина Студнева / «Сириус.Журнал»

«Очередной технологический скачок произошел в последние годы, когда Илон Маск объявил о создании Neuralink, — рассказал «Сириус(Журналу» генеральный директор компании «Нейроиконика Ассистив», резидент Инновационного научно-технологического центра «Сириус» Константин Шелепин. — Ему удалось в 25 раз уменьшить размер электродов и заменить металл на гибкий органический полимер. В чипе 1024 полимерные иголки. Соответственно, существенно снижается травматичность при имплантации электрода, где за процесс отвечает не хирург, а специально созданный робот. Итогом работы над Neuralink стало испытание на свиньях, и результаты были впечатляющие. Удалось прогнозировать движение суставов конечностей животного.

В 2021 году Neuralink был вживлен макаке, и она играла в компьютерный пинг-понг, управляя ракеткой силой мысли. Хотя дальнейшее развитие систем будет предопределено технологическим прогрессом, можно точно сказать, что уже в ближайшем будущем мы увидим существенные изменения в этой области».