Создан нейроимплант для перевода речи и жестов парализованного человека в движения аватара
Люди с тяжёлым параличом могут потерять сразу несколько способов общения — например, способность говорить и двигать руками. Американские учёные разработали для них интерфейс «мозг — компьютер», который с помощью одного импланта одновременно распознаёт попытки речи и жестов. Система в реальном времени передаёт расшифрованные сигналы на персонализированный виртуальный аватар.
Для работы интерфейса исследователи разместили на поверхности мозга сетку электродов, охватывающую сенсомоторную кору — область, участвующую в управлении движениями и речью. Сигналы мозга одновременно анализировали две компьютерные модели: одна распознавала речь, другая — движения верхней части тела. Исследование провели с тремя участниками на этапе изучения активности мозга, а полноценное управление аватаром в режиме реального времени продемонстрировали у двух человек с тяжёлым параличом.
Тестировавшие новую технологию люди пытались произносить заранее заданные слова и фразы и одновременно выполнять жесты, например махать рукой. Система могла воспроизводить эти действия с помощью аватара, а распознанную речь выводила на экран в виде текста. В одном из экспериментов средняя точность распознавания жестов у участника составила 85 %, а речи — 75 %. У второго испытуемого медианная точность для обоих типов сигналов достигала 100 % в нескольких экспериментальных блоках. При этом система могла различать речь и жесты не только по отдельности, но и когда они выполнялись одновременно.
Естественное человеческое общение почти никогда не ограничивается одной функцией: мы говорим, жестикулируем и меняем движения лица одновременно. Вот почему возможность расшифровывать несколько типов сигналов с помощью одного импланта может сделать интерфейсы для людей с параличом более гибкими и выразительными. Пока исследователи использовали небольшой набор из десяти жестов и десяти речевых фраз, поэтому следующий этап — расширить словарь и набор движений. В перспективе подобный принцип может использоваться не только для виртуальных аватаров, но и для управления роботизированными устройствами.
