Исследователи Калифорнийского университета в Сан-Франциско (UCSF) разработали мозговой имплант, способный одновременно декодировать речь и жесты людей с тяжёлым параличом и передавать их через анимированный цифровой аватар. Результаты работы опубликованы в журнале Nature Neuroscience.
Устройство представляет собой единый имплант высокой плотности с электродами (ECoG), который был протестирован на трёх пациентах с тяжёлой формой паралича — двух перенёсших инсульт и одном с боковым амиотрофическим склерозом (БАС). В отличие от прежних технологий, которые декодировали либо речь, либо движения конечностей по отдельности, новая система интегрирует обе модальности, позволяя восстановить более естественную невербальную коммуникацию.
Сначала учёные подтвердили, что один имплант способен улавливать сигналы, связанные с разными типами движений — как верхних конечностей, так и мышц рта и лица, участвующих в речи: пожимание плечами, поднятие кулака в знак победы, кивок головой. Затем они применили параллельные декодеры речи и жестов у двух участников, чтобы анимировать полноценный аватар. Пациентам предлагалось пытаться выполнять конкретные жесты, отвечать на вопросы в ходе беседы или делать и то, и другое одновременно.
В разговорных задачах система точно декодировала и речь, и жесты у обоих участников. Один из них достиг средней точности 100% как в распознавании речи, так и жестов на протяжении трёх блоков беседы.
Исследователи выяснили, что, хотя мозговые зоны, отвечающие за речь и движения рук, в целом разделены, их нейронная активность частично совпадает. Чтобы избежать помех между двумя сигналами, команда разработала модель искусственного интеллекта, способную обрабатывать обе активности независимо и одновременно.
По словам авторов работы, это исследование — решающий шаг к созданию нейротехнологических инструментов, которые вернут не только голос, но и способность к жестовому и эмоциональному выражению пациентам, лишённым подвижности и речи.