Ученые из США создали систему, которая помогает полностью парализованным людям общаться не только с помощью слов, но и через жесты. Работа основана на данных единственного имплантата, размещенного в сенсомоторной коре головного мозга. Сигналы от устройства поступают на компьютер, где преобразуются в движения анимированного аватара, повторяющего облик пациента. Результаты исследования опубликованы в журнале Nature Neuroscience.
Тяжелый инсульт нередко приводит к утрате речи и способности двигать конечностями. Чтобы вернуть таким пациентам возможность контактировать с окружающими, врачи разрабатывают устройства, считывающие нейронную активность и переводящие ее в слова. Ранее уже упоминался имплантат, установленный парализованному человеку: он фиксировал сигналы моторных зон мозга, отвечающих за речь, и превращал их в короткие фразы.
Команда американских медиков под руководством Эдварда Чана из Калифорнийского университета в Сан-Франциско усовершенствовала взаимодействие имплантата с компьютером, добавив передачу жестов. Устройство закрепили над сенсомоторной корой, что дало возможность улавливать сигналы, связанные с разными движениями, включая мимику, работу рта и конечностей, например кивки или пожимание плечами.
Для двух участников эксперимента создали цифровой аватар в полный рост. Пациентам предлагали выполнять заданные жесты, отвечать на реплики или делать это одновременно. Во время сеансов мозговая активность направлялась в модели речи и жестов, обученные с применением архитектуры сверточной рекуррентной нейронной сети.
В нижней части интерфейса отображался предсказанный вербальный контент в виде текста, а аватар показывал соответствующие жестовые движения. Алгоритмы, отвечающие за речь и мимику, способны распознавать периоды бездействия — моменты, когда человек не пытается говорить или двигать руками. Это делает систему гибкой: она работает при изолированном использовании речи или жестов, а также при их одновременном применении.
Качество детекции сигналов удалось заметно повысить. У первого испытуемого точность составила 85% для жестовой части и 75% для речевой, у второго участника оба показателя достигли 100%. Для сравнения, в более ранних исследованиях этот параметр находился на уровне 74,4%. Перед применением технологии в реальной медицинской практике необходима проверка на более масштабных выборках. В дальнейшем авторы планируют расширить словарь распознаваемых слов и жестовых конструкций, сообщает Naked Science.