Дослідники з Каліфорнійського університету в Сан-Франциско допомогли паралізованій жінці заговорити через цифровий аватар, пише The Guardian.

Розробники створили технологію, яка аналізує сигнали мозку й перетворює їх на мову та міміку для цифрового аватара. Для цього на поверхню мозку пацієнта імплантують крихітні електроди, які відстежують електричну активність у тій частині мозку, що контролює мовлення й рухи мʼязів обличчя.

Пацієнткою стала 47-річна Енн, яка 18 років тому перенесла інсульт стовбура мозку та втратила можливість говорити чи друкувати. Досі жінка спілкувалася за допомогою технології відстеження рухів, яка дозволяла їй генерувати 14 слів за хвилину, складаючи їх із літер.

Команда імплантувала на поверхню мозку Енн 253 електроди, щоб вони перехоплювали сигнали мозку, які контролювали б м’язи язика, щелепи, гортані й обличчя жінки, якби в неї не стався інсульт.

Після імплантації Енн певний час працювала з командою, щоб навчити алгоритми штучного інтелекту розпізнавати, які сигнали мозку жінка використовує для певних звуків. У кожної людини цей процес унікальний, тож спочатку потрібно натренувати програму, повторюючи різні фрази, пояснили дослідники.

ШІ вивчив 39 характерних звуків, після цього дослідники застосували мовну модель Chat GPT, щоб перекласти сигнали в зрозумілі речення. Голос аватара також зробили схожим на голос Енн до інсульту.

Технологія поки що працює недосконало: у 28% випадків вона розшифровує слова неправильно. Крім того, вона може перетворювати сигнали мозку на текст зі швидкістю 78 слів на хвилину, тимчасом як під час звичайної розмови люди вимовляють 110–150 слів на хвилину, кажуть дослідники.

Пацієнтка сподівається, що технологія дозволить їй у майбутньому працювати консультантом.

Наступним кроком дослідники збираються розробити бездротову версію девайса, яку можна було б імплантувати під череп.

   

Раніше модель штучного інтелекту, яка може «декодувати» думки в слова, розробила Meta. Технологія використовує неінвазивні способи відстеження мозкової активності. Модель Meta може відтворювати думки з точністю до 73%, однак поки що йдеться про набір із 793 найбільш поширених у побуті слів, відзначали в компанії.