Avatar ermöglicht gelähmter Frau das Sprechen

Moderne Technologien eröffnen interessante Möglichkeiten, um Menschen mit körperlichen Einschränkungen zu unterstützen. Neben Exoskeletten bieten Gehirn-Computer-Schnittstellen großes Potenzial. Diesen Ansatz haben auch Wissenschaftler und Wissenschaftlerinnen an den Universitäten of California in San Francisco (UCSF) und Berkeley verfolgt. Ihre Ergebnisse sind vielversprechend: Eine Patientin, die nach einem Hirnstamm-Schlaganfall schwer gelähmt war, konnte dank eines digitalen Avatars wieder sprechen.

Nach Angabe der Forschenden ist es zum ersten Mal überhaupt in dieser Form gelungen, Sprache oder Gesichtsausdrücke aus Gehirnsignalen zu synthetisieren. Die künstliche Intelligenz (KI) sei zudem in der Lage, diese Signale mit einer Geschwindigkeit von fast 80 Wörtern pro Minute in Text zu dekodieren, was eine enorme Verbesserung gegenüber handelsüblichen Technologien darstelle. Das Team hofft, schon bald ein System vorstellen zu können, das als offizielles medizinisches Hilfsmittel zugelassen wird.

Neurologische Erkrankungen mit KI und VR besser erkennen und behandeln

Künstliche Intelligenz imitiert zusätzlich die Mimik

„Unser Ziel ist es, eine vollständige, verkörperte Art der Kommunikation wiederherzustellen, die für uns die natürlichste Art ist, mit anderen zu sprechen“, sagt Edward Chang, Professor für neurologische Chirurgie an der UCSF, der seit mehr als einem Jahrzehnt an dieser als Brain Computer Interface (BCI) bezeichneten Technologie arbeitet.

Das Team von Chang hatte bereits bei einem Patienten, der ebenfalls vor vielen Jahren einen Hirnstamm-Schlaganfall erlitten hatte, gezeigt, dass es möglich ist, Gehirnsignale in Text zu übersetzen. Die aktuelle Studie geht aber einen großen Schritt weiter. Die Wissenschaftler und Wissenschaftlerinnen haben dank ihrer Computer-Schnittstelle die Gehirnsignale nicht nur in Worte umgewandelt, sondern zusätzlich die entsprechende Mimik animiert.

Individuelles Training für die künstliche Intelligenz

Chang implantierte dafür ein hauchdünnes Rechteck aus 253 Elektroden auf der Oberfläche des Gehirns der Patientin, und zwar in Bereichen, die nach den Erkenntnissen seines Teams für das Sprechen entscheidend sind. Die Elektroden fingen die Gehirnsignale ab, die eigentlich zu den Muskeln in ihrer Zunge, ihrem Kiefer und ihrem Kehlkopf sowie zu ihrem Gesicht gelangt wären – durch die Schlaganfall-Folgen war das jedoch nicht mehr möglich. Ein Kabel, das in einen an ihrem Kopf befestigten Anschluss eingesteckt wurde, verband die Elektroden mit einer Reihe von Computern.

Wochenlang arbeitete die Teilnehmerin mit dem Team zusammen, um die Algorithmen der künstlichen Intelligenz (KI) des Systems darauf zu trainieren, ihre einzigartigen Gehirnsignale für Sprache zu erkennen. Dazu wiederholte sie verschiedene Sätze aus einem Vokabular mit 1.024 Wörtern immer wieder, bis der Computer die mit den Lauten verbundenen Gehirnaktivitätsmuster erkannte.

Basis für die Worterkennung der KI sind Phoneme

Anstatt die KI darauf zu trainieren, ganze Wörter zu erkennen, haben die Forschenden ein System entwickelt, das Wörter aus Phonemen entschlüsselt. Dies sind die Untereinheiten der Sprache, die gesprochene Wörter auf dieselbe Weise bilden wie Buchstaben geschriebene Wörter. „Hallo“ zum Beispiel besteht aus vier Phonemen: „HH“, „AH“, „L“ und „OW“. Mit diesem Ansatz musste der Computer nur 39 Phoneme lernen, um ein beliebiges englisches Wort zu entziffern. Dies verbesserte die Genauigkeit des Systems und machte es dreimal schneller.

Industrie im Metaverse: Ist der Avatar schon da?

„Die Genauigkeit, die Geschwindigkeit und der Wortschatz sind entscheidend“, sagt Sean Metzger, Doktorand am gemeinsamen Bioengineering-Programm der UC Berkeley und der UCSF sind. „Das gibt dem Benutzer die Möglichkeit, mit der Zeit fast so schnell zu kommunizieren wie wir, und viel natürlichere und normalere Gespräche zu führen.“

Künstliche Intelligenz soll bald drahtlos angesteuert werden

Um die Stimme zu erzeugen, entwickelte das Team einen Algorithmus zur Sprachsynthese. Da ein Video mit einer Rede der Patientin vorlag, konnte das Programm so angepasst werden, dass die Stimme wie ihre eigene vor dem Schlaganfall klang. Schließlich animierte das Team den Avatar mithilfe einer Software so, dass er die Muskelbewegungen des Gesichts simuliert. Insgesamt werden also die Verbindungen zwischen dem Gehirn und dem Vokaltrakt ausgeglichen, die durch den Schlaganfall unterbrochen wurden.

Im nächsten Schritt möchte das Team eine drahtlose Version entwickeln, damit die Benutzenden nicht mehr physisch mit dem BCI verbunden sein müssen.