Künstliche Intelligenz 30.08.2023, 07:00 Uhr

Avatar ermöglicht gelähmter Frau das Sprechen

Amerikanische Forschende haben eine Gehirn-Computer-Schnittstelle (BCI) entwickelt, die Gehirnsignale aufnimmt und übersetzt. Ein Avatar überträgt die Signale in reale Sprache und imitiert die Mimik. Diese künstliche Intelligenz könnte ein Durchbruch für viele erkrankte Menschen sein.

Avatar und Patientin

Der Avatar spricht und zeigt auch die Mimik, die im Gehirn der Patientin entsteht.

Foto: Noah Berger

Moderne Technologien eröffnen interessante Möglichkeiten, um Menschen mit körperlichen Einschränkungen zu unterstützen. Neben Exoskeletten bieten Gehirn-Computer-Schnittstellen großes Potenzial. Diesen Ansatz haben auch Wissenschaftler und Wissenschaftlerinnen an den Universitäten of California in San Francisco (UCSF) und Berkeley verfolgt. Ihre Ergebnisse sind vielversprechend: Eine Patientin, die nach einem Hirnstamm-Schlaganfall schwer gelähmt war, konnte dank eines digitalen Avatars wieder sprechen.

Nach Angabe der Forschenden ist es zum ersten Mal überhaupt in dieser Form gelungen, Sprache oder Gesichtsausdrücke aus Gehirnsignalen zu synthetisieren. Die künstliche Intelligenz (KI) sei zudem in der Lage, diese Signale mit einer Geschwindigkeit von fast 80 Wörtern pro Minute in Text zu dekodieren, was eine enorme Verbesserung gegenüber handelsüblichen Technologien darstelle. Das Team hofft, schon bald ein System vorstellen zu können, das als offizielles medizinisches Hilfsmittel zugelassen wird.

Top Stellenangebote

Zur Jobbörse
Iventa Austria Personalwerbung GmbH-Firmenlogo
Wind and Site Engineer (m/f/d) Iventa Austria Personalwerbung GmbH
Hamburg Zum Job 
SWM Services GmbH-Firmenlogo
Projektingenieur*in für Prozess- und Automatisierungstechnik MSR (m/w/d) SWM Services GmbH
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieurin oder Ingenieur Ausstattung/Verkehr (w/m/d) Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur konstruktiver Ingenieurbau (w/m/d) Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieurin oder Bauingenieur Verkehrsplanung (w/m/d) Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieurin oder Ingenieur Landespflege Planung (w/m/d) Abteilung Ersatzbauwerke Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieurin oder Bauingenieur Bau und Erhaltung Strecke (w/m/d) Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Außenstellenleiter (w/m/d) Die Autobahn GmbH des Bundes
THOST Projektmanagement GmbH-Firmenlogo
Projektleiter*in / Projektmanager*in (m/w/d) für Bau- und Immobilienprojekte THOST Projektmanagement GmbH
Stuttgart, Pforzheim Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieurin oder Ingenieur Landespflege Planung (w/m/d) Abteilung Umweltmanagement Die Autobahn GmbH des Bundes
battenfeld-cincinnati Germany GmbH-Firmenlogo
Maschinenbaukonstrukteur Werkzeugkonstruktion (m/w/d) battenfeld-cincinnati Germany GmbH
Bad Oeynhausen Zum Job 
Kölner Verkehrs-Betriebe AG-Firmenlogo
Leitung Technisches Gebäudemanagement (m/w/d) Kölner Verkehrs-Betriebe AG
Köln Innenstadt Zum Job 
NORD-MICRO GmbH & Co. OHG-Firmenlogo
Service Ingenieur - Fans (m/w/d) NORD-MICRO GmbH & Co. OHG
Frankfurt am Main Zum Job 
DIgSILENT GmbH-Firmenlogo
Ingenieur Elektrotechnik (w/m/d) Power System Modelling DIgSILENT GmbH
Gomaringen Zum Job 
Salzgitter Flachstahl GmbH-Firmenlogo
Maschinenbau-Ingenieur Krantechnik im Transformationsprojekt SALCOS (w/m/d) Salzgitter Flachstahl GmbH
Salzgitter Zum Job 
Salzgitter Flachstahl GmbH-Firmenlogo
Maschinenbau-Ingenieur Projektmanagement im Transformationsprojekt SALCOS (w/m/d) Salzgitter Flachstahl GmbH
Salzgitter Zum Job 
Steigerwald Strahltechnik GmbH-Firmenlogo
Entwicklungsingenieur für Schweißtechnik (m/w/d) Steigerwald Strahltechnik GmbH
Maisach Zum Job 
Wirtschaftsbetrieb Hagen AöR-Firmenlogo
Planungsingenieur*in Siedlungswasserwirtschaft (w/m/d) Wirtschaftsbetrieb Hagen AöR
Stadtwerke München GmbH-Firmenlogo
Baukoordination Neubauprojekte der Gleisanlagen der Münchner Straßenbahn (m/w/d) Stadtwerke München GmbH
München Zum Job 
Salzgitter Flachstahl GmbH-Firmenlogo
Versorgungstechnik-Ingenieur Projektmanagement im Transformationsprojekt SALCOS (w/m/d) Salzgitter Flachstahl GmbH
Salzgitter Zum Job 

Neurologische Erkrankungen mit KI und VR besser erkennen und behandeln

Künstliche Intelligenz imitiert zusätzlich die Mimik

„Unser Ziel ist es, eine vollständige, verkörperte Art der Kommunikation wiederherzustellen, die für uns die natürlichste Art ist, mit anderen zu sprechen“, sagt Edward Chang, Professor für neurologische Chirurgie an der UCSF, der seit mehr als einem Jahrzehnt an dieser als Brain Computer Interface (BCI) bezeichneten Technologie arbeitet.

Das Team von Chang hatte bereits bei einem Patienten, der ebenfalls vor vielen Jahren einen Hirnstamm-Schlaganfall erlitten hatte, gezeigt, dass es möglich ist, Gehirnsignale in Text zu übersetzen. Die aktuelle Studie geht aber einen großen Schritt weiter. Die Wissenschaftler und Wissenschaftlerinnen haben dank ihrer Computer-Schnittstelle die Gehirnsignale nicht nur in Worte umgewandelt, sondern zusätzlich die entsprechende Mimik animiert.

Individuelles Training für die künstliche Intelligenz

Chang implantierte dafür ein hauchdünnes Rechteck aus 253 Elektroden auf der Oberfläche des Gehirns der Patientin, und zwar in Bereichen, die nach den Erkenntnissen seines Teams für das Sprechen entscheidend sind. Die Elektroden fingen die Gehirnsignale ab, die eigentlich zu den Muskeln in ihrer Zunge, ihrem Kiefer und ihrem Kehlkopf sowie zu ihrem Gesicht gelangt wären – durch die Schlaganfall-Folgen war das jedoch nicht mehr möglich. Ein Kabel, das in einen an ihrem Kopf befestigten Anschluss eingesteckt wurde, verband die Elektroden mit einer Reihe von Computern.

Wochenlang arbeitete die Teilnehmerin mit dem Team zusammen, um die Algorithmen der künstlichen Intelligenz (KI) des Systems darauf zu trainieren, ihre einzigartigen Gehirnsignale für Sprache zu erkennen. Dazu wiederholte sie verschiedene Sätze aus einem Vokabular mit 1.024 Wörtern immer wieder, bis der Computer die mit den Lauten verbundenen Gehirnaktivitätsmuster erkannte.

Basis für die Worterkennung der KI sind Phoneme

Anstatt die KI darauf zu trainieren, ganze Wörter zu erkennen, haben die Forschenden ein System entwickelt, das Wörter aus Phonemen entschlüsselt. Dies sind die Untereinheiten der Sprache, die gesprochene Wörter auf dieselbe Weise bilden wie Buchstaben geschriebene Wörter. „Hallo“ zum Beispiel besteht aus vier Phonemen: „HH“, „AH“, „L“ und „OW“. Mit diesem Ansatz musste der Computer nur 39 Phoneme lernen, um ein beliebiges englisches Wort zu entziffern. Dies verbesserte die Genauigkeit des Systems und machte es dreimal schneller.

Industrie im Metaverse: Ist der Avatar schon da?

„Die Genauigkeit, die Geschwindigkeit und der Wortschatz sind entscheidend“, sagt Sean Metzger, Doktorand am gemeinsamen Bioengineering-Programm der UC Berkeley und der UCSF sind. „Das gibt dem Benutzer die Möglichkeit, mit der Zeit fast so schnell zu kommunizieren wie wir, und viel natürlichere und normalere Gespräche zu führen.“

Künstliche Intelligenz soll bald drahtlos angesteuert werden

Um die Stimme zu erzeugen, entwickelte das Team einen Algorithmus zur Sprachsynthese. Da ein Video mit einer Rede der Patientin vorlag, konnte das Programm so angepasst werden, dass die Stimme wie ihre eigene vor dem Schlaganfall klang. Schließlich animierte das Team den Avatar mithilfe einer Software so, dass er die Muskelbewegungen des Gesichts simuliert. Insgesamt werden also die Verbindungen zwischen dem Gehirn und dem Vokaltrakt ausgeglichen, die durch den Schlaganfall unterbrochen wurden.

Im nächsten Schritt möchte das Team eine drahtlose Version entwickeln, damit die Benutzenden nicht mehr physisch mit dem BCI verbunden sein müssen.

Mehr lesen zum Potenzial künstlicher Intelligenz:

 

Ein Beitrag von:

  • Nicole Lücke

    Nicole Lücke macht Wissenschaftsjournalismus für Forschungszentren und Hochschulen, berichtet von medizinischen Fachkongressen und betreut Kundenmagazine für Energieversorger. Sie ist Gesellschafterin von Content Qualitäten. Ihre Themen: Energie, Technik, Nachhaltigkeit, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.