Künstliche Intelligenz 30.08.2023, 07:00 Uhr

Avatar ermöglicht gelähmter Frau das Sprechen

Amerikanische Forschende haben eine Gehirn-Computer-Schnittstelle (BCI) entwickelt, die Gehirnsignale aufnimmt und übersetzt. Ein Avatar überträgt die Signale in reale Sprache und imitiert die Mimik. Diese künstliche Intelligenz könnte ein Durchbruch für viele erkrankte Menschen sein.

Avatar und Patientin

Der Avatar spricht und zeigt auch die Mimik, die im Gehirn der Patientin entsteht.

Foto: Noah Berger

Moderne Technologien eröffnen interessante Möglichkeiten, um Menschen mit körperlichen Einschränkungen zu unterstützen. Neben Exoskeletten bieten Gehirn-Computer-Schnittstellen großes Potenzial. Diesen Ansatz haben auch Wissenschaftler und Wissenschaftlerinnen an den Universitäten of California in San Francisco (UCSF) und Berkeley verfolgt. Ihre Ergebnisse sind vielversprechend: Eine Patientin, die nach einem Hirnstamm-Schlaganfall schwer gelähmt war, konnte dank eines digitalen Avatars wieder sprechen.

Nach Angabe der Forschenden ist es zum ersten Mal überhaupt in dieser Form gelungen, Sprache oder Gesichtsausdrücke aus Gehirnsignalen zu synthetisieren. Die künstliche Intelligenz (KI) sei zudem in der Lage, diese Signale mit einer Geschwindigkeit von fast 80 Wörtern pro Minute in Text zu dekodieren, was eine enorme Verbesserung gegenüber handelsüblichen Technologien darstelle. Das Team hofft, schon bald ein System vorstellen zu können, das als offizielles medizinisches Hilfsmittel zugelassen wird.

Neurologische Erkrankungen mit KI und VR besser erkennen und behandeln

Künstliche Intelligenz imitiert zusätzlich die Mimik

„Unser Ziel ist es, eine vollständige, verkörperte Art der Kommunikation wiederherzustellen, die für uns die natürlichste Art ist, mit anderen zu sprechen“, sagt Edward Chang, Professor für neurologische Chirurgie an der UCSF, der seit mehr als einem Jahrzehnt an dieser als Brain Computer Interface (BCI) bezeichneten Technologie arbeitet.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
THOST Projektmanagement GmbH-Firmenlogo
Projektsteuerer*in (m/w/d) für Projekte in Energie, Anlagenbau und prozesstechnischer Industrie THOST Projektmanagement GmbH
verschiedene Standorte Zum Job 
Mercer Stendal GmbH-Firmenlogo
Ingenieur / Techniker Elektrotechnik (m/w/d) Mercer Stendal GmbH
Arneburg Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
HygroMatik GmbH-Firmenlogo
Entwicklungsingenieur für Hard- und Softwarelösungen (m/w/d) HygroMatik GmbH
Henstedt-Ulzburg Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Projektingenieurin oder Projektingenieur im Bereich Ladeinfrastruktur (w/m/d) Die Autobahn GmbH des Bundes
Hannover Zum Job 
Hochschule Schmalkalden-Firmenlogo
Professur "Drives - Elektrische Maschinen und Antriebe" Hochschule Schmalkalden
Schmalkalden Zum Job 
ILF CONSULTING ENGINEERS GERMANY GMBH-Firmenlogo
Lead Ingenieur für Thermische Systeme (m/w/d) ILF CONSULTING ENGINEERS GERMANY GMBH
München Zum Job 
POLYVANTIS GmbH-Firmenlogo
Ingenieur (m/w/d) Elektrotechnik / Maschinenbau / Verfahrenstechnik als Projektmanager POLYVANTIS GmbH
Weiterstadt Zum Job 
POLYVANTIS GmbH-Firmenlogo
Ingenieur / Techniker Elektrotechnik / Automatisierungstechnik (m/w/d) POLYVANTIS GmbH
Weiterstadt Zum Job 
Leuze electronic GmbH + Co. KG-Firmenlogo
Experienced Mechanical Engineer (m/f/x) Leuze electronic GmbH + Co. KG
Owen bei Kirchheim / Teck Zum Job 
Securiton GmbH-Firmenlogo
Business Development und Assistenz (m/w/d) der Vertriebsleitung Securiton GmbH
Netzgesellschaft Potsdam GmbH-Firmenlogo
Projektingenieur (m/w/d) für Automatisierung und Netzführung Netzgesellschaft Potsdam GmbH
Potsdam Zum Job 
Carel Deutschland GmbH-Firmenlogo
Technical Solution Specialist (m/w/d) Presales Carel Deutschland GmbH
Gelnhausen-Hailer oder Homeoffice (Hessen, NRW, BW, RP, Saarland, Bayern) Zum Job 
Sanofi-Aventis Deutschland GmbH-Firmenlogo
Trainee Manufacturing & Supply - All genders Sanofi-Aventis Deutschland GmbH
Frankfurt am Main Zum Job 
Delta-X GmbH-Firmenlogo
Ingenieur (m/w/d) - Schwerpunkt: Simulation von Innenraumklima Delta-X GmbH
Stuttgart Zum Job 
Stuttgart Netze GmbH-Firmenlogo
(Junior) Ingenieur als Projektmanager in der Hochspannung (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Ingenieur*in / Architekt*in / Bauleiter*in (m/w/d) für Großprojekte der Bereiche Infrastruktur (Freileitung, Kabeltiefbau, Bahn) THOST Projektmanagement GmbH
Bremen, Hamburg, Leipzig, Göttingen, Dresden Zum Job 
Behörde für Stadtentwicklung und Wohnen-Firmenlogo
Ingenieur:in Fachaufsicht Technische Gebäudeausrüstung Behörde für Stadtentwicklung und Wohnen
Hamburg Zum Job 
Stuttgart Netze GmbH-Firmenlogo
Ingenieur Stationsplanung (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
Hochschule Magdeburg-Stendal-Firmenlogo
W2-Professur "Elektrotechnik/Kybernetik" Hochschule Magdeburg-Stendal
Magdeburg Zum Job 

Das Team von Chang hatte bereits bei einem Patienten, der ebenfalls vor vielen Jahren einen Hirnstamm-Schlaganfall erlitten hatte, gezeigt, dass es möglich ist, Gehirnsignale in Text zu übersetzen. Die aktuelle Studie geht aber einen großen Schritt weiter. Die Wissenschaftler und Wissenschaftlerinnen haben dank ihrer Computer-Schnittstelle die Gehirnsignale nicht nur in Worte umgewandelt, sondern zusätzlich die entsprechende Mimik animiert.

Individuelles Training für die künstliche Intelligenz

Chang implantierte dafür ein hauchdünnes Rechteck aus 253 Elektroden auf der Oberfläche des Gehirns der Patientin, und zwar in Bereichen, die nach den Erkenntnissen seines Teams für das Sprechen entscheidend sind. Die Elektroden fingen die Gehirnsignale ab, die eigentlich zu den Muskeln in ihrer Zunge, ihrem Kiefer und ihrem Kehlkopf sowie zu ihrem Gesicht gelangt wären – durch die Schlaganfall-Folgen war das jedoch nicht mehr möglich. Ein Kabel, das in einen an ihrem Kopf befestigten Anschluss eingesteckt wurde, verband die Elektroden mit einer Reihe von Computern.

Wochenlang arbeitete die Teilnehmerin mit dem Team zusammen, um die Algorithmen der künstlichen Intelligenz (KI) des Systems darauf zu trainieren, ihre einzigartigen Gehirnsignale für Sprache zu erkennen. Dazu wiederholte sie verschiedene Sätze aus einem Vokabular mit 1.024 Wörtern immer wieder, bis der Computer die mit den Lauten verbundenen Gehirnaktivitätsmuster erkannte.

Basis für die Worterkennung der KI sind Phoneme

Anstatt die KI darauf zu trainieren, ganze Wörter zu erkennen, haben die Forschenden ein System entwickelt, das Wörter aus Phonemen entschlüsselt. Dies sind die Untereinheiten der Sprache, die gesprochene Wörter auf dieselbe Weise bilden wie Buchstaben geschriebene Wörter. „Hallo“ zum Beispiel besteht aus vier Phonemen: „HH“, „AH“, „L“ und „OW“. Mit diesem Ansatz musste der Computer nur 39 Phoneme lernen, um ein beliebiges englisches Wort zu entziffern. Dies verbesserte die Genauigkeit des Systems und machte es dreimal schneller.

Industrie im Metaverse: Ist der Avatar schon da?

„Die Genauigkeit, die Geschwindigkeit und der Wortschatz sind entscheidend“, sagt Sean Metzger, Doktorand am gemeinsamen Bioengineering-Programm der UC Berkeley und der UCSF sind. „Das gibt dem Benutzer die Möglichkeit, mit der Zeit fast so schnell zu kommunizieren wie wir, und viel natürlichere und normalere Gespräche zu führen.“

Künstliche Intelligenz soll bald drahtlos angesteuert werden

Um die Stimme zu erzeugen, entwickelte das Team einen Algorithmus zur Sprachsynthese. Da ein Video mit einer Rede der Patientin vorlag, konnte das Programm so angepasst werden, dass die Stimme wie ihre eigene vor dem Schlaganfall klang. Schließlich animierte das Team den Avatar mithilfe einer Software so, dass er die Muskelbewegungen des Gesichts simuliert. Insgesamt werden also die Verbindungen zwischen dem Gehirn und dem Vokaltrakt ausgeglichen, die durch den Schlaganfall unterbrochen wurden.

Im nächsten Schritt möchte das Team eine drahtlose Version entwickeln, damit die Benutzenden nicht mehr physisch mit dem BCI verbunden sein müssen.

Mehr lesen zum Potenzial künstlicher Intelligenz:

 

Ein Beitrag von:

  • Nicole Lücke

    Nicole Lücke macht Wissenschaftsjournalismus für Forschungszentren und Hochschulen, berichtet von medizinischen Fachkongressen und betreut Kundenmagazine für Energieversorger. Sie ist Gesellschafterin von Content Qualitäten. Ihre Themen: Energie, Technik, Nachhaltigkeit, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.