Orientierung im Raum 03.11.2022, 07:00 Uhr

Ohren auf: Ein maschinelles Lernsystem simuliert, wie Menschen hören

Moderne Technologien simulieren die Wahrnehmung von Geräuschen im Raum an jeder beliebigen Stelle: ein Schritt hin zur besseren Orientierung im Raum.

Künstliche Intelligenz

Wie sich ein Tool der künstlichen Intelligenz im Raum orientiert.

Foto: MIT

Der Klang, den Besucherinnen und Besucher einer Kathedrale hören, wird von vielen Parametern beeinflusst, beispielsweise vom Standort der Orgel, von der Position der Menschen, von Säulen, von Kirchenbänken oder von anderen Hindernissen, von der Beschaffenheit der Wände, von der Lage der Fenster oder Türen. Akustische Informationen helfen Menschen, sich zu orientieren, sprich die Lage von Schallquellen zu erfassen. Technische Systeme hatten damit ihre Schwierigkeiten.

Jetzt erforschen Ingenieurinnen und Ingenieure am Massachusetts Institute of Technology (MIT) in Cambridge die Nutzung räumlicher akustischer Informationen, um auch Maschinen dabei zu helfen, sich ihre Umgebung besser „vorstellen“ zu können. Sie haben jetzt ein maschinelles Lernmodell entwickelt, das erfasst, wie sich Geräusche in einem Raum ausbreiten. Ihr Tool simuliert, was Menschen an verschiedenen Orten des Raums hören würden.

Top Stellenangebote

Zur Jobbörse
ITM Isotope Technologies Munich SE-Firmenlogo
Betriebsingenieur / -techniker Gebäudetechnik (f/m/d) ITM Isotope Technologies Munich SE
Garching bei München Zum Job 
b+m surface systems GmbH-Firmenlogo
Sales Manager (m/w/d) b+m surface systems GmbH
Eiterfeld Zum Job 
Airbus-Firmenlogo
Systemingenieur Mechanical/thermal Architect Optical Instrument (d/m/w) Airbus
Raum Friedrichshafen Zum Job 
Airbus-Firmenlogo
IT-Infrastruktur- / Systemadministrator (d/m/w) Airbus
Grafschaft-Gelsdorf Area Zum Job 
Airbus-Firmenlogo
Entwickler / Operator (d/m/w) Airbus
Grafschaft-Gelsdorf Area Zum Job 
Stadt NÜRNBERG-Firmenlogo
Ingenieur/in (w/m/d) im Bereich Elektrotechnik beim Hochbauamt Stadt NÜRNBERG
Nürnberg Zum Job 
Stadt NÜRNBERG-Firmenlogo
Bauingenieur/in (w/m/d) für Tiefbauprojekte beim Servicebetrieb Öffentlicher Raum Nürnberg Stadt NÜRNBERG
Nürnberg Zum Job 
Keysight Technologies Deutschland GmbH-Firmenlogo
Solution and Manufacturing Engineer for Optical Test & Measurement (m/f/x) Keysight Technologies Deutschland GmbH
Böblingen Zum Job 
Allbau Managementgesellschaft mbH-Firmenlogo
Bauprojektleitung (m/w/d) "Technische Projekte" Allbau Managementgesellschaft mbH
JC Jorisch Consulting Personalberatung-Firmenlogo
Sales Ingenieur (m/w/d) JC Jorisch Consulting Personalberatung
Leipzig Zum Job 
über JC Jorisch Consulting Personalberatung-Firmenlogo
Entwicklungsingenieur Hochfrequenz / Antennensystem (m/w/d) über JC Jorisch Consulting Personalberatung
Leipzig Zum Job 
ABL GmbH-Firmenlogo
Senior Software Developer (m/w/d) eMobility ABL GmbH
Lauf / Pegnitz bei Nürnberg Zum Job 
MSG Krandienst GmbH-Firmenlogo
Technischer Projektleiter (m/w/d) für unsere Kraneinsätze MSG Krandienst GmbH
Josef Schnell GmbH-Firmenlogo
Bauleiter im Tief- und Straßenbau (m/w/d) Josef Schnell GmbH
Ladenburg Zum Job 
über JC Jorisch Consulting Personalberatung-Firmenlogo
Entwicklungsingenieur FFC / FPC (m/w/d) über JC Jorisch Consulting Personalberatung
Leipzig Zum Job 
Elektror airsystems GmbH-Firmenlogo
Berechnungs-/ Projektingenieur* Antriebsstrang Elektror airsystems GmbH
Ostfildern, Waghäusel Zum Job 
Energieversorgung Main-Spessart GmbH-Firmenlogo
Projektmanager*in / Projektentwickler*in für erneuerbare Energielösungen (m/w/d) Energieversorgung Main-Spessart GmbH
Aschaffenburg Zum Job 
über JC Jorisch Consulting Personalberatung-Firmenlogo
Entwicklungsingenieur Hochfrequenz / Antennensystem (m/w/d) über JC Jorisch Consulting Personalberatung
Leipzig Zum Job 
Elektror airsystems GmbH-Firmenlogo
Techniker* Maschinenbau oder Mechatronik (m/w/d) Elektror airsystems GmbH
Waghäusel, Ostfildern Zum Job 
über JC Jorisch Consulting Personalberatung-Firmenlogo
Sales Ingenieur (m/w/d) über JC Jorisch Consulting Personalberatung
Leipzig Zum Job 

Zahlreiche Anwendungsmöglichkeiten des Algorithmus

Ein Blick auf Details. Durch die genaue Modellierung der Akustik kann das System die zugrunde liegende 3D-Geometrie eines Raums aus Tonaufnahmen erkennen. Die Forschenden nutzen akustische Informationen, die ihr System erfasst, nutzen, um genaue visuelle Renderings eines Raums zu erstellen, ähnlich wie Menschen den Klang nutzen, um die Eigenschaften ihrer physischen Umgebung einzuschätzen.

Neben den möglichen Anwendungen in der virtuellen Realität könnte diese Technik Tools der künstlichen Intelligenz dabei helfen, ein besseres Verständnis für die Welt um sie herum zu entwickeln. „Durch die Modellierung der akustischen Eigenschaften des Schalls in seiner Umgebung nimmt ein Unterwasser-Erkundungsroboter beispielsweise Dinge wahr, die weiter entfernt sind, als er es mit dem bloßen Sehvermögen könnte“, sagt Yilun Du, Doktorand im Fachbereich Elektrotechnik und Informatik (EECS) des MIT.

Maschinelles Lernen nutzt Bild und Ton

Doch der Weg dahin war steinig. Die Arbeitsgruppe am MIT hat ein Modell des maschinellen Lernens, ein so genanntes implizites neuronales Repräsentationsmodell, verwendet, um kontinuierlich Rekonstruktionen von 3D-Szenen aus Bildern zu erzeugen. Zum Einsatz kamen neuronale Netze, die Schichten von miteinander verbundenen Knoten oder Neuronen enthalten, die Daten verarbeiten mit dem Ziel, eine bestimmte Aufgabe zu erfüllen. Mit diesem Modell wurde auch erfasst, wie sich Schall kontinuierlich durch die Szenerie bewegt.

In der Praxis zeigten sich wichtige Unterschiede bei der sogenannten photometrischen Konsistenz: Wenn man dasselbe Objekt von zwei verschiedenen Standorten aus betrachtet, sieht es ungefähr gleich aus – zumindest bei den hier untersuchten Raumgrößen. Wenn man jedoch den Standort wechselt, kann der Ton, den man hört, aufgrund von Hindernissen, Entfernungen usw. völlig anders klingen. Das macht die Vorhersage akustischer Wahrnehmungen recht schwierig.

So lässt sich maschinelles Lernen für die Fragestellung nutzen

Doch die Forschenden fanden Lösungen, indem sie zwei zentrale Eigenschaften für sich nutzen: die reziproke Natur des Schalls und den Einfluss lokaler geometrischer Merkmale. Schall ist reziprok, das bedeutet, wenn die Schallquelle und der Zuhörer die Positionen tauschen, bleibt das, was die Person hört, unverändert. Außerdem wird das, was man in einem bestimmten Gebiet hört, stark von lokalen Merkmalen beeinflusst, etwa von einem Hindernis zwischen dem Hörer und der Schallquelle.

Um diese beiden Faktoren in ihr Modell, das als neuronales akustisches Feld (NAF) bezeichnet wird, einzubeziehen, ergänzen sie das neuronale Netz mit einem Gitter, das Objekte und architektonische Merkmale wie Türöffnungen oder Wände, erfasst. Das Modell nimmt nach dem Zufallsprinzip Punkte auf diesem Raster auf, um die Merkmale an bestimmten Orten zu lernen.

Forscher können den NAF mit visuellen Informationen über eine Szene und einigen Spektrogrammen füttern, die zeigen, wie ein Ton klingen würde, wenn sich Sender und Empfänger, sprich Hörer, an bestimmten Stellen im Raum befinden. Dann sagt das Modell voraus, wie sich der Ton verändern würde, wenn sich der Hörer an einen beliebigen Punkt der Szene bewegt.

Der NAF gibt eine Impulsantwort aus, die festhält, wie sich ein Ton bei seiner Ausbreitung in der Szene verändern sollte. Die Forscher wenden diese Impulsantwort dann auf verschiedene Geräusche an, um zu hören, wie sich diese Geräusche verändern sollten, wenn eine Person durch einen Raum geht.

Wenn beispielsweise ein Lied aus einem Lautsprecher in der Mitte des Raums ertönt, zeigt ihr Modell, wie der Ton lauter wird, wenn sich eine Person dem Lautsprecher nähert, und dann gedämpft wird, wenn sie in einen angrenzenden Flur geht.

Wie sich maschinelles Lernen in der Praxis bewährt

Verglichen mit anderen Methoden, die akustische Informationen modellieren, erzeugte das Tool genauere Klangmodelle. Und da es lokale geometrische Informationen lernte, konnte es viel besser auf neue Orte in einer Szene verallgemeinert werden als andere Methoden.

Jetzt plant die MIT-Arbeitsgruppe, das Modell weiter zu verbessern, so dass es auf ganz neue Szenen verallgemeinert werden kann. Außerdem wollen sie diese Technik auf komplexere Impulsantworten und größere Szenen anwenden, z. B. auf ganze Gebäude oder sogar eine Stadt – und nicht nur auf einzelne Räume.

Mehr zum Thema maschinelles Lernen

Ein Beitrag von:

  • Michael van den Heuvel

    Michael van den Heuvel hat Chemie studiert. Unter anderem arbeitet er für Medscape, DocCheck, für die Universität München und für pharmazeutische Fachmagazine. Seit 2017 ist er selbstständiger Journalist und Gesellschafter von Content Qualitäten. Seine Themen: Chemie/physikalische Chemie, Energie, Umwelt, KI, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.