Orientierung im Raum 03.11.2022, 07:00 Uhr

Ohren auf: Ein maschinelles Lernsystem simuliert, wie Menschen hören

Moderne Technologien simulieren die Wahrnehmung von Geräuschen im Raum an jeder beliebigen Stelle: ein Schritt hin zur besseren Orientierung im Raum.

Künstliche Intelligenz

Wie sich ein Tool der künstlichen Intelligenz im Raum orientiert.

Foto: MIT

Der Klang, den Besucherinnen und Besucher einer Kathedrale hören, wird von vielen Parametern beeinflusst, beispielsweise vom Standort der Orgel, von der Position der Menschen, von Säulen, von Kirchenbänken oder von anderen Hindernissen, von der Beschaffenheit der Wände, von der Lage der Fenster oder Türen. Akustische Informationen helfen Menschen, sich zu orientieren, sprich die Lage von Schallquellen zu erfassen. Technische Systeme hatten damit ihre Schwierigkeiten.

Jetzt erforschen Ingenieurinnen und Ingenieure am Massachusetts Institute of Technology (MIT) in Cambridge die Nutzung räumlicher akustischer Informationen, um auch Maschinen dabei zu helfen, sich ihre Umgebung besser „vorstellen“ zu können. Sie haben jetzt ein maschinelles Lernmodell entwickelt, das erfasst, wie sich Geräusche in einem Raum ausbreiten. Ihr Tool simuliert, was Menschen an verschiedenen Orten des Raums hören würden.

Top Stellenangebote

Zur Jobbörse
Stadtbetrieb Wetter (Ruhr)-Firmenlogo
Bauingenieur/in (m/w/d) Fachrichtung Tiefbau / Straßenbau Stadtbetrieb Wetter (Ruhr)
Wetter (Ruhr) Zum Job 
Stadtwerke München GmbH-Firmenlogo
Brandschutzbeauftragte*r mit Zusatzfunktionen Tram (m/w/d) Stadtwerke München GmbH
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Planungsingenieur (w/m/d) Streckenplanung Die Autobahn GmbH des Bundes
Uwe Wenzel WW-Personalkonzepte e.K.-Firmenlogo
Entwicklungsingenieur (m/w/d) Wärmepumpensysteme und Regelungen Uwe Wenzel WW-Personalkonzepte e.K.
Großraum Hamburg Zum Job 
Landeshauptstadt München-Firmenlogo
Verkehrsingenieur*innen für die Verkehrswende (w/m/d) Landeshauptstadt München
München Zum Job 
Framatome-Firmenlogo
Ingenieur (m/w/d) für nukleare Entsorgung Framatome
Karlstein am Main, Erlangen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Bauwerksprüfer (w/m/d) Die Autobahn GmbH des Bundes
Berliner Stadtreinigungsbetriebe (BSR)-Firmenlogo
Projektingenieurin / Projektingenieur (w/m/d) Verfahrenstechnik Berliner Stadtreinigungsbetriebe (BSR)
Technische Universität Graz-Firmenlogo
Universitätsprofessur für Nachhaltige Antriebssysteme und angewandte Thermodynamik (m/w/d) Technische Universität Graz
Graz (Österreich) Zum Job 
Berliner Stadtreinigungsbetriebe (BSR)-Firmenlogo
Projektingenieurin / Projektingenieur (w/m/d) Elektrotechnik Berliner Stadtreinigungsbetriebe (BSR)
Lübeck Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
(Umwelt-)Ingenieur (w/m/d) für Boden, Abfall, Altlasten und Georisiken Die Autobahn GmbH des Bundes
Nürnberg Zum Job 
Fuest Familienstiftung-Firmenlogo
Bauzeichner, Bautechniker oder Innenarchitekt (m/w/d) Fuest Familienstiftung
Timm Technology GmbH-Firmenlogo
Sales Manager / Vertriebsingenieur (m/w/d) Timm Technology GmbH
Reinbek Zum Job 
Caljan GmbH-Firmenlogo
Maschinenbauingenieur / Konstrukteur Sondermaschinenbau (m/w/d) Caljan GmbH
Halle (Westfalen) Zum Job 
Stadtwerke München GmbH-Firmenlogo
(Senior) Projektmanager*in Niederspannung (m/w/d) Stadtwerke München GmbH
München Zum Job 
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Ingenieur* Produktmanagement für Navigationsdienste DFS Deutsche Flugsicherung GmbH
Langen (Hessen) Zum Job 
VAHLE-Firmenlogo
Ingenieur Automatisierungs- und Steuerungstechnik (m/w/d) VAHLE
Kamen, Großraum Dortmund Zum Job 
Grünecker Patent- und Rechtsanwälte PartG mbB-Firmenlogo
Patentingenieur (m/w/d) der Fachrichtung Physik und/oder Elektrotechnik mit der Möglichkeit zur Ausbildung zum "European Patent Attorney (m/w/d/)" Grünecker Patent- und Rechtsanwälte PartG mbB
München Zum Job 
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Flugsicherungsingenieur (w/m/d) DFS Deutsche Flugsicherung GmbH
Grünecker Patent- und Rechtsanwälte PartG mbB-Firmenlogo
Europäischer Patentanwalt (m/w/d) der Fachrichtung Physik, Informatik, Elektrotechnik oder Nachrichtentechnik Grünecker Patent- und Rechtsanwälte PartG mbB
München Zum Job 

Zahlreiche Anwendungsmöglichkeiten des Algorithmus

Ein Blick auf Details. Durch die genaue Modellierung der Akustik kann das System die zugrunde liegende 3D-Geometrie eines Raums aus Tonaufnahmen erkennen. Die Forschenden nutzen akustische Informationen, die ihr System erfasst, nutzen, um genaue visuelle Renderings eines Raums zu erstellen, ähnlich wie Menschen den Klang nutzen, um die Eigenschaften ihrer physischen Umgebung einzuschätzen.

Neben den möglichen Anwendungen in der virtuellen Realität könnte diese Technik Tools der künstlichen Intelligenz dabei helfen, ein besseres Verständnis für die Welt um sie herum zu entwickeln. „Durch die Modellierung der akustischen Eigenschaften des Schalls in seiner Umgebung nimmt ein Unterwasser-Erkundungsroboter beispielsweise Dinge wahr, die weiter entfernt sind, als er es mit dem bloßen Sehvermögen könnte“, sagt Yilun Du, Doktorand im Fachbereich Elektrotechnik und Informatik (EECS) des MIT.

Maschinelles Lernen nutzt Bild und Ton

Doch der Weg dahin war steinig. Die Arbeitsgruppe am MIT hat ein Modell des maschinellen Lernens, ein so genanntes implizites neuronales Repräsentationsmodell, verwendet, um kontinuierlich Rekonstruktionen von 3D-Szenen aus Bildern zu erzeugen. Zum Einsatz kamen neuronale Netze, die Schichten von miteinander verbundenen Knoten oder Neuronen enthalten, die Daten verarbeiten mit dem Ziel, eine bestimmte Aufgabe zu erfüllen. Mit diesem Modell wurde auch erfasst, wie sich Schall kontinuierlich durch die Szenerie bewegt.

In der Praxis zeigten sich wichtige Unterschiede bei der sogenannten photometrischen Konsistenz: Wenn man dasselbe Objekt von zwei verschiedenen Standorten aus betrachtet, sieht es ungefähr gleich aus – zumindest bei den hier untersuchten Raumgrößen. Wenn man jedoch den Standort wechselt, kann der Ton, den man hört, aufgrund von Hindernissen, Entfernungen usw. völlig anders klingen. Das macht die Vorhersage akustischer Wahrnehmungen recht schwierig.

So lässt sich maschinelles Lernen für die Fragestellung nutzen

Doch die Forschenden fanden Lösungen, indem sie zwei zentrale Eigenschaften für sich nutzen: die reziproke Natur des Schalls und den Einfluss lokaler geometrischer Merkmale. Schall ist reziprok, das bedeutet, wenn die Schallquelle und der Zuhörer die Positionen tauschen, bleibt das, was die Person hört, unverändert. Außerdem wird das, was man in einem bestimmten Gebiet hört, stark von lokalen Merkmalen beeinflusst, etwa von einem Hindernis zwischen dem Hörer und der Schallquelle.

Um diese beiden Faktoren in ihr Modell, das als neuronales akustisches Feld (NAF) bezeichnet wird, einzubeziehen, ergänzen sie das neuronale Netz mit einem Gitter, das Objekte und architektonische Merkmale wie Türöffnungen oder Wände, erfasst. Das Modell nimmt nach dem Zufallsprinzip Punkte auf diesem Raster auf, um die Merkmale an bestimmten Orten zu lernen.

Forscher können den NAF mit visuellen Informationen über eine Szene und einigen Spektrogrammen füttern, die zeigen, wie ein Ton klingen würde, wenn sich Sender und Empfänger, sprich Hörer, an bestimmten Stellen im Raum befinden. Dann sagt das Modell voraus, wie sich der Ton verändern würde, wenn sich der Hörer an einen beliebigen Punkt der Szene bewegt.

Der NAF gibt eine Impulsantwort aus, die festhält, wie sich ein Ton bei seiner Ausbreitung in der Szene verändern sollte. Die Forscher wenden diese Impulsantwort dann auf verschiedene Geräusche an, um zu hören, wie sich diese Geräusche verändern sollten, wenn eine Person durch einen Raum geht.

Wenn beispielsweise ein Lied aus einem Lautsprecher in der Mitte des Raums ertönt, zeigt ihr Modell, wie der Ton lauter wird, wenn sich eine Person dem Lautsprecher nähert, und dann gedämpft wird, wenn sie in einen angrenzenden Flur geht.

Wie sich maschinelles Lernen in der Praxis bewährt

Verglichen mit anderen Methoden, die akustische Informationen modellieren, erzeugte das Tool genauere Klangmodelle. Und da es lokale geometrische Informationen lernte, konnte es viel besser auf neue Orte in einer Szene verallgemeinert werden als andere Methoden.

Jetzt plant die MIT-Arbeitsgruppe, das Modell weiter zu verbessern, so dass es auf ganz neue Szenen verallgemeinert werden kann. Außerdem wollen sie diese Technik auf komplexere Impulsantworten und größere Szenen anwenden, z. B. auf ganze Gebäude oder sogar eine Stadt – und nicht nur auf einzelne Räume.

Mehr zum Thema maschinelles Lernen

Ein Beitrag von:

  • Michael van den Heuvel

    Michael van den Heuvel hat Chemie studiert. Unter anderem arbeitet er für Medscape, DocCheck, für die Universität München und für pharmazeutische Fachmagazine. Seit 2017 ist er selbstständiger Journalist und Gesellschafter von Content Qualitäten. Seine Themen: Chemie/physikalische Chemie, Energie, Umwelt, KI, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.