Orientierung im Raum 03.11.2022, 07:00 Uhr

Ohren auf: Ein maschinelles Lernsystem simuliert, wie Menschen hören

Moderne Technologien simulieren die Wahrnehmung von Geräuschen im Raum an jeder beliebigen Stelle: ein Schritt hin zur besseren Orientierung im Raum.

Künstliche Intelligenz

Wie sich ein Tool der künstlichen Intelligenz im Raum orientiert.

Foto: MIT

Der Klang, den Besucherinnen und Besucher einer Kathedrale hören, wird von vielen Parametern beeinflusst, beispielsweise vom Standort der Orgel, von der Position der Menschen, von Säulen, von Kirchenbänken oder von anderen Hindernissen, von der Beschaffenheit der Wände, von der Lage der Fenster oder Türen. Akustische Informationen helfen Menschen, sich zu orientieren, sprich die Lage von Schallquellen zu erfassen. Technische Systeme hatten damit ihre Schwierigkeiten.

Jetzt erforschen Ingenieurinnen und Ingenieure am Massachusetts Institute of Technology (MIT) in Cambridge die Nutzung räumlicher akustischer Informationen, um auch Maschinen dabei zu helfen, sich ihre Umgebung besser „vorstellen“ zu können. Sie haben jetzt ein maschinelles Lernmodell entwickelt, das erfasst, wie sich Geräusche in einem Raum ausbreiten. Ihr Tool simuliert, was Menschen an verschiedenen Orten des Raums hören würden.

Top Stellenangebote

Zur Jobbörse
Stadt Stuttgart-Firmenlogo
Projektleiter*in Architektur für öffentliche Bauten (m/w/d) Stadt Stuttgart
Stuttgart Zum Job 
Campana & Schott-Firmenlogo
Consultant Projektmanagement (w/m/d) für Infrastrukturprojekte Campana & Schott
Frankfurt, Berlin, Hamburg, Köln, München, Stuttgart Zum Job 
Campana & Schott-Firmenlogo
Technologiebegeisterte Absolventen (w/m/d) für den Einstieg im Consulting Campana & Schott
Frankfurt, Berlin, Hamburg, Köln, München, Stuttgart Zum Job 
Technische Universität Graz-Firmenlogo
Universitätsprofessur für High-Performance Large-Engine Systems (m/w/d) Technische Universität Graz
Graz (Österreich) Zum Job 
Holzer Firmengruppe-Firmenlogo
System Ingenieur (m/w/d) Holzer Firmengruppe
Rutesheim, Weissach Zum Job 
Fachhochschule Nordwestschweiz FHNW-Firmenlogo
Research Associate Polymer Chemistry (m/f/d) Fachhochschule Nordwestschweiz FHNW
Windisch (Schweiz) Zum Job 
WESGO Ceramics GmbH-Firmenlogo
Lean Manager (m/w/d) WESGO Ceramics GmbH
Erlangen Zum Job 
Delphin Technology AG-Firmenlogo
Technical Sales Manager (m/w/d) Delphin Technology AG
Bergisch Gladbach Zum Job 
BAUER GasTec GmbH-Firmenlogo
Projektleiter (m/w/d) für Wasserstoffverdichter BAUER GasTec GmbH
München Zum Job 
Koehler Paper SE-Firmenlogo
Ingenieur Prozesstechnologie (m/w/d) Koehler Paper SE
TIG Automation GmbH-Firmenlogo
Betriebswirt / Wirtschaftsingenieur (m/w/d) Unternehmensabläufe & Strategie TIG Automation GmbH
Hamburg Zum Job 
SFS Group Germany GmbH-Firmenlogo
Techniker / Anwendungstechniker im Innendienst (m/w/d) SFS Group Germany GmbH
Oberursel Zum Job 
Allbau Managementgesellschaft mbH-Firmenlogo
Bauprojektleitung (m/w/d) "Technische Projekte" Allbau Managementgesellschaft mbH
Berliner Wasserbetriebe-Firmenlogo
Vorstandsreferent:in (w/m/d) Berliner Wasserbetriebe
VEM motors GmbH-Firmenlogo
Konstrukteur (m/w/d) VEM motors GmbH
Wernigerode Zum Job 
Leipziger Wohnungs- und Baugesellschaft mbH-Firmenlogo
Projektleiter Haustechnik (w/m/d) Fachingenieur Heizung / Lüftung / Sanitär (w/m/d) Schwerpunkt Trinkwasserhygiene Leipziger Wohnungs- und Baugesellschaft mbH
Leipzig Zum Job 
Leipziger Wohnungs- und Baugesellschaft mbH-Firmenlogo
Projektleiter Haustechnik (w/m/d) Fachingenieur Heizung/Lüftung/Sanitär Leipziger Wohnungs- und Baugesellschaft mbH
Leipzig Zum Job 
BG ETEM-Firmenlogo
Dozenten/-innen (m/w/d) BG ETEM
Bad Münstereifel Zum Job 
Nikola Iveco Europe GmbH-Firmenlogo
Ingenieur (m/w/d) Bordnetzentwicklung und -freigabe Batterie- und Brennstoffzellen-Elektrofahrzeuge Nikola Iveco Europe GmbH
von Hoerner & Sulger GmbH-Firmenlogo
Ingenieure Elektrotechnik (m/w/d) Elektronik-Entwicklung für die Raumfahrt von Hoerner & Sulger GmbH
Schwetzingen Zum Job 

Zahlreiche Anwendungsmöglichkeiten des Algorithmus

Ein Blick auf Details. Durch die genaue Modellierung der Akustik kann das System die zugrunde liegende 3D-Geometrie eines Raums aus Tonaufnahmen erkennen. Die Forschenden nutzen akustische Informationen, die ihr System erfasst, nutzen, um genaue visuelle Renderings eines Raums zu erstellen, ähnlich wie Menschen den Klang nutzen, um die Eigenschaften ihrer physischen Umgebung einzuschätzen.

Neben den möglichen Anwendungen in der virtuellen Realität könnte diese Technik Tools der künstlichen Intelligenz dabei helfen, ein besseres Verständnis für die Welt um sie herum zu entwickeln. „Durch die Modellierung der akustischen Eigenschaften des Schalls in seiner Umgebung nimmt ein Unterwasser-Erkundungsroboter beispielsweise Dinge wahr, die weiter entfernt sind, als er es mit dem bloßen Sehvermögen könnte“, sagt Yilun Du, Doktorand im Fachbereich Elektrotechnik und Informatik (EECS) des MIT.

Maschinelles Lernen nutzt Bild und Ton

Doch der Weg dahin war steinig. Die Arbeitsgruppe am MIT hat ein Modell des maschinellen Lernens, ein so genanntes implizites neuronales Repräsentationsmodell, verwendet, um kontinuierlich Rekonstruktionen von 3D-Szenen aus Bildern zu erzeugen. Zum Einsatz kamen neuronale Netze, die Schichten von miteinander verbundenen Knoten oder Neuronen enthalten, die Daten verarbeiten mit dem Ziel, eine bestimmte Aufgabe zu erfüllen. Mit diesem Modell wurde auch erfasst, wie sich Schall kontinuierlich durch die Szenerie bewegt.

In der Praxis zeigten sich wichtige Unterschiede bei der sogenannten photometrischen Konsistenz: Wenn man dasselbe Objekt von zwei verschiedenen Standorten aus betrachtet, sieht es ungefähr gleich aus – zumindest bei den hier untersuchten Raumgrößen. Wenn man jedoch den Standort wechselt, kann der Ton, den man hört, aufgrund von Hindernissen, Entfernungen usw. völlig anders klingen. Das macht die Vorhersage akustischer Wahrnehmungen recht schwierig.

So lässt sich maschinelles Lernen für die Fragestellung nutzen

Doch die Forschenden fanden Lösungen, indem sie zwei zentrale Eigenschaften für sich nutzen: die reziproke Natur des Schalls und den Einfluss lokaler geometrischer Merkmale. Schall ist reziprok, das bedeutet, wenn die Schallquelle und der Zuhörer die Positionen tauschen, bleibt das, was die Person hört, unverändert. Außerdem wird das, was man in einem bestimmten Gebiet hört, stark von lokalen Merkmalen beeinflusst, etwa von einem Hindernis zwischen dem Hörer und der Schallquelle.

Um diese beiden Faktoren in ihr Modell, das als neuronales akustisches Feld (NAF) bezeichnet wird, einzubeziehen, ergänzen sie das neuronale Netz mit einem Gitter, das Objekte und architektonische Merkmale wie Türöffnungen oder Wände, erfasst. Das Modell nimmt nach dem Zufallsprinzip Punkte auf diesem Raster auf, um die Merkmale an bestimmten Orten zu lernen.

Forscher können den NAF mit visuellen Informationen über eine Szene und einigen Spektrogrammen füttern, die zeigen, wie ein Ton klingen würde, wenn sich Sender und Empfänger, sprich Hörer, an bestimmten Stellen im Raum befinden. Dann sagt das Modell voraus, wie sich der Ton verändern würde, wenn sich der Hörer an einen beliebigen Punkt der Szene bewegt.

Der NAF gibt eine Impulsantwort aus, die festhält, wie sich ein Ton bei seiner Ausbreitung in der Szene verändern sollte. Die Forscher wenden diese Impulsantwort dann auf verschiedene Geräusche an, um zu hören, wie sich diese Geräusche verändern sollten, wenn eine Person durch einen Raum geht.

Wenn beispielsweise ein Lied aus einem Lautsprecher in der Mitte des Raums ertönt, zeigt ihr Modell, wie der Ton lauter wird, wenn sich eine Person dem Lautsprecher nähert, und dann gedämpft wird, wenn sie in einen angrenzenden Flur geht.

Wie sich maschinelles Lernen in der Praxis bewährt

Verglichen mit anderen Methoden, die akustische Informationen modellieren, erzeugte das Tool genauere Klangmodelle. Und da es lokale geometrische Informationen lernte, konnte es viel besser auf neue Orte in einer Szene verallgemeinert werden als andere Methoden.

Jetzt plant die MIT-Arbeitsgruppe, das Modell weiter zu verbessern, so dass es auf ganz neue Szenen verallgemeinert werden kann. Außerdem wollen sie diese Technik auf komplexere Impulsantworten und größere Szenen anwenden, z. B. auf ganze Gebäude oder sogar eine Stadt – und nicht nur auf einzelne Räume.

Mehr zum Thema maschinelles Lernen

Ein Beitrag von:

  • Michael van den Heuvel

    Michael van den Heuvel hat Chemie studiert. Unter anderem arbeitet er für Medscape, DocCheck, für die Universität München und für pharmazeutische Fachmagazine. Seit 2017 ist er selbstständiger Journalist und Gesellschafter von Content Qualitäten. Seine Themen: Chemie/physikalische Chemie, Energie, Umwelt, KI, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.