Orientierung im Raum 03.11.2022, 07:00 Uhr

Ohren auf: Ein maschinelles Lernsystem simuliert, wie Menschen hören

Moderne Technologien simulieren die Wahrnehmung von Geräuschen im Raum an jeder beliebigen Stelle: ein Schritt hin zur besseren Orientierung im Raum.

Künstliche Intelligenz

Wie sich ein Tool der künstlichen Intelligenz im Raum orientiert.

Foto: MIT

Der Klang, den Besucherinnen und Besucher einer Kathedrale hören, wird von vielen Parametern beeinflusst, beispielsweise vom Standort der Orgel, von der Position der Menschen, von Säulen, von Kirchenbänken oder von anderen Hindernissen, von der Beschaffenheit der Wände, von der Lage der Fenster oder Türen. Akustische Informationen helfen Menschen, sich zu orientieren, sprich die Lage von Schallquellen zu erfassen. Technische Systeme hatten damit ihre Schwierigkeiten.

Jetzt erforschen Ingenieurinnen und Ingenieure am Massachusetts Institute of Technology (MIT) in Cambridge die Nutzung räumlicher akustischer Informationen, um auch Maschinen dabei zu helfen, sich ihre Umgebung besser „vorstellen“ zu können. Sie haben jetzt ein maschinelles Lernmodell entwickelt, das erfasst, wie sich Geräusche in einem Raum ausbreiten. Ihr Tool simuliert, was Menschen an verschiedenen Orten des Raums hören würden.

Top Stellenangebote

Zur Jobbörse
Die Autobahn GmbH des Bundes-Firmenlogo
Projektingenieur Planung (w/m/d) Die Autobahn GmbH des Bundes
Bundesamt für das Personalmanagement der Bundeswehr-Firmenlogo
Ingenieur/Ingenieurin (m/w/d) Informatik/Elektrotechnik Bundesamt für das Personalmanagement der Bundeswehr
Mannheim Zum Job 
Wirtgen GmbH-Firmenlogo
Entwicklungsingenieur im Bereich Kaltrecycling (m/w/d) Wirtgen GmbH
Windhagen Zum Job 
LTS Lohmann Therapie-Systeme AG-Firmenlogo
Leiter Haustechnik (m/w/d) LTS Lohmann Therapie-Systeme AG
Andernach Zum Job 
NORD-MICRO GmbH & Co. OHG a part of Collins Aerospace-Firmenlogo
Service Ingenieur - Fans (m/w/d) NORD-MICRO GmbH & Co. OHG a part of Collins Aerospace
Frankfurt am Main Zum Job 
Bundesamt für das Personalmanagement der Bundeswehr-Firmenlogo
Ingenieurin/Ingenieur (m/w/d) mit Master Bundesamt für das Personalmanagement der Bundeswehr
Mannheim Zum Job 
Stuttgart Netze GmbH-Firmenlogo
Ingenieur Bauprojekte Gashochdruck (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
GOLDBECK West GmbH-Firmenlogo
Bauleiter (m/w/d) Elektrotechnik / Versorgungstechnik im Rhein-Ruhr-Gebiet GOLDBECK West GmbH
verschiedene Standorte Zum Job 
GOLDBECK West GmbH-Firmenlogo
Projektleiter (m/w/d) Elektrotechnik / Versorgungstechnik im Rhein-Ruhr-Gebiet GOLDBECK West GmbH
verschiedene Standorte Zum Job 
Cesra Arzneimittel GmbH & Co. KG-Firmenlogo
Mechatroniker / Elektroniker / Industriemechaniker (w/m/d) - Betriebstechnik Cesra Arzneimittel GmbH & Co. KG
Baden-Baden Zum Job 
Stadtwerke Tübingen GmbH-Firmenlogo
Meister der Elektrotechnik (m/w/d) als Bauaufsicht und Netzführung Stadtwerke Tübingen GmbH
Tübingen Zum Job 
Knauf Unternehmensgruppe-Firmenlogo
Projektingenieur Werksplanung Mechanik (m/w/d) Knauf Unternehmensgruppe
Iphofen Zum Job 
Stadtwerke Tübingen GmbH-Firmenlogo
Elektromonteure (m/w/d) Stadtwerke Tübingen GmbH
Tübingen Zum Job 
Stadtwerke Tübingen GmbH-Firmenlogo
Ingenieur (m/w/d) Netzleitwarte Stadtwerke Tübingen GmbH
Tübingen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Planungsingenieur (w/m/d) Straßenbau Die Autobahn GmbH des Bundes
Max-Planck-Institut für Kernphysik-Firmenlogo
Ingenieur (m/w/d) als Leitung der Betriebstechnik Max-Planck-Institut für Kernphysik
Heidelberg Zum Job 
ESG Elektroniksystem- und Logistik-GmbH-Firmenlogo
Softwareentwickler und Softwaretester im Bereich virtuelle Simulation (gn) ESG Elektroniksystem- und Logistik-GmbH
Fürstenfeldbruck Zum Job 
ESG Elektroniksystem- und Logistik-GmbH-Firmenlogo
Expert Systems Engineering Drohnenabwehr (gn) ESG Elektroniksystem- und Logistik-GmbH
Fürstenfeldbruck Zum Job 
ESG Elektroniksystem- und Logistik-GmbH-Firmenlogo
Senior Softwareentwickler Missionsautomatisierung für FCAS (gn) ESG Elektroniksystem- und Logistik-GmbH
Berlin, Fürstenfeldbruck, Koblenz Zum Job 
Kölner Verkehrs-Betriebe AG-Firmenlogo
Ingenieur*in Betriebsleiterbüro (m/w/d) Kölner Verkehrs-Betriebe AG

Zahlreiche Anwendungsmöglichkeiten des Algorithmus

Ein Blick auf Details. Durch die genaue Modellierung der Akustik kann das System die zugrunde liegende 3D-Geometrie eines Raums aus Tonaufnahmen erkennen. Die Forschenden nutzen akustische Informationen, die ihr System erfasst, nutzen, um genaue visuelle Renderings eines Raums zu erstellen, ähnlich wie Menschen den Klang nutzen, um die Eigenschaften ihrer physischen Umgebung einzuschätzen.

Neben den möglichen Anwendungen in der virtuellen Realität könnte diese Technik Tools der künstlichen Intelligenz dabei helfen, ein besseres Verständnis für die Welt um sie herum zu entwickeln. „Durch die Modellierung der akustischen Eigenschaften des Schalls in seiner Umgebung nimmt ein Unterwasser-Erkundungsroboter beispielsweise Dinge wahr, die weiter entfernt sind, als er es mit dem bloßen Sehvermögen könnte“, sagt Yilun Du, Doktorand im Fachbereich Elektrotechnik und Informatik (EECS) des MIT.

Maschinelles Lernen nutzt Bild und Ton

Doch der Weg dahin war steinig. Die Arbeitsgruppe am MIT hat ein Modell des maschinellen Lernens, ein so genanntes implizites neuronales Repräsentationsmodell, verwendet, um kontinuierlich Rekonstruktionen von 3D-Szenen aus Bildern zu erzeugen. Zum Einsatz kamen neuronale Netze, die Schichten von miteinander verbundenen Knoten oder Neuronen enthalten, die Daten verarbeiten mit dem Ziel, eine bestimmte Aufgabe zu erfüllen. Mit diesem Modell wurde auch erfasst, wie sich Schall kontinuierlich durch die Szenerie bewegt.

In der Praxis zeigten sich wichtige Unterschiede bei der sogenannten photometrischen Konsistenz: Wenn man dasselbe Objekt von zwei verschiedenen Standorten aus betrachtet, sieht es ungefähr gleich aus – zumindest bei den hier untersuchten Raumgrößen. Wenn man jedoch den Standort wechselt, kann der Ton, den man hört, aufgrund von Hindernissen, Entfernungen usw. völlig anders klingen. Das macht die Vorhersage akustischer Wahrnehmungen recht schwierig.

So lässt sich maschinelles Lernen für die Fragestellung nutzen

Doch die Forschenden fanden Lösungen, indem sie zwei zentrale Eigenschaften für sich nutzen: die reziproke Natur des Schalls und den Einfluss lokaler geometrischer Merkmale. Schall ist reziprok, das bedeutet, wenn die Schallquelle und der Zuhörer die Positionen tauschen, bleibt das, was die Person hört, unverändert. Außerdem wird das, was man in einem bestimmten Gebiet hört, stark von lokalen Merkmalen beeinflusst, etwa von einem Hindernis zwischen dem Hörer und der Schallquelle.

Um diese beiden Faktoren in ihr Modell, das als neuronales akustisches Feld (NAF) bezeichnet wird, einzubeziehen, ergänzen sie das neuronale Netz mit einem Gitter, das Objekte und architektonische Merkmale wie Türöffnungen oder Wände, erfasst. Das Modell nimmt nach dem Zufallsprinzip Punkte auf diesem Raster auf, um die Merkmale an bestimmten Orten zu lernen.

Forscher können den NAF mit visuellen Informationen über eine Szene und einigen Spektrogrammen füttern, die zeigen, wie ein Ton klingen würde, wenn sich Sender und Empfänger, sprich Hörer, an bestimmten Stellen im Raum befinden. Dann sagt das Modell voraus, wie sich der Ton verändern würde, wenn sich der Hörer an einen beliebigen Punkt der Szene bewegt.

Der NAF gibt eine Impulsantwort aus, die festhält, wie sich ein Ton bei seiner Ausbreitung in der Szene verändern sollte. Die Forscher wenden diese Impulsantwort dann auf verschiedene Geräusche an, um zu hören, wie sich diese Geräusche verändern sollten, wenn eine Person durch einen Raum geht.

Wenn beispielsweise ein Lied aus einem Lautsprecher in der Mitte des Raums ertönt, zeigt ihr Modell, wie der Ton lauter wird, wenn sich eine Person dem Lautsprecher nähert, und dann gedämpft wird, wenn sie in einen angrenzenden Flur geht.

Wie sich maschinelles Lernen in der Praxis bewährt

Verglichen mit anderen Methoden, die akustische Informationen modellieren, erzeugte das Tool genauere Klangmodelle. Und da es lokale geometrische Informationen lernte, konnte es viel besser auf neue Orte in einer Szene verallgemeinert werden als andere Methoden.

Jetzt plant die MIT-Arbeitsgruppe, das Modell weiter zu verbessern, so dass es auf ganz neue Szenen verallgemeinert werden kann. Außerdem wollen sie diese Technik auf komplexere Impulsantworten und größere Szenen anwenden, z. B. auf ganze Gebäude oder sogar eine Stadt – und nicht nur auf einzelne Räume.

Mehr zum Thema maschinelles Lernen

Ein Beitrag von:

  • Michael van den Heuvel

    Michael van den Heuvel hat Chemie studiert. Unter anderem arbeitet er für Medscape, DocCheck, für die Universität München und für pharmazeutische Fachmagazine. Seit 2017 ist er selbstständiger Journalist und Gesellschafter von Content Qualitäten. Seine Themen: Chemie/physikalische Chemie, Energie, Umwelt, KI, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.