Kameras und LiDAR dienen Autos bisher als „Augen“. Nun soll auch das „Hören“ dazukommen. Das Fraunhofer-Institut für Digitale Medientechnologie (IDMT) in Oldenburg arbeitet daran mit seinem Projekt „Hearing Car“. Der Prototyp wird nächste Woche auf der IAA Mobility in München präsentiert. So könnten Autos künftig nicht nur sehen, sondern auch Geräusche wie Sirenen oder Hupen wahrnehmen – und noch besser auf ihre Umgebung reagieren.
„Um das Verkehrsgeschehen rundum aufmerksam zu beobachten, ist es entscheidend, Außengeräusche wahrzunehmen und richtig einzuordnen. Viele Situationen im Straßenverkehr kündigen sich nämlich akustisch an, wie beispielsweise ein herannahendes Einsatzfahrzeug, das mit seiner Sirene auf sich aufmerksam macht“, wird Moritz Brandes, Projektleiter von „The Hearing Car“ am Fraunhofer IDMT in einer Pressemitteilung zitiert.
Keine freie Sicht nötig
Die akustische Umfeldanalyse kann künftig nicht nur Rettungswagen erkennen, sondern auch menschliche Stimmen oder spielende Kinder in verkehrsberuhigten Zonen. Im Gegensatz zu Kameras oder Lidar braucht Akustik keine freie Sicht – das Auto kann also buchstäblich „um die Ecke“ hören. So können automatisierte Systeme ähnlich wie ein menschlicher Fahrer vorsichtig reagieren, noch bevor eine Gefahr sichtbar wird. Zusätzlich werden wichtige Außengeräusche über die Kopfstütze ins Fahrzeuginnere geleitet, damit der Fahrer sie besser wahrnimmt.
Am Fraunhofer-Institut in Oldenburg arbeitet ein Team um Moritz Brandes gemeinsam mit Autoherstellern und Zulieferern an den Sensoren und Analysetechnologien für das hörende Auto. Dafür nutzen sie ein spezielles Fahrzeug, das mit einem vom IDMT entwickelten Messsystem ausgestattet ist und als mobile Demo-Plattform wichtige Trainingsdaten sammelt.
Mit dem Auto sprechen
Das Auto kann künftig Geräusche wie spielende Kinder oder herannahende Rettungswagen wahrnehmen, noch bevor sie sichtbar sind. Mit der Sprechererkennung lässt sich sicherstellen, dass nur autorisierte Personen mit dem Fahrzeug interagieren können. Die Forscherinnen und Forscher entwickeln KI, die akustische Ereignisse erkennt, optimieren die Position der Mikrofone, verbessern die Signalqualität und filtern störende Geräusche.
Voraussetzung für die Integration dieser Technologien und ihr Zusammenspiel sind hochwertige Mikrofone in der Fahrzeughülle, die mit dem Bordnetz verbunden sind. Um den Einfluss von Fahrtwindgeräuschen zu minimieren, entwickelt und testet das Team um „The Hearing Car“ auch passende Gehäuse und Abschirmungen für die Luftschallsensoren. Moritz Brandes betont, dass die Anzahl und Platzierung der Mikrofone entscheidend für die Erkennung von Umgebungsgeräuschen sei.
Das Team habe Lösungen entwickelt, die sowohl wind- als auch wetterfest sind und auch unter extremen Temperaturen zuverlässig funktionieren. Mit dem Demofahrzeug wurden Tests von Portugal bis zum Polarkreis durchgeführt, um die Technologien unter unterschiedlichen Bedingungen zu erproben. Die Ergebnisse seien vielversprechend und zeigten das Potenzial der Entwicklungen für die Zukunft des autonomen Fahrens.
Auto kann Herzschlag, Atmung und Bewegungen messen
Das hörende Auto kann nicht nur seine Umgebung wahrnehmen, sondern auch den Zustand der Insassen überwachen. Ein Kurzstrecken-Radar misst Herzschlag, Atmung und Bewegungen – alles kontaktlos. Ein mobiles EEG-System erfasst Gehirnströme, um Aufmerksamkeitseinbrüche, zum Beispiel bei langen, monotonen Fahrten, zu erkennen. Außerdem analysiert eine Stimmanalyse Stress oder Aufregung der Fahrenden und gibt passende Hinweise zurück.
Für Unterhaltung an Bord sorgt das System „YourSound“. Es passt den Klang individuell an die Hörvorlieben der Insassen an – ganz ohne komplizierte Einstellungen. Als virtueller Assistent optimiert es die Soundwiedergabe automatisch und sorgt so für ein verbessertes Klangerlebnis.
Die Entwicklung des hörenden Autos wird durch das Programm „Vorab“ des Niedersächsischen Ministeriums für Wissenschaft und Kultur sowie der Volkswagen Stiftung unterstützt. Außerdem fördert das Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) das Projekt „KI4BoardNet“, das sich mit intelligenten Energie- und Datenbordnetzen beschäftigt.
Auf der IAA MOBILITY 2025 in München präsentieren die Forschenden des Fraunhofer IDMT aus Oldenburg ihr Demofahrzeug „The Hearing Car“ vom 9. bis 12. September in Halle A2, Stand C10.
Ein Beitrag von:
