Kommunikation zwischen Fahrer und Auto 04.07.2024, 07:00 Uhr

Blick in die Zukunft: Wenn das Auto dank KI zum Butler wird

Mithilfe von Künstlicher Intelligenz (KI) wollen Forschende die Kommunikation zwischen Fahrzeug und Fahrerinnen sowie Fahrer verbessern. Dafür verbinden sie Sensorik zur Innenraumbeobachtung mit Sprachmodellen zu Vision-Language-Modellen, die für mehr Komfort und Sicherheit sorgen sollen. 

Mensch sitzt im Auto, telefoniert und lässt das Auto alleine fahren.

Damit das Auto künftig autonom fährt, sind Bildverarbeitungsmodelle im Auto notwendig, welche visuelle Daten entsprechend verarbeiten.

Foto: Fraunhofer IOSB/Zensch

Künftig sollen Autos weitgehend autonom fahren, was Passagieren die Möglichkeit bietet, sich während der Fahrt mit anderen Dingen zu beschäftigten. Damit das möglichst bald Realität wird, gibt es zahlreiche Forschungsprojekte rund um das autonome Fahren. Die Fraunhofer-Instituten IOSB und IAO erforschen zum Beispiel gemeinsam mit Partnern wie Continental, Ford und Audi die Kommunikation zwischen Fahrerinnen und Fahrern sowie dem Auto. Im Rahmen des Projekts KARLI (Künstliche Intelligenz für Adaptive, Responsive und Levelkonforme Interaktion) geht es vor allem um die Komplexität der Aufgabe.

Die Forschenden entwickeln KI-Funktionen für die Automationslevel zwei bis vier. Sie erfassen Zustände von Fahrenden und gestalten unterschiedliche Mensch-Maschine-Interaktionen, die für die jeweiligen Level typisch sind. Je nach Automatisierungsgrad müssen sich die Passagiere auf die Straße konzentrieren oder können sich anderen Tätigkeiten widmen. Die Anforderungen variieren stark – von der Übernahme des Lenkrads innerhalb von zehn Sekunden bis hin zu gar keinem Eingreifen. Und genau das macht die Aufgabe so schwierig. Doch am Ende soll das Auto den Passagieren ja auch wichtige Hinweise geben, zum Beispiel: „Achtung, wenn du jetzt weiterliest, könnte dir bei der kurvigen Strecke schlecht werden. In fünf Minuten fahren wir auf der Autobahn, dann ist es besser.“ Oder: „Gleich wird es regnen und wir müssen das automatische Fahren beenden. Bitte bereite Dich darauf vor, selbst ein Stück zu fahren. Es tut mir leid, dass Du Deinen Laptop jetzt sicher verstauen musst. Sicherheit geht vor.“

Künstliche Intelligenz warnt Passagiere im Auto

Aktuell gibt es fünf verschiedene Ebenen der Automatisierung: Level 0 bedeutet nicht automatisiert, Level 1 assistiert, Level 2 teilautomatisiert, Level 3 hochautomatisiert, Level 4 vollautomatisiert und Level 5 steht für autonom. Die im Projekt KARLI entwickelten Applikationen fokussieren sich auf drei Schwerpunkte: Warnungen und Hinweise sollen levelkonformes Verhalten fördern und beispielsweise verhindern, dass Fahrende in einem Moment abgelenkt sind, in dem jedoch volle Aufmerksamkeit erforderlich ist. Die Art und Weise der Kommunikation hängt vom jeweiligen Level ab und kann sowohl visuell, akustisch, haptisch oder kombiniert erfolgen. Für die Steuerung sind künftig sogenannte KI-Agenten zuständig. Sie übernehmen die Interaktion, deren Leistungsfähigkeit und Zuverlässigkeit die Partner evaluieren.

Der zweite Schwerpunkt liegt auf der Reiseübelkeit, eines der größten Probleme beim passiven Fahren. Immerhin leiden zwischen 20 und 50 Prozent der Menschen daran. Das Risiko dafür soll künftig vorhergesehen und minimiert werden. „Durch den Abgleich von Aktivitäten der Insassen mit erwartbaren Beschleunigungen auf kurvenreichen Strecken können wir eine KI befähigen, den richtigen Insassen zum richtigen Zeitpunkt Tipps zur Vermeidung von Motion Sickness, mit Bezug auf deren aktuelle Aktivitäten zu geben“, erklärt Frederik Diederichs, Projektkoordinator am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe. Dafür nutzen die Forschenden sogenannte generierte User Interfaces (GenUIn) zur individualisierten Interaktion zwischen Mensch und künstlicher Intelligenz.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
über ifp | Executive Search. Management Diagnostik.-Firmenlogo
Produktionsleiter:in über ifp | Executive Search. Management Diagnostik.
Truma Gerätetechnik GmbH & Co. KG-Firmenlogo
Elektroniker (m/w/d) im Bereich Fahrzeugelektronik Truma Gerätetechnik GmbH & Co. KG
Putzbrunn Zum Job 
Netzgesellschaft Potsdam GmbH-Firmenlogo
Ingenieur Strategische Netzplanung (m/w/d) für Strom, Datennetze, Infokabel, 450 MHz Netzgesellschaft Potsdam GmbH
Potsdam Zum Job 
Netzgesellschaft Potsdam GmbH-Firmenlogo
Betriebsingenieur (m/w/d) Elektrotechnik/Energietechnik für die Niederspannung bzw. Hochspannung Netzgesellschaft Potsdam GmbH
Potsdam Zum Job 
BG ETEM-Firmenlogo
Dipl.-Ing. (Uni/TU/TH), M. Sc./Eng. (m/w/d) im Bereich Fachkompetenzcenter Elektrische Gefährdungen BG ETEM
Schleifring GmbH-Firmenlogo
Vertriebsingenieur (m/w/d) Schleifring GmbH
Fürstenfeldbruck Zum Job 
Deutsche Rentenversicherung Bund-Firmenlogo
Teamleiter*in Bauprojekte Elektrotechnik (m/w/div) Deutsche Rentenversicherung Bund
GIBY GmbH-Firmenlogo
Service Techniker (m/w/d) für Telekommunikationsnetze GIBY GmbH
Leipzig Zum Job 
TÜV Technische Überwachung Hessen GmbH-Firmenlogo
Sachverständiger Elektrotechnik / Ausbildung zum Sachverständigen Elektrotechnik (m/w/d) TÜV Technische Überwachung Hessen GmbH
Frankfurt am Main Zum Job 
TÜV Technische Überwachung Hessen GmbH-Firmenlogo
Ausbildung zum Prüfingenieur / Sachverständiger (m/w/d) für den Tätigkeitsbereich Fahrzeugprüfung und Fahrerlaubnisprüfung TÜV Technische Überwachung Hessen GmbH
Frankfurt am Main Zum Job 
Hamamatsu Photonics Deutschland GmbH-Firmenlogo
Vertriebsingenieur (m/w/d) Bereich Labor-, Prozess, und Umweltanalyse Hamamatsu Photonics Deutschland GmbH
Herrsching am Ammersee Zum Job 
Behörde für Stadtentwicklung und Wohnen`-Firmenlogo
Ingenieur:in Elektrotechnik, Maschinenbau, Versorgungstechnik, Bachelor / Dipl.-Ing. (FH) für den technischen Vorbereitungsdienst (TOIA) Behörde für Stadtentwicklung und Wohnen`
Hamburg Zum Job 
FEIG ELECTRONIC GmbH-Firmenlogo
(Senior-) Hardwareentwickler*in - Schaltungstechnik und Mikrocontroller, Sensorik FEIG ELECTRONIC GmbH
Weilburg Zum Job 
Stuttgart Netze GmbH-Firmenlogo
(Junior) Ingenieur Quartiersentwicklung Anschlussservice (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
ATLAS TITAN Mitte GmbH-Firmenlogo
Projektleiter Leitungsbau Schutztechnik (m/w/d) ATLAS TITAN Mitte GmbH
ATLAS TITAN Mitte GmbH-Firmenlogo
Ingenieur Elektrotechnik (m/w/d) Schwerpunkt Automatisierungstechnik ATLAS TITAN Mitte GmbH
Braunschweig Zum Job 
SPITZKE SE GVZ Berlin Süd-Firmenlogo
Bauleiter Elektrotechnik (m/w/d) SPITZKE SE GVZ Berlin Süd
Großbeeren Zum Job 
Stadtwerke Schneverdingen-Neuenkirchen GmbH-Firmenlogo
Leitender Ingenieur (m/w/d) Netzbau und -betrieb Strom und Breitband Stadtwerke Schneverdingen-Neuenkirchen GmbH
Schneverdingen Zum Job 
Agile Robots SE-Firmenlogo
Senior Projektingenieur - Industrial Automation (m/w/d) Agile Robots SE
München Zum Job 
TEGEL PROJEKT GMBH-Firmenlogo
Ingenieur*in als Projektsteuerer*in für Versorgungstechnik / Technische Gebäudeausrüstung (TGA) (m/w/d) TEGEL PROJEKT GMBH

Sprachmodelle und Sensorik als Grundlage für KI-Interaktion

Der dritte Schwerpunkt beschäftigt sich mit genau dieser KI-Interaktion. Im Zentrum steht dabei GenUIn. Die Oberfläche kann individualisierte Ansprachen erstellen und dabei helfen, wie sich Übelkeit reduzieren lässt. Die dafür notwendigen Informationen stammen von aktuellen Tätigkeiten der Passagiere im Fahrzeug, welche durch Sensoren erfasst werden. Darüber hinaus sollen aber auch Wünsche von Passagieren, welche diese konkret äußern, einbezogen werden. Dadurch entstehe eine immer konkretere Personalisierung und das Auto passe sich so stetig mehr an die Bedürfnisse an.

Die Aktivitäten im Auto erfassen verschiedene KI-gestützte Sensoren, vor allem optische Sensoren aus den Innenraumkameras. Sie sind künftig ohnehin Pflicht im Auto – das wird durch die aktuelle Gesetzgebung legitimiert –, da sie sicherstellen, wie fahrtüchtig Fahrerin oder Fahrer ist. In Kombination mit großen Sprachmodellen werden diese Daten dann zu Vision-Language-Models (VLM) und stellen die Basis dafür, dass moderne Fahrerassistenzsysteme in (teil-)autonomen Fahrzeugen Situationen im Innenraum semantisch erfassen und darauf reagieren können. Damit solche Systeme auch auf eine breite Akzeptanz stoßen, sind Vertrauen in den Anbieter, Datensicherheit und ein direkter Nutzen für die Fahrenden unerlässlich. Für die Forschenden stehen deshalb eine bestmögliche Anonymisierung, Datensicherheit sowie eine transparente und erklärbare Datenerfassung im Mittelpunkt. Sie setzen dafür auf Transparenz: Es solle deutlich werden, was ein Sensor erfasst und wofür diese Informationen genutzt werden. In weiteren Projekten arbeiten die Fraunhofer-Forschenden daran, Kameradaten zu anonymisieren, diese sparsam zu verarbeiten und effektiv zu schützen. Ein Alleinstellungsmerkmal des Projekts ist zudem die Dateneffizienz. „Unser Small2BigData-Ansatz braucht nur wenige, qualitativ hochwertige KI-Trainingsdaten, die empirisch erhoben und synthetisch erzeugt werden. Sie bilden die Basis dafür, dass die Automobilhersteller wissen, welche Daten sie später im Serienbetrieb erfassen müssen, um das System nutzen zu können. So ist der Datenaufwand überschaubar und die Projektergebnisse werden skalierbar“, sagt Diederichs.

Ein Beitrag von:

  • Nina Draese

    Nina Draese hat unter anderem für die dpa gearbeitet, die Presseabteilung von BMW, für die Autozeitung und den MAV-Verlag. Sie ist selbstständige Journalistin und gehört zum Team von Content Qualitäten. Ihre Themen: Automobil, Energie, Klima, KI, Technik, Umwelt.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.