Kommunikation zwischen Fahrer und Auto 04.07.2024, 07:00 Uhr

Blick in die Zukunft: Wenn das Auto dank KI zum Butler wird

Mithilfe von Künstlicher Intelligenz (KI) wollen Forschende die Kommunikation zwischen Fahrzeug und Fahrerinnen sowie Fahrer verbessern. Dafür verbinden sie Sensorik zur Innenraumbeobachtung mit Sprachmodellen zu Vision-Language-Modellen, die für mehr Komfort und Sicherheit sorgen sollen. 

Mensch sitzt im Auto, telefoniert und lässt das Auto alleine fahren.

Damit das Auto künftig autonom fährt, sind Bildverarbeitungsmodelle im Auto notwendig, welche visuelle Daten entsprechend verarbeiten.

Foto: Fraunhofer IOSB/Zensch

Künftig sollen Autos weitgehend autonom fahren, was Passagieren die Möglichkeit bietet, sich während der Fahrt mit anderen Dingen zu beschäftigten. Damit das möglichst bald Realität wird, gibt es zahlreiche Forschungsprojekte rund um das autonome Fahren. Die Fraunhofer-Instituten IOSB und IAO erforschen zum Beispiel gemeinsam mit Partnern wie Continental, Ford und Audi die Kommunikation zwischen Fahrerinnen und Fahrern sowie dem Auto. Im Rahmen des Projekts KARLI (Künstliche Intelligenz für Adaptive, Responsive und Levelkonforme Interaktion) geht es vor allem um die Komplexität der Aufgabe.

Die Forschenden entwickeln KI-Funktionen für die Automationslevel zwei bis vier. Sie erfassen Zustände von Fahrenden und gestalten unterschiedliche Mensch-Maschine-Interaktionen, die für die jeweiligen Level typisch sind. Je nach Automatisierungsgrad müssen sich die Passagiere auf die Straße konzentrieren oder können sich anderen Tätigkeiten widmen. Die Anforderungen variieren stark – von der Übernahme des Lenkrads innerhalb von zehn Sekunden bis hin zu gar keinem Eingreifen. Und genau das macht die Aufgabe so schwierig. Doch am Ende soll das Auto den Passagieren ja auch wichtige Hinweise geben, zum Beispiel: „Achtung, wenn du jetzt weiterliest, könnte dir bei der kurvigen Strecke schlecht werden. In fünf Minuten fahren wir auf der Autobahn, dann ist es besser.“ Oder: „Gleich wird es regnen und wir müssen das automatische Fahren beenden. Bitte bereite Dich darauf vor, selbst ein Stück zu fahren. Es tut mir leid, dass Du Deinen Laptop jetzt sicher verstauen musst. Sicherheit geht vor.“

Top Stellenangebote

Zur Jobbörse
Stadtwerke München GmbH-Firmenlogo
Spezialist für Steuerungen im intelligenten Stromnetz mittels Smart Meter (m/w/d) Stadtwerke München GmbH
München Zum Job 
Collins Aerospace HS Elektronik Systeme GmbH-Firmenlogo
Senior Entwicklungsingenieur (m/w/d) Mechanik Collins Aerospace HS Elektronik Systeme GmbH
Nördlingen Zum Job 
Cummins Deutschland GmbH-Firmenlogo
Controls Engineer (m/w/d) - Hourly Cummins Deutschland GmbH
Marktheidenfeld Zum Job 
CoorsTek GmbH-Firmenlogo
Prozessingenieur / Ingenieur (m/w/d) Produktion CoorsTek GmbH
Mönchengladbach Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Verkehrsingenieur:in im Bereich Behörden-Genehmigungsmangement (w/m/d) Berliner Wasserbetriebe
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Abteilungsleitung Planung (w/m/d) Die Autobahn GmbH des Bundes
Kempten (Allgäu) Zum Job 
Herrenknecht AG-Firmenlogo
Projektcontroller (m/w/d) Herrenknecht AG
Südzucker AG-Firmenlogo
Trainee Verfahrenstechnik / Chemieingenieurwesen / Chemie / Maschinenbau (m/w/d) Südzucker AG
verschiedene Standorte Zum Job 
Bohle Isoliertechnik GmbH-Firmenlogo
Projektleiter (m/w/d) Isoliertechnik Bohle Isoliertechnik GmbH
Pastetten Zum Job 
ZVEI e. V. Verband der Elektro- und Digitalindustrie-Firmenlogo
Manager/in Automotive und Mobilität 4.0 (w/m/d) ZVEI e. V. Verband der Elektro- und Digitalindustrie
Berlin, Frankfurt am Main Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Tunneltechnik Die Autobahn GmbH des Bundes
Frankfurt am Main Zum Job 
Nord-Micro GmbH & Co. OHG-Firmenlogo
Qualitätsingenieur (m/w/d) Nord-Micro GmbH & Co. OHG
Frankfurt am Main Zum Job 
Nord-Micro GmbH & Co. OHG-Firmenlogo
Qualitätsingenieur (m/w/d) Nord-Micro GmbH & Co. OHG
Frankfurt am Main Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Verkehrsingenieur Planung / Bau / Betrieb Telematik (w/m/d) Die Autobahn GmbH des Bundes
Koblenz Zum Job 
Stadt Mannheim-Firmenlogo
Architekt*in oder Bauingenieur*in (Projektsteuerung) (m/w/d) Stadt Mannheim
Mannheim Zum Job 
Stadt Tettnang-Firmenlogo
Amtsleitung des Tiefbauamtes (m/w/d) Stadt Tettnang
Tettnang Zum Job 
Diehl Aerospace GmbH Werk Nürnberg-Firmenlogo
Engineer (m/w/d) Verification & Validation Diehl Aerospace GmbH Werk Nürnberg
Frankfurt / Main, Nürnberg, Rostock, Überlingen am Bodensee Zum Job 
Landeswasserversorgung-Firmenlogo
Bachelor of Engineering / Science/Dipl.-Ingenieur (FH) (m/w/d) Fachrichtung Bauingenieurwesen/Umwelttechnik Landeswasserversorgung
Stuttgart Zum Job 
Diehl Aerospace GmbH-Firmenlogo
Projektleiter (m/w/d) Entwicklung Diehl Aerospace GmbH
Nürnberg, Überlingen, Frankfurt am Main, Rostock Zum Job 
GOLDBECK West GmbH-Firmenlogo
Planungsingenieur (m/w/d) Tiefbau GOLDBECK West GmbH
Bochum, Düsseldorf, Monheim am Rhein Zum Job 

Künstliche Intelligenz warnt Passagiere im Auto

Aktuell gibt es fünf verschiedene Ebenen der Automatisierung: Level 0 bedeutet nicht automatisiert, Level 1 assistiert, Level 2 teilautomatisiert, Level 3 hochautomatisiert, Level 4 vollautomatisiert und Level 5 steht für autonom. Die im Projekt KARLI entwickelten Applikationen fokussieren sich auf drei Schwerpunkte: Warnungen und Hinweise sollen levelkonformes Verhalten fördern und beispielsweise verhindern, dass Fahrende in einem Moment abgelenkt sind, in dem jedoch volle Aufmerksamkeit erforderlich ist. Die Art und Weise der Kommunikation hängt vom jeweiligen Level ab und kann sowohl visuell, akustisch, haptisch oder kombiniert erfolgen. Für die Steuerung sind künftig sogenannte KI-Agenten zuständig. Sie übernehmen die Interaktion, deren Leistungsfähigkeit und Zuverlässigkeit die Partner evaluieren.

Der zweite Schwerpunkt liegt auf der Reiseübelkeit, eines der größten Probleme beim passiven Fahren. Immerhin leiden zwischen 20 und 50 Prozent der Menschen daran. Das Risiko dafür soll künftig vorhergesehen und minimiert werden. „Durch den Abgleich von Aktivitäten der Insassen mit erwartbaren Beschleunigungen auf kurvenreichen Strecken können wir eine KI befähigen, den richtigen Insassen zum richtigen Zeitpunkt Tipps zur Vermeidung von Motion Sickness, mit Bezug auf deren aktuelle Aktivitäten zu geben“, erklärt Frederik Diederichs, Projektkoordinator am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe. Dafür nutzen die Forschenden sogenannte generierte User Interfaces (GenUIn) zur individualisierten Interaktion zwischen Mensch und künstlicher Intelligenz.

Sprachmodelle und Sensorik als Grundlage für KI-Interaktion

Der dritte Schwerpunkt beschäftigt sich mit genau dieser KI-Interaktion. Im Zentrum steht dabei GenUIn. Die Oberfläche kann individualisierte Ansprachen erstellen und dabei helfen, wie sich Übelkeit reduzieren lässt. Die dafür notwendigen Informationen stammen von aktuellen Tätigkeiten der Passagiere im Fahrzeug, welche durch Sensoren erfasst werden. Darüber hinaus sollen aber auch Wünsche von Passagieren, welche diese konkret äußern, einbezogen werden. Dadurch entstehe eine immer konkretere Personalisierung und das Auto passe sich so stetig mehr an die Bedürfnisse an.

Die Aktivitäten im Auto erfassen verschiedene KI-gestützte Sensoren, vor allem optische Sensoren aus den Innenraumkameras. Sie sind künftig ohnehin Pflicht im Auto – das wird durch die aktuelle Gesetzgebung legitimiert –, da sie sicherstellen, wie fahrtüchtig Fahrerin oder Fahrer ist. In Kombination mit großen Sprachmodellen werden diese Daten dann zu Vision-Language-Models (VLM) und stellen die Basis dafür, dass moderne Fahrerassistenzsysteme in (teil-)autonomen Fahrzeugen Situationen im Innenraum semantisch erfassen und darauf reagieren können. Damit solche Systeme auch auf eine breite Akzeptanz stoßen, sind Vertrauen in den Anbieter, Datensicherheit und ein direkter Nutzen für die Fahrenden unerlässlich. Für die Forschenden stehen deshalb eine bestmögliche Anonymisierung, Datensicherheit sowie eine transparente und erklärbare Datenerfassung im Mittelpunkt. Sie setzen dafür auf Transparenz: Es solle deutlich werden, was ein Sensor erfasst und wofür diese Informationen genutzt werden. In weiteren Projekten arbeiten die Fraunhofer-Forschenden daran, Kameradaten zu anonymisieren, diese sparsam zu verarbeiten und effektiv zu schützen. Ein Alleinstellungsmerkmal des Projekts ist zudem die Dateneffizienz. „Unser Small2BigData-Ansatz braucht nur wenige, qualitativ hochwertige KI-Trainingsdaten, die empirisch erhoben und synthetisch erzeugt werden. Sie bilden die Basis dafür, dass die Automobilhersteller wissen, welche Daten sie später im Serienbetrieb erfassen müssen, um das System nutzen zu können. So ist der Datenaufwand überschaubar und die Projektergebnisse werden skalierbar“, sagt Diederichs.

Ein Beitrag von:

  • Nina Draese

    Nina Draese hat unter anderem für die dpa gearbeitet, die Presseabteilung von BMW, für die Autozeitung und den MAV-Verlag. Sie ist selbstständige Journalistin und gehört zum Team von Content Qualitäten. Ihre Themen: Automobil, Energie, Klima, KI, Technik, Umwelt.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.