Blick in die Zukunft: Wenn das Auto dank KI zum Butler wird
Mithilfe von Künstlicher Intelligenz (KI) wollen Forschende die Kommunikation zwischen Fahrzeug und Fahrerinnen sowie Fahrer verbessern. Dafür verbinden sie Sensorik zur Innenraumbeobachtung mit Sprachmodellen zu Vision-Language-Modellen, die für mehr Komfort und Sicherheit sorgen sollen.
Damit das Auto künftig autonom fährt, sind Bildverarbeitungsmodelle im Auto notwendig, welche visuelle Daten entsprechend verarbeiten.
Foto: Fraunhofer IOSB/Zensch
Künftig sollen Autos weitgehend autonom fahren, was Passagieren die Möglichkeit bietet, sich während der Fahrt mit anderen Dingen zu beschäftigten. Damit das möglichst bald Realität wird, gibt es zahlreiche Forschungsprojekte rund um das autonome Fahren. Die Fraunhofer-Instituten IOSB und IAO erforschen zum Beispiel gemeinsam mit Partnern wie Continental, Ford und Audi die Kommunikation zwischen Fahrerinnen und Fahrern sowie dem Auto. Im Rahmen des Projekts KARLI (Künstliche Intelligenz für Adaptive, Responsive und Levelkonforme Interaktion) geht es vor allem um die Komplexität der Aufgabe.
Die Forschenden entwickeln KI-Funktionen für die Automationslevel zwei bis vier. Sie erfassen Zustände von Fahrenden und gestalten unterschiedliche Mensch-Maschine-Interaktionen, die für die jeweiligen Level typisch sind. Je nach Automatisierungsgrad müssen sich die Passagiere auf die Straße konzentrieren oder können sich anderen Tätigkeiten widmen. Die Anforderungen variieren stark – von der Übernahme des Lenkrads innerhalb von zehn Sekunden bis hin zu gar keinem Eingreifen. Und genau das macht die Aufgabe so schwierig. Doch am Ende soll das Auto den Passagieren ja auch wichtige Hinweise geben, zum Beispiel: „Achtung, wenn du jetzt weiterliest, könnte dir bei der kurvigen Strecke schlecht werden. In fünf Minuten fahren wir auf der Autobahn, dann ist es besser.“ Oder: „Gleich wird es regnen und wir müssen das automatische Fahren beenden. Bitte bereite Dich darauf vor, selbst ein Stück zu fahren. Es tut mir leid, dass Du Deinen Laptop jetzt sicher verstauen musst. Sicherheit geht vor.“
Künstliche Intelligenz warnt Passagiere im Auto
Aktuell gibt es fünf verschiedene Ebenen der Automatisierung: Level 0 bedeutet nicht automatisiert, Level 1 assistiert, Level 2 teilautomatisiert, Level 3 hochautomatisiert, Level 4 vollautomatisiert und Level 5 steht für autonom. Die im Projekt KARLI entwickelten Applikationen fokussieren sich auf drei Schwerpunkte: Warnungen und Hinweise sollen levelkonformes Verhalten fördern und beispielsweise verhindern, dass Fahrende in einem Moment abgelenkt sind, in dem jedoch volle Aufmerksamkeit erforderlich ist. Die Art und Weise der Kommunikation hängt vom jeweiligen Level ab und kann sowohl visuell, akustisch, haptisch oder kombiniert erfolgen. Für die Steuerung sind künftig sogenannte KI-Agenten zuständig. Sie übernehmen die Interaktion, deren Leistungsfähigkeit und Zuverlässigkeit die Partner evaluieren.
Der zweite Schwerpunkt liegt auf der Reiseübelkeit, eines der größten Probleme beim passiven Fahren. Immerhin leiden zwischen 20 und 50 Prozent der Menschen daran. Das Risiko dafür soll künftig vorhergesehen und minimiert werden. „Durch den Abgleich von Aktivitäten der Insassen mit erwartbaren Beschleunigungen auf kurvenreichen Strecken können wir eine KI befähigen, den richtigen Insassen zum richtigen Zeitpunkt Tipps zur Vermeidung von Motion Sickness, mit Bezug auf deren aktuelle Aktivitäten zu geben“, erklärt Frederik Diederichs, Projektkoordinator am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe. Dafür nutzen die Forschenden sogenannte generierte User Interfaces (GenUIn) zur individualisierten Interaktion zwischen Mensch und künstlicher Intelligenz.
Sprachmodelle und Sensorik als Grundlage für KI-Interaktion
Der dritte Schwerpunkt beschäftigt sich mit genau dieser KI-Interaktion. Im Zentrum steht dabei GenUIn. Die Oberfläche kann individualisierte Ansprachen erstellen und dabei helfen, wie sich Übelkeit reduzieren lässt. Die dafür notwendigen Informationen stammen von aktuellen Tätigkeiten der Passagiere im Fahrzeug, welche durch Sensoren erfasst werden. Darüber hinaus sollen aber auch Wünsche von Passagieren, welche diese konkret äußern, einbezogen werden. Dadurch entstehe eine immer konkretere Personalisierung und das Auto passe sich so stetig mehr an die Bedürfnisse an.
Die Aktivitäten im Auto erfassen verschiedene KI-gestützte Sensoren, vor allem optische Sensoren aus den Innenraumkameras. Sie sind künftig ohnehin Pflicht im Auto – das wird durch die aktuelle Gesetzgebung legitimiert –, da sie sicherstellen, wie fahrtüchtig Fahrerin oder Fahrer ist. In Kombination mit großen Sprachmodellen werden diese Daten dann zu Vision-Language-Models (VLM) und stellen die Basis dafür, dass moderne Fahrerassistenzsysteme in (teil-)autonomen Fahrzeugen Situationen im Innenraum semantisch erfassen und darauf reagieren können. Damit solche Systeme auch auf eine breite Akzeptanz stoßen, sind Vertrauen in den Anbieter, Datensicherheit und ein direkter Nutzen für die Fahrenden unerlässlich. Für die Forschenden stehen deshalb eine bestmögliche Anonymisierung, Datensicherheit sowie eine transparente und erklärbare Datenerfassung im Mittelpunkt. Sie setzen dafür auf Transparenz: Es solle deutlich werden, was ein Sensor erfasst und wofür diese Informationen genutzt werden. In weiteren Projekten arbeiten die Fraunhofer-Forschenden daran, Kameradaten zu anonymisieren, diese sparsam zu verarbeiten und effektiv zu schützen. Ein Alleinstellungsmerkmal des Projekts ist zudem die Dateneffizienz. „Unser Small2BigData-Ansatz braucht nur wenige, qualitativ hochwertige KI-Trainingsdaten, die empirisch erhoben und synthetisch erzeugt werden. Sie bilden die Basis dafür, dass die Automobilhersteller wissen, welche Daten sie später im Serienbetrieb erfassen müssen, um das System nutzen zu können. So ist der Datenaufwand überschaubar und die Projektergebnisse werden skalierbar“, sagt Diederichs.
Ein Beitrag von:
