Flugzeuge warten und instand halten mit Datenbrille und 3D-Visualisierung
Das Warten von Flugzeugen ist äußerst komplex, soll künftig jedoch einfacher funktionieren. Forschende haben Konzepte und Lösungsansätze entwickelt, bei denen Augmented Reality eine wichtige Rolle spielt. Werden Flugzeuge künftig mit Datenbrille und 3D-Visualisierung gewartet und instandgehalten?
Statt mit Anleitungen aus Papier soll die Flugzeugwartung künftig mit Augmented Reality erfolgen.
Foto: Fraunhofer FKIE
Moderne Flugzeugwartung ist eine komplexe Aufgabe. Um Fluggerätemechanikern Reparaturen und Instandhaltung zukünftig zu erleichtern, sollen AR-Datenbrillen in Verbindung mit 3D-Informationsvisualisierungen eingesetzt werden. Durch die Nutzung virtueller Anleitungen, Displays und technischer Ausstattungen, die per Gesten-, Blick- und Sprachsteuerung bedient werden können, wird die Wartung effizienter gestaltet. Forscher am Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) haben spezifische Konzepte und Lösungsansätze für die Wartung des Airbus A400M mit Hilfe von Augmented-Reality-Systemen entwickelt.
Kurzer Einschub Augmented Reality
Für alle, die noch nicht so viel mit Augmented Reality (AR) und dem Unterschied zu Virtual Reality (VR) anfangen können, hier eine kurze Definition:
„Virtuelle Realität“ bezieht sich auf ein digitales Abbild der Realität, das am Computer erstellt wird. Durch den Einsatz eigener VR-Brillen kann der Nutzer in eine künstlich erschaffene Welt eintauchen, die täuschend echt wirkt. Dadurch hat er die Möglichkeit, in Unterwasserwelten mit Walen zu schwimmen, ein Schiffswrack zu erkunden oder durch sein zukünftiges Haus zu gehen, noch bevor es gebaut wird.
Im Gegensatz dazu bezeichnet „Erweiterte Realität“ oder „Augmented Reality“ im Englischen, die Kombination von digitalen und analogen Elementen im Alltag. Dies kann entweder über die Kamera eines Smartphones oder eine spezielle Brille erfolgen. Im Gegensatz zur VR-Brille isoliert die AR-Brille den Nutzer nicht vollständig von seiner realen Umgebung. Stattdessen werden zusätzliche Informationen über die Brille in das Umfeld des Nutzers eingeblendet. Und genau das soll bei der Flugzeugwartung bzw. Instandhaltung künftig passieren.
So läuft die Flugzeugwartung derzeit ab
Moderne Transportflugzeuge sind mit einer Vielzahl von mechanischen und elektronischen Geräten und Komponenten ausgestattet. Allein die Triebwerke solcher Flugzeuge, wie beispielsweise beim Airbus A400M, bestehen aus mehr als 10.000 Einzelteilen. Die Wartung und Instandhaltung dieser Flugzeuge sind daher mit hohem Aufwand verbunden. Bisher wurden Fluggerätemechaniker bei ihrer anspruchsvollen Aufgabe durch Bedienungsanleitungen in Papierform unterstützt. Allerdings kann die Handhabung dieser umfangreichen Vorschriften sehr umständlich sein, insbesondere wenn mehrere Handbücher gleichzeitig genutzt werden müssen.
Besonders in beengten Umgebungen wie dem Cockpit führt das Hantieren mit physischen Dokumenten zu Platzproblemen und fehlender Übersichtlichkeit. Darüber hinaus sind die zweidimensionalen Abbildungen für komplexe Montageaufgaben nicht immer intuitiv verständlich und können zu Missverständnissen führen, was im schlimmsten Fall zu Wartungsfehlern führen kann. Genau hier setzt die Lösung mit Augmente Reality an.
Virtuelle 3D-Anleitungen machen Schluss mit dem Papierkrieg
Um die genannten Probleme zu lösen und langfristig die zweidimensionalen Wartungsvorschriften zu ersetzen, könnten virtuelle 3D-Anleitungen verwendet werden, die mithilfe von AR-Datenbrillen eingeblendet und über das Sichtfeld des Benutzers gelegt werden. Forscherinnen und Forscher der Abteilung „Mensch-Maschine-Systeme“ am Fraunhofer FKIE haben im Rahmen des Projekts „Ariel“ untersucht, wie Augmented Reality Fluggerätemechanikern bei Wartungsaufgaben helfen kann. Dabei wurden zwei Anwendungsfälle betrachtet: die Installation einer Bildschirmeinheit im Cockpit und die Wartung einer Batterie in der Werkstatt.
Die prototypischen Konzepte wurden für den Airbus A400M mit den AR-Brillen Microsoft HoloLens 2 und Epson Moverio BT-300 getestet. Ein besonderer Fokus lag auf der Gestaltung geeigneter 3D-Informationsvisualisierungen und Interaktionstechniken wie Gesten-, Blick- und Sprachsteuerung. Fünf Fluggerätemechaniker waren an den Tests beteiligt, die Aspekte wie Benutzerfreundlichkeit, Nutzererlebnis und Komfort berücksichtigten. Das Projekt wurde vom Bundesamt für Ausrüstung, Informationstechnik und Nutzung der Bundeswehr unterstützt.
Bedienkonzepte wurden an jeweilige Umgebung angepasst
„Im Rahmen der Konzepterstellung haben wir unter anderem das Wissen von Domänenexperten berücksichtigt, die Vorgehensweise der Probanden am Arbeitsplatz analysiert, die persönliche Ausrüstung und deren Kompatibilität zu den AR-Datenbrillen überprüft, für jede Brille ein individuelles Bedienkonzept entwickelt und darauf basierend verschiedene Anforderungen in den Kategorien Nutzung, Organisation und Gestaltung abgeleitet“, beschreibt Martin Mundt, Wissenschaftler der Abteilung Mensch-Maschine-Systeme die Vorgehensweise.
Darüber hinaus wurden die Konzepte an die unterschiedlichen Anwendungsfälle angepasst. Für das Cockpit, das aufgrund seiner begrenzten Bewegungsfreiheit gestische Interaktionen einschränkt und zudem von einem erhöhten Geräuschpegel geprägt ist, der die Spracherkennung beeinflussen kann, wurden spezifische Anpassungen vorgenommen. Für die Werkstattumgebung hingegen, die eine kontrollierte Beleuchtung aufweist und sich daher gut für die automatische Erkennung von Objekten eignet, wurde ein eigenes Konzept entwickelt.
„Wir haben die bestehenden Vorschriften erweitert und diese nun in 3D umgesetzt und durch Animationen ergänzt, die direkt am virtuell eingeblendeten Bauteil bestimmte Handlungsschritte veranschaulichen. Das können z. B. die Messung des Widerstands an der Batterie oder spezielle Notationen am Modell des Cockpits sein“, erläutert Mundt.
Multimodale Eingabetechniken für anspruchsvolle Umgebungen
Das Team entwickelte multimodale Eingabetechniken, die es Nutzern ermöglichen, unabhängig von Einschränkungen durch aktuelle Aufgaben oder Umgebungsvariablen zu interagieren. Dabei wurden verschiedene Interaktionselemente gestaltet, die sowohl über Blicksteuerung als auch Gesten bedient werden konnten.
Um ungewollte Eingaben bei Nutzung der Blicksteuerung zu vermeiden, wurden verschiedene Ansätze in Betracht gezogen. Schließlich wurde eine Methode implementiert, bei der der Nutzer den Blick kurz auf dem Interaktionselement ruhen lässt. Dabei füllt sich ein Indikator ähnlich einem Fortschrittsbalken, der anzeigt, wie lange der Nutzer noch auf das Element blicken muss, um es auszulösen. Alternativ kann der Nutzer das Interaktionselement durch Drücken mit ausgestrecktem Zeigefinger aktivieren.
Intuitive Bedienung wird gelobt
Die allgemeine Interaktion wurde von den Probanden als intuitiv bewertet, wobei die Blicksteuerung besonders gelobt wurde und von den meisten Testern gegenüber der Gesten- oder Sprachsteuerung bevorzugt wurde. Während der Wartung der Batterie half die direkte Überlagerung mit relevanten Informationen, bestimmte Bauteile zu identifizieren.
Zusätzlich wurden Animationen zur besseren Veranschaulichung von Montageaufgaben positiv bewertet. Allerdings gab es Unsicherheiten bei der Bedienung mittels Gestensteuerung. Aus diesem Grund entwickelte das Forscherteam neben den Demonstratoren auch eine Lernanwendung, die Nutzern mithilfe entsprechender Animationen grundlegende Gesten und Interaktionstechniken vermittelt.
So soll es weitergehen
Im nächsten Schritt wird angestrebt, die Dokumentation und Notizen über den Arbeitsfortschritt und die Ergebnisse digital festzuhalten. Zudem soll es möglich sein, Experten hinzuzuschalten. Dabei liegt der Fokus auf der Interaktion zwischen den Teilnehmern, insbesondere im Bereich der Fernwartung. Neben den bereits analysierten Anwendungsfällen planen die Forscherinnen und Forscher, weitere Einsatzgebiete zu untersuchen.
Denn auch in anderen Branchen können Wartung und Reparatur von der Nutzung von Augmented Reality profitieren. Dies könnte beispielsweise im Energiesektor dazu beitragen, den Fachkräftemangel zu kompensieren. AR könnte weniger erfahrene Techniker beim Einbau von Wärmepumpen unterstützen, da die dreidimensionalen Schritt-für-Schritt-Anleitungen auch Einsteiger sicher durch die Wartungsaufgaben führen können.
Ein Beitrag von:
