Augmented Reality 04.07.2023, 10:45 Uhr

Flugzeuge warten und instand halten mit Datenbrille und 3D-Visualisierung

Das Warten von Flugzeugen ist äußerst komplex, soll künftig jedoch einfacher funktionieren. Forschende haben Konzepte und Lösungsansätze entwickelt, bei denen Augmented Reality eine wichtige Rolle spielt. Werden Flugzeuge künftig mit Datenbrille und 3D-Visualisierung gewartet und instandgehalten?

Flugzeugwartung mit AR

Statt mit Anleitungen aus Papier soll die Flugzeugwartung künftig mit Augmented Reality erfolgen.

Foto: Fraunhofer FKIE

Moderne Flugzeugwartung ist eine komplexe Aufgabe. Um Fluggerätemechanikern Reparaturen und Instandhaltung zukünftig zu erleichtern, sollen AR-Datenbrillen in Verbindung mit 3D-Informationsvisualisierungen eingesetzt werden. Durch die Nutzung virtueller Anleitungen, Displays und technischer Ausstattungen, die per Gesten-, Blick- und Sprachsteuerung bedient werden können, wird die Wartung effizienter gestaltet. Forscher am Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) haben spezifische Konzepte und Lösungsansätze für die Wartung des Airbus A400M mit Hilfe von Augmented-Reality-Systemen entwickelt.

Kurzer Einschub Augmented Reality

Für alle, die noch nicht so viel mit Augmented Reality (AR) und dem Unterschied zu Virtual Reality (VR) anfangen können, hier eine kurze Definition:

„Virtuelle Realität“ bezieht sich auf ein digitales Abbild der Realität, das am Computer erstellt wird. Durch den Einsatz eigener VR-Brillen kann der Nutzer in eine künstlich erschaffene Welt eintauchen, die täuschend echt wirkt. Dadurch hat er die Möglichkeit, in Unterwasserwelten mit Walen zu schwimmen, ein Schiffswrack zu erkunden oder durch sein zukünftiges Haus zu gehen, noch bevor es gebaut wird.

Im Gegensatz dazu bezeichnet „Erweiterte Realität“ oder „Augmented Reality“ im Englischen, die Kombination von digitalen und analogen Elementen im Alltag. Dies kann entweder über die Kamera eines Smartphones oder eine spezielle Brille erfolgen. Im Gegensatz zur VR-Brille isoliert die AR-Brille den Nutzer nicht vollständig von seiner realen Umgebung. Stattdessen werden zusätzliche Informationen über die Brille in das Umfeld des Nutzers eingeblendet. Und genau das soll bei der Flugzeugwartung bzw. Instandhaltung künftig passieren.

Stellenangebote im Bereich Elektrotechnik, Elektronik

Elektrotechnik, Elektronik Jobs
ARTS Experts GmbH-Firmenlogo
Technischer Ausbilder für Luftfahrttechnik, Elektrik & Avionik (m/w/d) ARTS Experts GmbH
Oberpfaffenhofen bei München Zum Job 
IFCO Management GmbH-Firmenlogo
Electrical Engineer (m/f/d) IFCO Management GmbH
München Zum Job 
Fresenius Kabi Deutschland GmbH-Firmenlogo
Betriebsingenieur Ampullen (m/w/d) Fresenius Kabi Deutschland GmbH
Friedberg (Hessen) Zum Job 
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Ingenieur/Informatiker/Techniker* Fluglotsensimulator DFS Deutsche Flugsicherung GmbH
München Zum Job 
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Flugsicherungsingenieur* operative Inbetriebhaltung DFS Deutsche Flugsicherung GmbH
Karlsruhe Zum Job 
Klinikverbund Südwest GmbH-Firmenlogo
Strahlenschutzbeauftragter (m/w/d) Klinikverbund Südwest GmbH
Sindelfingen Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
ELE Verteilnetz GmbH-Firmenlogo
Ingenieur als Business Continuity Manager (m/w/d) ELE Verteilnetz GmbH
Gladbeck Zum Job 
IMS Messsysteme GmbH-Firmenlogo
Projektleiter (m/w/i) für Röntgen-, Isotopen- und optische Messsysteme IMS Messsysteme GmbH
Heiligenhaus Zum Job 
Schneider GmbH & Co. KG-Firmenlogo
SPS-Ingenieur / Automatisierungstechnik (m/w/d) Schneider GmbH & Co. KG
Fronhausen Zum Job 
Schneider GmbH & Co. KG-Firmenlogo
Entwicklungsingenieur Lasertechnologie (m/w/d) Schneider GmbH & Co. KG
Fronhausen Zum Job 
Siegfried PharmaChemikalien Minden GmbH-Firmenlogo
Ingenieur für Elektrotechnik (w/m/d) Siegfried PharmaChemikalien Minden GmbH
Stadt Freiburg-Firmenlogo
Ingenieur / Techniker / Meister (a) als Tunnelmanager Stadt Freiburg
Freiburg Zum Job 
Tesla Automation GmbH-Firmenlogo
(Senior) Entwicklungsingenieur (m/w/d) Tesla Automation GmbH
Tesla Automation GmbH-Firmenlogo
Technical Program Manager (m/w/d) Tesla Automation GmbH
Safran Data Systems GmbH-Firmenlogo
Testingenieur / Certified Tester (m/w/d) Safran Data Systems GmbH
Bergisch Gladbach Zum Job 
OCS Optical Control Systems GmbH-Firmenlogo
Entwicklungsingenieur Elektrotechnik (m/w/d) OCS Optical Control Systems GmbH
NRM Netzdienste Rhein-Main GmbH-Firmenlogo
Ingenieur Elektrotechnik als Leiter für Projektierung/Planung Stromanlagen (m/w/d) NRM Netzdienste Rhein-Main GmbH
Frankfurt am Main Zum Job 
OCS Optical Control Systems GmbH-Firmenlogo
Applikationsingenieur (m/w/d) für Automatisierungssysteme OCS Optical Control Systems GmbH
vitronet Consult GmbH-Firmenlogo
Senior Planer Energieinfrastruktur und Netzplanung (m/w/d) vitronet Consult GmbH

So läuft die Flugzeugwartung derzeit ab

Moderne Transportflugzeuge sind mit einer Vielzahl von mechanischen und elektronischen Geräten und Komponenten ausgestattet. Allein die Triebwerke solcher Flugzeuge, wie beispielsweise beim Airbus A400M, bestehen aus mehr als 10.000 Einzelteilen. Die Wartung und Instandhaltung dieser Flugzeuge sind daher mit hohem Aufwand verbunden. Bisher wurden Fluggerätemechaniker bei ihrer anspruchsvollen Aufgabe durch Bedienungsanleitungen in Papierform unterstützt. Allerdings kann die Handhabung dieser umfangreichen Vorschriften sehr umständlich sein, insbesondere wenn mehrere Handbücher gleichzeitig genutzt werden müssen.

Besonders in beengten Umgebungen wie dem Cockpit führt das Hantieren mit physischen Dokumenten zu Platzproblemen und fehlender Übersichtlichkeit. Darüber hinaus sind die zweidimensionalen Abbildungen für komplexe Montageaufgaben nicht immer intuitiv verständlich und können zu Missverständnissen führen, was im schlimmsten Fall zu Wartungsfehlern führen kann. Genau hier setzt die Lösung mit Augmente Reality an.

Virtuelle 3D-Anleitungen machen Schluss mit dem Papierkrieg

Um die genannten Probleme zu lösen und langfristig die zweidimensionalen Wartungsvorschriften zu ersetzen, könnten virtuelle 3D-Anleitungen verwendet werden, die mithilfe von AR-Datenbrillen eingeblendet und über das Sichtfeld des Benutzers gelegt werden. Forscherinnen und Forscher der Abteilung „Mensch-Maschine-Systeme“ am Fraunhofer FKIE haben im Rahmen des Projekts „Ariel“ untersucht, wie Augmented Reality Fluggerätemechanikern bei Wartungsaufgaben helfen kann. Dabei wurden zwei Anwendungsfälle betrachtet: die Installation einer Bildschirmeinheit im Cockpit und die Wartung einer Batterie in der Werkstatt.

Die prototypischen Konzepte wurden für den Airbus A400M mit den AR-Brillen Microsoft HoloLens 2 und Epson Moverio BT-300 getestet. Ein besonderer Fokus lag auf der Gestaltung geeigneter 3D-Informationsvisualisierungen und Interaktionstechniken wie Gesten-, Blick- und Sprachsteuerung. Fünf Fluggerätemechaniker waren an den Tests beteiligt, die Aspekte wie Benutzerfreundlichkeit, Nutzererlebnis und Komfort berücksichtigten. Das Projekt wurde vom Bundesamt für Ausrüstung, Informationstechnik und Nutzung der Bundeswehr unterstützt.

Bedienkonzepte wurden an jeweilige Umgebung angepasst

„Im Rahmen der Konzepterstellung haben wir unter anderem das Wissen von Domänenexperten berücksichtigt, die Vorgehensweise der Probanden am Arbeitsplatz analysiert, die persönliche Ausrüstung und deren Kompatibilität zu den AR-Datenbrillen überprüft, für jede Brille ein individuelles Bedienkonzept entwickelt und darauf basierend verschiedene Anforderungen in den Kategorien Nutzung, Organisation und Gestaltung abgeleitet“, beschreibt Martin Mundt, Wissenschaftler der Abteilung Mensch-Maschine-Systeme die Vorgehensweise.

Darüber hinaus wurden die Konzepte an die unterschiedlichen Anwendungsfälle angepasst. Für das Cockpit, das aufgrund seiner begrenzten Bewegungsfreiheit gestische Interaktionen einschränkt und zudem von einem erhöhten Geräuschpegel geprägt ist, der die Spracherkennung beeinflussen kann, wurden spezifische Anpassungen vorgenommen. Für die Werkstattumgebung hingegen, die eine kontrollierte Beleuchtung aufweist und sich daher gut für die automatische Erkennung von Objekten eignet, wurde ein eigenes Konzept entwickelt.

„Wir haben die bestehenden Vorschriften erweitert und diese nun in 3D umgesetzt und durch Animationen ergänzt, die direkt am virtuell eingeblendeten Bauteil bestimmte Handlungsschritte veranschaulichen. Das können z. B. die Messung des Widerstands an der Batterie oder spezielle Notationen am Modell des Cockpits sein“, erläutert Mundt.

Multimodale Eingabetechniken für anspruchsvolle Umgebungen

Das Team entwickelte multimodale Eingabetechniken, die es Nutzern ermöglichen, unabhängig von Einschränkungen durch aktuelle Aufgaben oder Umgebungsvariablen zu interagieren. Dabei wurden verschiedene Interaktionselemente gestaltet, die sowohl über Blicksteuerung als auch Gesten bedient werden konnten.

Um ungewollte Eingaben bei Nutzung der Blicksteuerung zu vermeiden, wurden verschiedene Ansätze in Betracht gezogen. Schließlich wurde eine Methode implementiert, bei der der Nutzer den Blick kurz auf dem Interaktionselement ruhen lässt. Dabei füllt sich ein Indikator ähnlich einem Fortschrittsbalken, der anzeigt, wie lange der Nutzer noch auf das Element blicken muss, um es auszulösen. Alternativ kann der Nutzer das Interaktionselement durch Drücken mit ausgestrecktem Zeigefinger aktivieren.

Intuitive Bedienung wird gelobt

Die allgemeine Interaktion wurde von den Probanden als intuitiv bewertet, wobei die Blicksteuerung besonders gelobt wurde und von den meisten Testern gegenüber der Gesten- oder Sprachsteuerung bevorzugt wurde. Während der Wartung der Batterie half die direkte Überlagerung mit relevanten Informationen, bestimmte Bauteile zu identifizieren.

Zusätzlich wurden Animationen zur besseren Veranschaulichung von Montageaufgaben positiv bewertet. Allerdings gab es Unsicherheiten bei der Bedienung mittels Gestensteuerung. Aus diesem Grund entwickelte das Forscherteam neben den Demonstratoren auch eine Lernanwendung, die Nutzern mithilfe entsprechender Animationen grundlegende Gesten und Interaktionstechniken vermittelt.

So soll es weitergehen

Im nächsten Schritt wird angestrebt, die Dokumentation und Notizen über den Arbeitsfortschritt und die Ergebnisse digital festzuhalten. Zudem soll es möglich sein, Experten hinzuzuschalten. Dabei liegt der Fokus auf der Interaktion zwischen den Teilnehmern, insbesondere im Bereich der Fernwartung. Neben den bereits analysierten Anwendungsfällen planen die Forscherinnen und Forscher, weitere Einsatzgebiete zu untersuchen.

Denn auch in anderen Branchen können Wartung und Reparatur von der Nutzung von Augmented Reality profitieren. Dies könnte beispielsweise im Energiesektor dazu beitragen, den Fachkräftemangel zu kompensieren. AR könnte weniger erfahrene Techniker beim Einbau von Wärmepumpen unterstützen, da die dreidimensionalen Schritt-für-Schritt-Anleitungen auch Einsteiger sicher durch die Wartungsaufgaben führen können.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.