Augmented Reality 04.07.2023, 10:45 Uhr

Flugzeuge warten und instand halten mit Datenbrille und 3D-Visualisierung

Das Warten von Flugzeugen ist äußerst komplex, soll künftig jedoch einfacher funktionieren. Forschende haben Konzepte und Lösungsansätze entwickelt, bei denen Augmented Reality eine wichtige Rolle spielt. Werden Flugzeuge künftig mit Datenbrille und 3D-Visualisierung gewartet und instandgehalten?

Flugzeugwartung mit AR

Statt mit Anleitungen aus Papier soll die Flugzeugwartung künftig mit Augmented Reality erfolgen.

Foto: Fraunhofer FKIE

Moderne Flugzeugwartung ist eine komplexe Aufgabe. Um Fluggerätemechanikern Reparaturen und Instandhaltung zukünftig zu erleichtern, sollen AR-Datenbrillen in Verbindung mit 3D-Informationsvisualisierungen eingesetzt werden. Durch die Nutzung virtueller Anleitungen, Displays und technischer Ausstattungen, die per Gesten-, Blick- und Sprachsteuerung bedient werden können, wird die Wartung effizienter gestaltet. Forscher am Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) haben spezifische Konzepte und Lösungsansätze für die Wartung des Airbus A400M mit Hilfe von Augmented-Reality-Systemen entwickelt.

Kurzer Einschub Augmented Reality

Für alle, die noch nicht so viel mit Augmented Reality (AR) und dem Unterschied zu Virtual Reality (VR) anfangen können, hier eine kurze Definition:

„Virtuelle Realität“ bezieht sich auf ein digitales Abbild der Realität, das am Computer erstellt wird. Durch den Einsatz eigener VR-Brillen kann der Nutzer in eine künstlich erschaffene Welt eintauchen, die täuschend echt wirkt. Dadurch hat er die Möglichkeit, in Unterwasserwelten mit Walen zu schwimmen, ein Schiffswrack zu erkunden oder durch sein zukünftiges Haus zu gehen, noch bevor es gebaut wird.

Im Gegensatz dazu bezeichnet „Erweiterte Realität“ oder „Augmented Reality“ im Englischen, die Kombination von digitalen und analogen Elementen im Alltag. Dies kann entweder über die Kamera eines Smartphones oder eine spezielle Brille erfolgen. Im Gegensatz zur VR-Brille isoliert die AR-Brille den Nutzer nicht vollständig von seiner realen Umgebung. Stattdessen werden zusätzliche Informationen über die Brille in das Umfeld des Nutzers eingeblendet. Und genau das soll bei der Flugzeugwartung bzw. Instandhaltung künftig passieren.

Stellenangebote im Bereich Elektrotechnik, Elektronik

Elektrotechnik, Elektronik Jobs
CAREL DEUTSCHLAND GMBH-Firmenlogo
Sales Manager / Account Manager (m/w/d) Kältetechnik CAREL DEUTSCHLAND GMBH
Gelnhausen-Hailer, Homeoffice im Raum Baden-Württemberg, Bayern, Nordrhein-Westfalen, Rheinland-Pfalz, Hessen Zum Job 
TenneT TSO GmbH-Firmenlogo
Ingenieur als technischer Planer Sekundärtechnik (m/w/d) TenneT TSO GmbH
Bayreuth Zum Job 
AGR Betriebsführung GmbH-Firmenlogo
Ingenieur Leittechnik (m/w/d) AGR Betriebsführung GmbH
AbbVie Deutschland GmbH & Co. KG-Firmenlogo
Sicherheitsingenieur Site Operations (all genders) AbbVie Deutschland GmbH & Co. KG
Ludwigshafen am Rhein Zum Job 
Amcor Flexibles Singen GmbH-Firmenlogo
Teamleiter Prozessingenieure / Prozessingenieur (m/w/d) Amcor Flexibles Singen GmbH
Hochschule Esslingen - University of Applied Sciences-Firmenlogo
Professur (W2) Festigkeitslehre / Technische Mechanik und Werkstoffkunde Hochschule Esslingen - University of Applied Sciences
Esslingen Zum Job 
IMS Messsysteme GmbH-Firmenlogo
Systemingenieur (m/w/i) für Oberflächeninspektion IMS Messsysteme GmbH
Heiligenhaus Zum Job 
Hänsel Processing GmbH-Firmenlogo
Leiter Elektrokonstruktion (w/m/d) Hänsel Processing GmbH
Hannover Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Projektingenieurin oder Projektingenieur im Bereich Ladeinfrastruktur (w/m/d) Die Autobahn GmbH des Bundes
Hannover Zum Job 
Staatliches Baumanagement Niedersachsen-Firmenlogo
Ingenieure (m/w/d) Elektrotechnik Staatliches Baumanagement Niedersachsen
Staatliches Baumanagement Niedersachsen-Firmenlogo
Architekten, Bau- und Elektroingenieure (m/w/d) Staatliches Baumanagement Niedersachsen
Wilhelmshaven Zum Job 
Stadtwerke Augsburg Holding GmbH-Firmenlogo
Elektroplaner*in (m/w/d) im Bereich Fernwärme Stadtwerke Augsburg Holding GmbH
Augsburg Zum Job 
Stadtwerke Augsburg Holding GmbH-Firmenlogo
Meister*in / Techniker*in (m/w/d) Sekundärtechnik Stadtwerke Augsburg Holding GmbH
Augsburg Zum Job 
Carel Deutschland GmbH-Firmenlogo
Technical Solution Specialist (m/w/d) Presales Carel Deutschland GmbH
Gelnhausen-Hailer oder Homeoffice (Hessen, NRW, BW, RP, Saarland, Bayern) Zum Job 
Sanofi-Aventis Deutschland GmbH-Firmenlogo
Trainee Manufacturing & Supply - All genders Sanofi-Aventis Deutschland GmbH
Frankfurt am Main Zum Job 
Stuttgart Netze GmbH-Firmenlogo
(Junior) Ingenieur als Projektmanager in der Hochspannung (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Ingenieur*in / Architekt*in / Bauleiter*in (m/w/d) für Großprojekte der Bereiche Infrastruktur (Freileitung, Kabeltiefbau, Bahn) THOST Projektmanagement GmbH
Bremen, Hamburg, Leipzig, Göttingen, Dresden Zum Job 
Hochschule Heilbronn-Firmenlogo
Doktorand*in - Wasserstofflabor Hochschule Heilbronn
Heilbronn Zum Job 
MVV Netze GmbH-Firmenlogo
Fachingenieur Strom (m/w/d) MVV Netze GmbH
Mannheim Zum Job 

So läuft die Flugzeugwartung derzeit ab

Moderne Transportflugzeuge sind mit einer Vielzahl von mechanischen und elektronischen Geräten und Komponenten ausgestattet. Allein die Triebwerke solcher Flugzeuge, wie beispielsweise beim Airbus A400M, bestehen aus mehr als 10.000 Einzelteilen. Die Wartung und Instandhaltung dieser Flugzeuge sind daher mit hohem Aufwand verbunden. Bisher wurden Fluggerätemechaniker bei ihrer anspruchsvollen Aufgabe durch Bedienungsanleitungen in Papierform unterstützt. Allerdings kann die Handhabung dieser umfangreichen Vorschriften sehr umständlich sein, insbesondere wenn mehrere Handbücher gleichzeitig genutzt werden müssen.

Besonders in beengten Umgebungen wie dem Cockpit führt das Hantieren mit physischen Dokumenten zu Platzproblemen und fehlender Übersichtlichkeit. Darüber hinaus sind die zweidimensionalen Abbildungen für komplexe Montageaufgaben nicht immer intuitiv verständlich und können zu Missverständnissen führen, was im schlimmsten Fall zu Wartungsfehlern führen kann. Genau hier setzt die Lösung mit Augmente Reality an.

Virtuelle 3D-Anleitungen machen Schluss mit dem Papierkrieg

Um die genannten Probleme zu lösen und langfristig die zweidimensionalen Wartungsvorschriften zu ersetzen, könnten virtuelle 3D-Anleitungen verwendet werden, die mithilfe von AR-Datenbrillen eingeblendet und über das Sichtfeld des Benutzers gelegt werden. Forscherinnen und Forscher der Abteilung „Mensch-Maschine-Systeme“ am Fraunhofer FKIE haben im Rahmen des Projekts „Ariel“ untersucht, wie Augmented Reality Fluggerätemechanikern bei Wartungsaufgaben helfen kann. Dabei wurden zwei Anwendungsfälle betrachtet: die Installation einer Bildschirmeinheit im Cockpit und die Wartung einer Batterie in der Werkstatt.

Die prototypischen Konzepte wurden für den Airbus A400M mit den AR-Brillen Microsoft HoloLens 2 und Epson Moverio BT-300 getestet. Ein besonderer Fokus lag auf der Gestaltung geeigneter 3D-Informationsvisualisierungen und Interaktionstechniken wie Gesten-, Blick- und Sprachsteuerung. Fünf Fluggerätemechaniker waren an den Tests beteiligt, die Aspekte wie Benutzerfreundlichkeit, Nutzererlebnis und Komfort berücksichtigten. Das Projekt wurde vom Bundesamt für Ausrüstung, Informationstechnik und Nutzung der Bundeswehr unterstützt.

Bedienkonzepte wurden an jeweilige Umgebung angepasst

„Im Rahmen der Konzepterstellung haben wir unter anderem das Wissen von Domänenexperten berücksichtigt, die Vorgehensweise der Probanden am Arbeitsplatz analysiert, die persönliche Ausrüstung und deren Kompatibilität zu den AR-Datenbrillen überprüft, für jede Brille ein individuelles Bedienkonzept entwickelt und darauf basierend verschiedene Anforderungen in den Kategorien Nutzung, Organisation und Gestaltung abgeleitet“, beschreibt Martin Mundt, Wissenschaftler der Abteilung Mensch-Maschine-Systeme die Vorgehensweise.

Darüber hinaus wurden die Konzepte an die unterschiedlichen Anwendungsfälle angepasst. Für das Cockpit, das aufgrund seiner begrenzten Bewegungsfreiheit gestische Interaktionen einschränkt und zudem von einem erhöhten Geräuschpegel geprägt ist, der die Spracherkennung beeinflussen kann, wurden spezifische Anpassungen vorgenommen. Für die Werkstattumgebung hingegen, die eine kontrollierte Beleuchtung aufweist und sich daher gut für die automatische Erkennung von Objekten eignet, wurde ein eigenes Konzept entwickelt.

„Wir haben die bestehenden Vorschriften erweitert und diese nun in 3D umgesetzt und durch Animationen ergänzt, die direkt am virtuell eingeblendeten Bauteil bestimmte Handlungsschritte veranschaulichen. Das können z. B. die Messung des Widerstands an der Batterie oder spezielle Notationen am Modell des Cockpits sein“, erläutert Mundt.

Multimodale Eingabetechniken für anspruchsvolle Umgebungen

Das Team entwickelte multimodale Eingabetechniken, die es Nutzern ermöglichen, unabhängig von Einschränkungen durch aktuelle Aufgaben oder Umgebungsvariablen zu interagieren. Dabei wurden verschiedene Interaktionselemente gestaltet, die sowohl über Blicksteuerung als auch Gesten bedient werden konnten.

Um ungewollte Eingaben bei Nutzung der Blicksteuerung zu vermeiden, wurden verschiedene Ansätze in Betracht gezogen. Schließlich wurde eine Methode implementiert, bei der der Nutzer den Blick kurz auf dem Interaktionselement ruhen lässt. Dabei füllt sich ein Indikator ähnlich einem Fortschrittsbalken, der anzeigt, wie lange der Nutzer noch auf das Element blicken muss, um es auszulösen. Alternativ kann der Nutzer das Interaktionselement durch Drücken mit ausgestrecktem Zeigefinger aktivieren.

Intuitive Bedienung wird gelobt

Die allgemeine Interaktion wurde von den Probanden als intuitiv bewertet, wobei die Blicksteuerung besonders gelobt wurde und von den meisten Testern gegenüber der Gesten- oder Sprachsteuerung bevorzugt wurde. Während der Wartung der Batterie half die direkte Überlagerung mit relevanten Informationen, bestimmte Bauteile zu identifizieren.

Zusätzlich wurden Animationen zur besseren Veranschaulichung von Montageaufgaben positiv bewertet. Allerdings gab es Unsicherheiten bei der Bedienung mittels Gestensteuerung. Aus diesem Grund entwickelte das Forscherteam neben den Demonstratoren auch eine Lernanwendung, die Nutzern mithilfe entsprechender Animationen grundlegende Gesten und Interaktionstechniken vermittelt.

So soll es weitergehen

Im nächsten Schritt wird angestrebt, die Dokumentation und Notizen über den Arbeitsfortschritt und die Ergebnisse digital festzuhalten. Zudem soll es möglich sein, Experten hinzuzuschalten. Dabei liegt der Fokus auf der Interaktion zwischen den Teilnehmern, insbesondere im Bereich der Fernwartung. Neben den bereits analysierten Anwendungsfällen planen die Forscherinnen und Forscher, weitere Einsatzgebiete zu untersuchen.

Denn auch in anderen Branchen können Wartung und Reparatur von der Nutzung von Augmented Reality profitieren. Dies könnte beispielsweise im Energiesektor dazu beitragen, den Fachkräftemangel zu kompensieren. AR könnte weniger erfahrene Techniker beim Einbau von Wärmepumpen unterstützen, da die dreidimensionalen Schritt-für-Schritt-Anleitungen auch Einsteiger sicher durch die Wartungsaufgaben führen können.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.