Augmented Reality 04.07.2023, 10:45 Uhr

Flugzeuge warten und instand halten mit Datenbrille und 3D-Visualisierung

Das Warten von Flugzeugen ist äußerst komplex, soll künftig jedoch einfacher funktionieren. Forschende haben Konzepte und Lösungsansätze entwickelt, bei denen Augmented Reality eine wichtige Rolle spielt. Werden Flugzeuge künftig mit Datenbrille und 3D-Visualisierung gewartet und instandgehalten?

Flugzeugwartung mit AR

Statt mit Anleitungen aus Papier soll die Flugzeugwartung künftig mit Augmented Reality erfolgen.

Foto: Fraunhofer FKIE

Moderne Flugzeugwartung ist eine komplexe Aufgabe. Um Fluggerätemechanikern Reparaturen und Instandhaltung zukünftig zu erleichtern, sollen AR-Datenbrillen in Verbindung mit 3D-Informationsvisualisierungen eingesetzt werden. Durch die Nutzung virtueller Anleitungen, Displays und technischer Ausstattungen, die per Gesten-, Blick- und Sprachsteuerung bedient werden können, wird die Wartung effizienter gestaltet. Forscher am Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) haben spezifische Konzepte und Lösungsansätze für die Wartung des Airbus A400M mit Hilfe von Augmented-Reality-Systemen entwickelt.

Kurzer Einschub Augmented Reality

Für alle, die noch nicht so viel mit Augmented Reality (AR) und dem Unterschied zu Virtual Reality (VR) anfangen können, hier eine kurze Definition:

Stellenangebote im Bereich Elektrotechnik, Elektronik

Elektrotechnik, Elektronik Jobs
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
Stadtwerke Tübingen GmbH-Firmenlogo
Meister der Elektrotechnik (m/w/d) als Bauaufsicht und Netzführung Stadtwerke Tübingen GmbH
Tübingen Zum Job 
Stadtwerke Tübingen GmbH-Firmenlogo
Elektromonteure (m/w/d) Stadtwerke Tübingen GmbH
Tübingen Zum Job 
Stadtwerke Tübingen GmbH-Firmenlogo
Ingenieur (m/w/d) Netzleitwarte Stadtwerke Tübingen GmbH
Tübingen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) C-ITS Entwicklung Die Autobahn GmbH des Bundes
Frankfurt am Main Zum Job 
Menlo Systems GmbH-Firmenlogo
Ingenieur / Techniker (m/w/d) für die Produktion von Frequenzkämmen Menlo Systems GmbH
Planegg Zum Job 
STILL GmbH-Firmenlogo
Entwicklungsingenieur Embedded Software (m/w/d) STILL GmbH
Hamburg Zum Job 
Energieversorgung Halle Netz GmbH-Firmenlogo
Ingenieur Elektrotechnik - Netz- & Energietechnik, Smart Grid (m/w/d) Energieversorgung Halle Netz GmbH
Halle (Saale) Zum Job 
Stadtwerke München GmbH-Firmenlogo
Inbetriebsetzungsleiter*in Leit-, Feld- und Automatisierungstechnik (m/w/d) Stadtwerke München GmbH
München Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Ingenieur*in / Projektmanager*in (m/w/d) in Steuerung von Projekten im Bereich Wasserstoff und Energiewende THOST Projektmanagement GmbH
Mannheim Zum Job 
Desitin Arzneimittel GmbH-Firmenlogo
Elektroniker / Mechatroniker (m/w/d) für Betriebstechnik Desitin Arzneimittel GmbH
Hamburg Zum Job 
Excellence AG-Firmenlogo
GreenTech Engineer (m/wd) Elektrotechnik Excellence AG
Großraum Essen Zum Job 
Excellence AG-Firmenlogo
GreenTech Engineer (m/w/d) Embedded Software Excellence AG
deutschlandweit Zum Job 
Excellence AG-Firmenlogo
GreenTech Engineer (m/wd) Automatisierung Excellence AG
deutschlandweit Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Ingenieur*in / Wirtschaftsjurist*in (m/w/d) für Contract & Claimsmanagement in Immobilienprojekten THOST Projektmanagement GmbH
Pforzheim Zum Job 
Hillenbrand-Firmenlogo
Elektrotechnikingenieur Hardwarekonstruktion (m/w/d) Hillenbrand
Weingarten Zum Job 
RENK Test System GmbH-Firmenlogo
Ingenieur (m/w/d) Antriebstechnik RENK Test System GmbH
Augsburg Zum Job 
Hermann Pipersberg Jr. GmbH-Firmenlogo
Fertigungsingenieur (m/w/d) Hermann Pipersberg Jr. GmbH
Remscheid Zum Job 
IMS Messsysteme GmbH-Firmenlogo
Projektleiter (m/w/i) für Röntgen-, Isotopen- und optische Messsysteme IMS Messsysteme GmbH
Heiligenhaus Zum Job 
Scheidt & Bachmann Fare Collection Systems GmbH-Firmenlogo
Wirtschaftsingenieur / Ingenieur Elektrotechnik / Informatiker / Betriebswirt als Senior Bid Manager (m/w/d) Scheidt & Bachmann Fare Collection Systems GmbH
Mönchengladbach bei Düsseldorf Zum Job 

„Virtuelle Realität“ bezieht sich auf ein digitales Abbild der Realität, das am Computer erstellt wird. Durch den Einsatz eigener VR-Brillen kann der Nutzer in eine künstlich erschaffene Welt eintauchen, die täuschend echt wirkt. Dadurch hat er die Möglichkeit, in Unterwasserwelten mit Walen zu schwimmen, ein Schiffswrack zu erkunden oder durch sein zukünftiges Haus zu gehen, noch bevor es gebaut wird.

Im Gegensatz dazu bezeichnet „Erweiterte Realität“ oder „Augmented Reality“ im Englischen, die Kombination von digitalen und analogen Elementen im Alltag. Dies kann entweder über die Kamera eines Smartphones oder eine spezielle Brille erfolgen. Im Gegensatz zur VR-Brille isoliert die AR-Brille den Nutzer nicht vollständig von seiner realen Umgebung. Stattdessen werden zusätzliche Informationen über die Brille in das Umfeld des Nutzers eingeblendet. Und genau das soll bei der Flugzeugwartung bzw. Instandhaltung künftig passieren.

So läuft die Flugzeugwartung derzeit ab

Moderne Transportflugzeuge sind mit einer Vielzahl von mechanischen und elektronischen Geräten und Komponenten ausgestattet. Allein die Triebwerke solcher Flugzeuge, wie beispielsweise beim Airbus A400M, bestehen aus mehr als 10.000 Einzelteilen. Die Wartung und Instandhaltung dieser Flugzeuge sind daher mit hohem Aufwand verbunden. Bisher wurden Fluggerätemechaniker bei ihrer anspruchsvollen Aufgabe durch Bedienungsanleitungen in Papierform unterstützt. Allerdings kann die Handhabung dieser umfangreichen Vorschriften sehr umständlich sein, insbesondere wenn mehrere Handbücher gleichzeitig genutzt werden müssen.

Besonders in beengten Umgebungen wie dem Cockpit führt das Hantieren mit physischen Dokumenten zu Platzproblemen und fehlender Übersichtlichkeit. Darüber hinaus sind die zweidimensionalen Abbildungen für komplexe Montageaufgaben nicht immer intuitiv verständlich und können zu Missverständnissen führen, was im schlimmsten Fall zu Wartungsfehlern führen kann. Genau hier setzt die Lösung mit Augmente Reality an.

Virtuelle 3D-Anleitungen machen Schluss mit dem Papierkrieg

Um die genannten Probleme zu lösen und langfristig die zweidimensionalen Wartungsvorschriften zu ersetzen, könnten virtuelle 3D-Anleitungen verwendet werden, die mithilfe von AR-Datenbrillen eingeblendet und über das Sichtfeld des Benutzers gelegt werden. Forscherinnen und Forscher der Abteilung „Mensch-Maschine-Systeme“ am Fraunhofer FKIE haben im Rahmen des Projekts „Ariel“ untersucht, wie Augmented Reality Fluggerätemechanikern bei Wartungsaufgaben helfen kann. Dabei wurden zwei Anwendungsfälle betrachtet: die Installation einer Bildschirmeinheit im Cockpit und die Wartung einer Batterie in der Werkstatt.

Die prototypischen Konzepte wurden für den Airbus A400M mit den AR-Brillen Microsoft HoloLens 2 und Epson Moverio BT-300 getestet. Ein besonderer Fokus lag auf der Gestaltung geeigneter 3D-Informationsvisualisierungen und Interaktionstechniken wie Gesten-, Blick- und Sprachsteuerung. Fünf Fluggerätemechaniker waren an den Tests beteiligt, die Aspekte wie Benutzerfreundlichkeit, Nutzererlebnis und Komfort berücksichtigten. Das Projekt wurde vom Bundesamt für Ausrüstung, Informationstechnik und Nutzung der Bundeswehr unterstützt.

Bedienkonzepte wurden an jeweilige Umgebung angepasst

„Im Rahmen der Konzepterstellung haben wir unter anderem das Wissen von Domänenexperten berücksichtigt, die Vorgehensweise der Probanden am Arbeitsplatz analysiert, die persönliche Ausrüstung und deren Kompatibilität zu den AR-Datenbrillen überprüft, für jede Brille ein individuelles Bedienkonzept entwickelt und darauf basierend verschiedene Anforderungen in den Kategorien Nutzung, Organisation und Gestaltung abgeleitet“, beschreibt Martin Mundt, Wissenschaftler der Abteilung Mensch-Maschine-Systeme die Vorgehensweise.

Darüber hinaus wurden die Konzepte an die unterschiedlichen Anwendungsfälle angepasst. Für das Cockpit, das aufgrund seiner begrenzten Bewegungsfreiheit gestische Interaktionen einschränkt und zudem von einem erhöhten Geräuschpegel geprägt ist, der die Spracherkennung beeinflussen kann, wurden spezifische Anpassungen vorgenommen. Für die Werkstattumgebung hingegen, die eine kontrollierte Beleuchtung aufweist und sich daher gut für die automatische Erkennung von Objekten eignet, wurde ein eigenes Konzept entwickelt.

„Wir haben die bestehenden Vorschriften erweitert und diese nun in 3D umgesetzt und durch Animationen ergänzt, die direkt am virtuell eingeblendeten Bauteil bestimmte Handlungsschritte veranschaulichen. Das können z. B. die Messung des Widerstands an der Batterie oder spezielle Notationen am Modell des Cockpits sein“, erläutert Mundt.

Multimodale Eingabetechniken für anspruchsvolle Umgebungen

Das Team entwickelte multimodale Eingabetechniken, die es Nutzern ermöglichen, unabhängig von Einschränkungen durch aktuelle Aufgaben oder Umgebungsvariablen zu interagieren. Dabei wurden verschiedene Interaktionselemente gestaltet, die sowohl über Blicksteuerung als auch Gesten bedient werden konnten.

Um ungewollte Eingaben bei Nutzung der Blicksteuerung zu vermeiden, wurden verschiedene Ansätze in Betracht gezogen. Schließlich wurde eine Methode implementiert, bei der der Nutzer den Blick kurz auf dem Interaktionselement ruhen lässt. Dabei füllt sich ein Indikator ähnlich einem Fortschrittsbalken, der anzeigt, wie lange der Nutzer noch auf das Element blicken muss, um es auszulösen. Alternativ kann der Nutzer das Interaktionselement durch Drücken mit ausgestrecktem Zeigefinger aktivieren.

Intuitive Bedienung wird gelobt

Die allgemeine Interaktion wurde von den Probanden als intuitiv bewertet, wobei die Blicksteuerung besonders gelobt wurde und von den meisten Testern gegenüber der Gesten- oder Sprachsteuerung bevorzugt wurde. Während der Wartung der Batterie half die direkte Überlagerung mit relevanten Informationen, bestimmte Bauteile zu identifizieren.

Zusätzlich wurden Animationen zur besseren Veranschaulichung von Montageaufgaben positiv bewertet. Allerdings gab es Unsicherheiten bei der Bedienung mittels Gestensteuerung. Aus diesem Grund entwickelte das Forscherteam neben den Demonstratoren auch eine Lernanwendung, die Nutzern mithilfe entsprechender Animationen grundlegende Gesten und Interaktionstechniken vermittelt.

So soll es weitergehen

Im nächsten Schritt wird angestrebt, die Dokumentation und Notizen über den Arbeitsfortschritt und die Ergebnisse digital festzuhalten. Zudem soll es möglich sein, Experten hinzuzuschalten. Dabei liegt der Fokus auf der Interaktion zwischen den Teilnehmern, insbesondere im Bereich der Fernwartung. Neben den bereits analysierten Anwendungsfällen planen die Forscherinnen und Forscher, weitere Einsatzgebiete zu untersuchen.

Denn auch in anderen Branchen können Wartung und Reparatur von der Nutzung von Augmented Reality profitieren. Dies könnte beispielsweise im Energiesektor dazu beitragen, den Fachkräftemangel zu kompensieren. AR könnte weniger erfahrene Techniker beim Einbau von Wärmepumpen unterstützen, da die dreidimensionalen Schritt-für-Schritt-Anleitungen auch Einsteiger sicher durch die Wartungsaufgaben führen können.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.