Künstliche Intelligenz in der Robotik 05.05.2023, 12:30 Uhr

Räumliche KI in der Robotik: Wie Drohnen durch anspruchsvolle Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger an der TU München erforscht, wie Künstliche Intelligenz den autonomen Betrieb von Robotern ermöglicht. Das Team entwickelt Algorithmen und Software, damit Drohnen ihre Umgebung in 3D erfassen und sicher durch anspruchsvolle Umgebungen navigieren können – sogar in Interaktion mit Menschen.

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor. Foto: Andreas Heddergott / TU Muenchen

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor.

Foto: Andreas Heddergott / TU Muenchen

Viele sprechen jetzt von künstlicher Intelligenz, die spricht, schreibt und Aufgaben erledigt. Teilweise hat man den Eindruck, mit einem echten Menschen zu kommunizieren. Aber kann sich Künstliche Intelligenz eigentlich in einem Raum genauso wie ein Mensch orientieren?

Menschen haben die Fähigkeit, ihre Umgebung dreidimensional wahrzunehmen und potenziell gefährliche Situationen schnell zu erkennen. Wir nehmen Objekte in unserer Umgebung automatisch wahr, können ihre Eigenschaften einschätzen, Abstände und Gefahren erkennen und gegebenenfalls mit anderen Menschen interagieren. Wie würde die KI in diesem Fall vorgehen?

Top Stellenangebote

Zur Jobbörse
Max Bögl Bauservice GmbH & Co. KG-Firmenlogo
Arbeitsvorbereiter / Bauleiter (m/w/d) Ingenieurbau Hamburg Max Bögl Bauservice GmbH & Co. KG
Hamburg Zum Job 
Max Bögl Bauservice GmbH & Co. KG-Firmenlogo
Bauingenieur / Wirtschaftsingenieur (Bau) / Bautechniker (m/w/d) im Technischen Projektmanagement Hochbau Max Bögl Bauservice GmbH & Co. KG
verschiedene Standorte Zum Job 
Max Bögl Bauservice GmbH & Co. KG-Firmenlogo
Bauingenieur / Referent (m/w/d) für RIB iTWO Max Bögl Bauservice GmbH & Co. KG
Sengenthal Zum Job 
VISPIRON SYSTEMS-Firmenlogo
Fahrzeugtechniker (m/w/d) Fahrzeugintensivtest VISPIRON SYSTEMS
München Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Leiter:in Automatisierungs-/ Prozessleittechnik (w/m/d) Berliner Wasserbetriebe
Albemarle Germany GmbH-Firmenlogo
Techniker / Ingenieur Mess- und Elektrotechnik (m/w/d) Albemarle Germany GmbH
Langelsheim Zum Job 
Deutsche Rentenversicherung Bund-Firmenlogo
Ingenieur*in Elektrotechnik Starkstrom Energieeffizienz (m/w/div) Deutsche Rentenversicherung Bund
N-ERGIE Netz GmbH-Firmenlogo
Ingenieur (m/w/d) für Qualitäts- und Bilanzkreismanagement N-ERGIE Netz GmbH
Nürnberg Zum Job 
Helvetia Schweizerische Versicherungsgesellschaft AG-Firmenlogo
Risk Engineer (m/w/d) Brandschutz Helvetia Schweizerische Versicherungsgesellschaft AG
Notarkasse Anstalt des öffentlichen Rechts-Firmenlogo
Werkstudent (m/w/d) der Fachrichtung Architektur / Bauingenieurwesen Notarkasse Anstalt des öffentlichen Rechts
München Zum Job 
Forschungszentrum Jülich GmbH-Firmenlogo
Teamleitung - Komplexitätsmanagement in Energiesystemmodellen zur Planung einer erfolgreichen Energiewende (w/m/d) Forschungszentrum Jülich GmbH
Jülich bei Köln Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Techniker (m/w/d) im Bereich Verkehrsleittechnik und WAN-Netz Die Autobahn GmbH des Bundes
Frankfurt am Main Zum Job 
GWH Wohnungsgesellschaft mbH Hessen-Firmenlogo
Technischer Projektmanager Versorgungstechnik / TGA (m⁠/⁠w⁠/⁠d) GWH Wohnungsgesellschaft mbH Hessen
Frankfurt am Main Zum Job 
BRUNATA-METRONA GmbH & Co. KG-Firmenlogo
Projektleiter Großprojekte (m/w/d) BRUNATA-METRONA GmbH & Co. KG
München Zum Job 
Stadtwerke München GmbH-Firmenlogo
Strategische*r Einkäufer*in Anlagenbau (m/w/d) Stadtwerke München GmbH
München Zum Job 
über ifp | Executive Search. Management Diagnostik.-Firmenlogo
Werkleiter:in über ifp | Executive Search. Management Diagnostik.
Wolfsburg Zum Job 
TB & C hybrid technologies GmbH-Firmenlogo
Produktingenieur (m/w/d) TB & C hybrid technologies GmbH
Herborn Zum Job 
Stadtwerke Verkehrsgesellschaft Frankfurt am Main mbH-Firmenlogo
Teamleitung Planung Verkehrsinfrastruktur (d/m/w) Stadtwerke Verkehrsgesellschaft Frankfurt am Main mbH
Frankfurt am Main Zum Job 
TB & C hybrid technologies GmbH-Firmenlogo
Entwicklungsingenieur (m/w/d) TB & C hybrid technologies GmbH
Herborn Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Ingenieur:in Anlagentechnik Auftragsprüfung / Klärwerk Wansdorf (w/m/d) Berliner Wasserbetriebe
Schönwalde-Glien Zum Job 

Roboter durch komplexe Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger von der TU München beschäftigt sich mit der mobilen Robotik und legt dabei einen Schwerpunkt auf die Navigation von Robotern in potenziell unbekannten Umgebungen. Das Team entwickelt Algorithmen und Software, die es Drohnen und anderen Robotern ermöglichen, unter Verwendung von Sensordaten wie Videos nicht nur die 3D-Struktur der Umgebung zu erkennen, sondern auch diese mittels moderner maschineller Lernmethoden wie Deep Learning zu kategorisieren. Das Ziel ist es, dass Roboter in der Lage sind, durch komplexe Umgebungen zu navigieren und dabei auch mit Menschen interagieren zu können.

Laut Stefan Leutenegger ist es wichtig, eine kohärente 3D-Repräsentation der Umgebung zu haben, ein einheitliches Gesamtbild. Eine wichtige Aufgabe des Professors für maschinelles Lernen in der Robotik an der TUM und Leiter des Innovationsfelds künstliche Intelligenz im Munich Institute of Robotics and Machine Intelligence (MIRMI) besteht darin, Drohnen in die Lage zu versetzen, statische von dynamischen Elementen zu unterscheiden und andere Akteure zu erkennen.

Was ist Spatial AI?

Um räumliche künstliche Intelligenz zu erreichen, ist es erforderlich, dass ein System sich im Raum orientieren und eine Karte erstellen kann. Mithilfe neuronaler Netze kann das System lernen, Objekte im Raum in drei Dimensionen zu erkennen. Professor Stefan Leutenegger bezeichnet diese Fähigkeit als räumliche künstliche Intelligenz oder Spatial AI. In Zukunft wird dieser Ansatz eingesetzt werden, um Wälder zu kartieren, Schiffe zu inspizieren und Mauern zu bauen.

Um einer Drohne die Fähigkeit zu geben, durch einen Wald zu fliegen, ohne gegen feine Äste zu stoßen, dreidimensional zu drucken oder Laderäume von Schiffen zu inspizieren, setzt Leutenegger auf „Spatial AI“. Dieser Ansatz zur räumlichen künstlichen Intelligenz besteht aus mehreren Bausteinen, die je nach spezifischer Aufgabe angepasst werden müssen.

Der erste Schritt: Position des Roboters im Raum abschätzen

Der erste Schritt besteht darin, die Position des Roboters im Raum abzuschätzen und eine Karte zu erstellen. Die Wahl der Sensoren ist dabei sehr wichtig. Leutenegger nutzt dafür eine oder zwei Kameras, um die Umgebung der Drohne zu erfassen. Um eine Tiefenwahrnehmung zu erhalten, werden die Bilder der beiden Kameras miteinander verglichen. Alternativ gibt es auch Tiefenkameras, die das Bild in drei Dimensionen direkt ausgeben können. Zusätzlich werden Inertial- oder Trägheitssensoren eingesetzt, um die Bewegung des Roboters im Raum zu messen. Zudem erfassen sie die Beschleunigung und Winkelgeschwindigkeit und ermöglichen eine genaue Erfassung der Bewegung des Roboters.

Laut Leutenegger sind visuelle und inertiale Sensoren eine perfekte Ergänzung. Durch die Fusion ihrer Daten entsteht ein sehr genaues Bild von der Bewegung der Drohne und der statischen Umgebung, was es dem Gesamtsystem ermöglicht, seine Position im Raum einzuschätzen. Dies ist eine wichtige Voraussetzung für den autonomen Einsatz von Robotern. Zusätzlich kann die statische Umgebung sehr detailliert und präzise kartiert werden, um Hindernissen auszuweichen. In diesem Zusammenhang kommen zunächst mathematische und probabilistische Modelle aus der Wahrscheinlichkeitsrechnung zum Einsatz, und nicht Künstliche Intelligenz. Daher bezeichnet Leutenegger dies als das unterste Level von „Spatial AI“.

Der zweite Schritt: Umgebung semantisch erfassen

Im zweiten Schritt der räumlichen KI spielt Künstliche Intelligenz in Form von neuronalen Netzwerken eine wichtige Rolle, um die Umgebung semantisch zu erfassen. Das Ziel besteht darin, die Umgebung um den Roboter besser zu verstehen. Mittels Deep Learning können neuronale Netze 2D-Bilder analysieren und digitale Karten erstellen, auf denen für Menschen verständliche Kategorien zu erkennen sind.

Eine weitere Herausforderung besteht darin, Objekte oder Teile davon zu erkennen, selbst wenn sie sich bewegen.

Drei Forschungsprojekte mit räumlichen KI-Einsatz

Derzeit gibt es drei Forschungsprojekte, in denen räumliche künstliche Intelligenz eingesetzt wird.

  • Im Projekt SPAICR des Georg Nemetschek Instituts soll ein mobiler Roboter ohne Motion Tracking eingesetzt werden, um Strukturen wie Mauern auf- und abzubauen.
  • Im EU-Projekt Digiforest soll die Waldkartierung mithilfe von KI-Drohnen der TUM, die autonom durch den Wald fliegen, realisiert werden. Ziel ist es, Förster mit zusätzlichen Informationen zur Entscheidungsfindung zu unterstützen.
  • Im EU-Projekt AUTOASSESS sollen Drohnen mit Ultraschallsensoren ausgestattet werden, um Risse in den Innenwänden von Tankern und Frachtern zu erkennen. Dabei sollen die Drohnen autonom im Innenraum agieren können, auch bei schlechter Funkverbindung und ohne Motion Tracking.

Ein Beitrag von:

  • Alexandra Ilina

    Redakteurin beim VDI-Verlag. Nach einem Journalistik-Studium an der TU-Dortmund und Volontariat ist sie seit mehreren Jahren als Social Media Managerin, Redakteurin und Buchautorin unterwegs.  Sie schreibt über Karriere und Technik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.