Künstliche Intelligenz in der Robotik 05.05.2023, 12:30 Uhr

Räumliche KI in der Robotik: Wie Drohnen durch anspruchsvolle Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger an der TU München erforscht, wie Künstliche Intelligenz den autonomen Betrieb von Robotern ermöglicht. Das Team entwickelt Algorithmen und Software, damit Drohnen ihre Umgebung in 3D erfassen und sicher durch anspruchsvolle Umgebungen navigieren können – sogar in Interaktion mit Menschen.

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor. Foto: Andreas Heddergott / TU Muenchen

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor.

Foto: Andreas Heddergott / TU Muenchen

Viele sprechen jetzt von künstlicher Intelligenz, die spricht, schreibt und Aufgaben erledigt. Teilweise hat man den Eindruck, mit einem echten Menschen zu kommunizieren. Aber kann sich Künstliche Intelligenz eigentlich in einem Raum genauso wie ein Mensch orientieren?

Menschen haben die Fähigkeit, ihre Umgebung dreidimensional wahrzunehmen und potenziell gefährliche Situationen schnell zu erkennen. Wir nehmen Objekte in unserer Umgebung automatisch wahr, können ihre Eigenschaften einschätzen, Abstände und Gefahren erkennen und gegebenenfalls mit anderen Menschen interagieren. Wie würde die KI in diesem Fall vorgehen?

Top Stellenangebote

Zur Jobbörse
Stadtbetrieb Wetter (Ruhr)-Firmenlogo
Bauingenieur/in (m/w/d) Fachrichtung Tiefbau / Straßenbau Stadtbetrieb Wetter (Ruhr)
Wetter (Ruhr) Zum Job 
Stadtwerke München GmbH-Firmenlogo
Brandschutzbeauftragte*r mit Zusatzfunktionen Tram (m/w/d) Stadtwerke München GmbH
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Planungsingenieur (w/m/d) Streckenplanung Die Autobahn GmbH des Bundes
Uwe Wenzel WW-Personalkonzepte e.K.-Firmenlogo
Entwicklungsingenieur (m/w/d) Wärmepumpensysteme und Regelungen Uwe Wenzel WW-Personalkonzepte e.K.
Großraum Hamburg Zum Job 
Landeshauptstadt München-Firmenlogo
Verkehrsingenieur*innen für die Verkehrswende (w/m/d) Landeshauptstadt München
München Zum Job 
Framatome-Firmenlogo
Ingenieur (m/w/d) für nukleare Entsorgung Framatome
Karlstein am Main, Erlangen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Bauwerksprüfer (w/m/d) Die Autobahn GmbH des Bundes
Berliner Stadtreinigungsbetriebe (BSR)-Firmenlogo
Projektingenieurin / Projektingenieur (w/m/d) Verfahrenstechnik Berliner Stadtreinigungsbetriebe (BSR)
Technische Universität Graz-Firmenlogo
Universitätsprofessur für Nachhaltige Antriebssysteme und angewandte Thermodynamik (m/w/d) Technische Universität Graz
Graz (Österreich) Zum Job 
Berliner Stadtreinigungsbetriebe (BSR)-Firmenlogo
Projektingenieurin / Projektingenieur (w/m/d) Elektrotechnik Berliner Stadtreinigungsbetriebe (BSR)
Lübeck Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
(Umwelt-)Ingenieur (w/m/d) für Boden, Abfall, Altlasten und Georisiken Die Autobahn GmbH des Bundes
Nürnberg Zum Job 
Fuest Familienstiftung-Firmenlogo
Bauzeichner, Bautechniker oder Innenarchitekt (m/w/d) Fuest Familienstiftung
Timm Technology GmbH-Firmenlogo
Sales Manager / Vertriebsingenieur (m/w/d) Timm Technology GmbH
Reinbek Zum Job 
Caljan GmbH-Firmenlogo
Maschinenbauingenieur / Konstrukteur Sondermaschinenbau (m/w/d) Caljan GmbH
Halle (Westfalen) Zum Job 
Stadtwerke München GmbH-Firmenlogo
(Senior) Projektmanager*in Niederspannung (m/w/d) Stadtwerke München GmbH
München Zum Job 
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Ingenieur* Produktmanagement für Navigationsdienste DFS Deutsche Flugsicherung GmbH
Langen (Hessen) Zum Job 
VAHLE-Firmenlogo
Ingenieur Automatisierungs- und Steuerungstechnik (m/w/d) VAHLE
Kamen, Großraum Dortmund Zum Job 
Grünecker Patent- und Rechtsanwälte PartG mbB-Firmenlogo
Patentingenieur (m/w/d) der Fachrichtung Physik und/oder Elektrotechnik mit der Möglichkeit zur Ausbildung zum "European Patent Attorney (m/w/d/)" Grünecker Patent- und Rechtsanwälte PartG mbB
München Zum Job 
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Flugsicherungsingenieur (w/m/d) DFS Deutsche Flugsicherung GmbH
Grünecker Patent- und Rechtsanwälte PartG mbB-Firmenlogo
Europäischer Patentanwalt (m/w/d) der Fachrichtung Physik, Informatik, Elektrotechnik oder Nachrichtentechnik Grünecker Patent- und Rechtsanwälte PartG mbB
München Zum Job 

Roboter durch komplexe Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger von der TU München beschäftigt sich mit der mobilen Robotik und legt dabei einen Schwerpunkt auf die Navigation von Robotern in potenziell unbekannten Umgebungen. Das Team entwickelt Algorithmen und Software, die es Drohnen und anderen Robotern ermöglichen, unter Verwendung von Sensordaten wie Videos nicht nur die 3D-Struktur der Umgebung zu erkennen, sondern auch diese mittels moderner maschineller Lernmethoden wie Deep Learning zu kategorisieren. Das Ziel ist es, dass Roboter in der Lage sind, durch komplexe Umgebungen zu navigieren und dabei auch mit Menschen interagieren zu können.

Laut Stefan Leutenegger ist es wichtig, eine kohärente 3D-Repräsentation der Umgebung zu haben, ein einheitliches Gesamtbild. Eine wichtige Aufgabe des Professors für maschinelles Lernen in der Robotik an der TUM und Leiter des Innovationsfelds künstliche Intelligenz im Munich Institute of Robotics and Machine Intelligence (MIRMI) besteht darin, Drohnen in die Lage zu versetzen, statische von dynamischen Elementen zu unterscheiden und andere Akteure zu erkennen.

Was ist Spatial AI?

Um räumliche künstliche Intelligenz zu erreichen, ist es erforderlich, dass ein System sich im Raum orientieren und eine Karte erstellen kann. Mithilfe neuronaler Netze kann das System lernen, Objekte im Raum in drei Dimensionen zu erkennen. Professor Stefan Leutenegger bezeichnet diese Fähigkeit als räumliche künstliche Intelligenz oder Spatial AI. In Zukunft wird dieser Ansatz eingesetzt werden, um Wälder zu kartieren, Schiffe zu inspizieren und Mauern zu bauen.

Um einer Drohne die Fähigkeit zu geben, durch einen Wald zu fliegen, ohne gegen feine Äste zu stoßen, dreidimensional zu drucken oder Laderäume von Schiffen zu inspizieren, setzt Leutenegger auf „Spatial AI“. Dieser Ansatz zur räumlichen künstlichen Intelligenz besteht aus mehreren Bausteinen, die je nach spezifischer Aufgabe angepasst werden müssen.

Der erste Schritt: Position des Roboters im Raum abschätzen

Der erste Schritt besteht darin, die Position des Roboters im Raum abzuschätzen und eine Karte zu erstellen. Die Wahl der Sensoren ist dabei sehr wichtig. Leutenegger nutzt dafür eine oder zwei Kameras, um die Umgebung der Drohne zu erfassen. Um eine Tiefenwahrnehmung zu erhalten, werden die Bilder der beiden Kameras miteinander verglichen. Alternativ gibt es auch Tiefenkameras, die das Bild in drei Dimensionen direkt ausgeben können. Zusätzlich werden Inertial- oder Trägheitssensoren eingesetzt, um die Bewegung des Roboters im Raum zu messen. Zudem erfassen sie die Beschleunigung und Winkelgeschwindigkeit und ermöglichen eine genaue Erfassung der Bewegung des Roboters.

Laut Leutenegger sind visuelle und inertiale Sensoren eine perfekte Ergänzung. Durch die Fusion ihrer Daten entsteht ein sehr genaues Bild von der Bewegung der Drohne und der statischen Umgebung, was es dem Gesamtsystem ermöglicht, seine Position im Raum einzuschätzen. Dies ist eine wichtige Voraussetzung für den autonomen Einsatz von Robotern. Zusätzlich kann die statische Umgebung sehr detailliert und präzise kartiert werden, um Hindernissen auszuweichen. In diesem Zusammenhang kommen zunächst mathematische und probabilistische Modelle aus der Wahrscheinlichkeitsrechnung zum Einsatz, und nicht Künstliche Intelligenz. Daher bezeichnet Leutenegger dies als das unterste Level von „Spatial AI“.

Der zweite Schritt: Umgebung semantisch erfassen

Im zweiten Schritt der räumlichen KI spielt Künstliche Intelligenz in Form von neuronalen Netzwerken eine wichtige Rolle, um die Umgebung semantisch zu erfassen. Das Ziel besteht darin, die Umgebung um den Roboter besser zu verstehen. Mittels Deep Learning können neuronale Netze 2D-Bilder analysieren und digitale Karten erstellen, auf denen für Menschen verständliche Kategorien zu erkennen sind.

Eine weitere Herausforderung besteht darin, Objekte oder Teile davon zu erkennen, selbst wenn sie sich bewegen.

Drei Forschungsprojekte mit räumlichen KI-Einsatz

Derzeit gibt es drei Forschungsprojekte, in denen räumliche künstliche Intelligenz eingesetzt wird.

  • Im Projekt SPAICR des Georg Nemetschek Instituts soll ein mobiler Roboter ohne Motion Tracking eingesetzt werden, um Strukturen wie Mauern auf- und abzubauen.
  • Im EU-Projekt Digiforest soll die Waldkartierung mithilfe von KI-Drohnen der TUM, die autonom durch den Wald fliegen, realisiert werden. Ziel ist es, Förster mit zusätzlichen Informationen zur Entscheidungsfindung zu unterstützen.
  • Im EU-Projekt AUTOASSESS sollen Drohnen mit Ultraschallsensoren ausgestattet werden, um Risse in den Innenwänden von Tankern und Frachtern zu erkennen. Dabei sollen die Drohnen autonom im Innenraum agieren können, auch bei schlechter Funkverbindung und ohne Motion Tracking.

Ein Beitrag von:

  • Alexandra Ilina

    Redakteurin beim VDI-Verlag. Nach einem Journalistik-Studium an der TU-Dortmund und Volontariat ist sie seit mehreren Jahren als Social Media Managerin, Redakteurin und Buchautorin unterwegs.  Sie schreibt über Karriere und Technik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.