Künstliche Intelligenz in der Robotik 05.05.2023, 12:30 Uhr

Räumliche KI in der Robotik: Wie Drohnen durch anspruchsvolle Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger an der TU München erforscht, wie Künstliche Intelligenz den autonomen Betrieb von Robotern ermöglicht. Das Team entwickelt Algorithmen und Software, damit Drohnen ihre Umgebung in 3D erfassen und sicher durch anspruchsvolle Umgebungen navigieren können – sogar in Interaktion mit Menschen.

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor. Foto: Andreas Heddergott / TU Muenchen

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor.

Foto: Andreas Heddergott / TU Muenchen

Viele sprechen jetzt von künstlicher Intelligenz, die spricht, schreibt und Aufgaben erledigt. Teilweise hat man den Eindruck, mit einem echten Menschen zu kommunizieren. Aber kann sich Künstliche Intelligenz eigentlich in einem Raum genauso wie ein Mensch orientieren?

Menschen haben die Fähigkeit, ihre Umgebung dreidimensional wahrzunehmen und potenziell gefährliche Situationen schnell zu erkennen. Wir nehmen Objekte in unserer Umgebung automatisch wahr, können ihre Eigenschaften einschätzen, Abstände und Gefahren erkennen und gegebenenfalls mit anderen Menschen interagieren. Wie würde die KI in diesem Fall vorgehen?

Top Stellenangebote

Zur Jobbörse
naturenergie netze GmbH-Firmenlogo
Ingenieur (m/w/d) als Referent der Geschäftsführung naturenergie netze GmbH
Rheinfelden (Baden) Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieurin oder Ingenieur Entwurf Konstruktiver Ingenieurbau (w/m/d) Die Autobahn GmbH des Bundes
Hannover Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur/in als Experte / Expertin Prüfstatik und Nachrechnung (w/m/d) Die Autobahn GmbH des Bundes
Hannover Zum Job 
Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF-Firmenlogo
Gruppenleiter*in Präzisionssysteme Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF
Stadtwerke Potsdam GmbH-Firmenlogo
Bauingenieur/Bauleiter/Projektleiter (m/w/d) Wasserwirtschaft Stadtwerke Potsdam GmbH
Potsdam Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur / Verwaltungsfachwirt (w/m/d) als Ansprechpartner für Vergabeverfahren von Bauleistungen - Schwerpunkt Vergabemanagementsystem Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Teamleitung (w/m/d) für den Konstruktiven Ingenieurbau Die Autobahn GmbH des Bundes
TÜV Technische Überwachung Hessen GmbH-Firmenlogo
Auditor (m/w/d) ISO 14001 und ISO 50001 TÜV Technische Überwachung Hessen GmbH
deutschlandweit Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) Schwerpunkt Betreuung und Beratung zur Planung von Autobahnprojekten Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (m/w/d) im Bereich Straßenbau Die Autobahn GmbH des Bundes
Dillenburg Zum Job 
SPRiNTUS GmbH-Firmenlogo
Leiter Qualität und Service (m/w/d) SPRiNTUS GmbH
Welzheim Zum Job 
Hochschule Nordhausen-Firmenlogo
Professur für "Maschinenbau/Konstruktion" (W2) (m/w/d) Hochschule Nordhausen
Nordhausen Zum Job 
Almatechnik TDF-Firmenlogo
Conseiller/ère technique (h/f/d) Almatechnik TDF
Raum Romandie (Schweiz) Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) Konstruktiver Ingenieurbau Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Straßenbau Die Autobahn GmbH des Bundes
Vermögen und Bau Baden-Württemberg-Firmenlogo
Master / Diplom-Ingenieure (m/w/d) der Fachrichtung Architektur Vermögen und Bau Baden-Württemberg
Hamamatsu Photonics Deutschland GmbH-Firmenlogo
Technical Service Engineer (m/w/d) für Mikroskopie-Systeme im Halbleiter- und Life-Science Bereich Hamamatsu Photonics Deutschland GmbH
Raum Halle/Leipzig Zum Job 
Vizona GmbH-Firmenlogo
Technical Project Manager (m/w/d) Ladenbauprojekte Vizona GmbH
Weil am Rhein Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) Planung Die Autobahn GmbH des Bundes
ProMinent GmbH-Firmenlogo
Head of Group Finance & Accounting (m/w/d) ProMinent GmbH
Heidelberg Zum Job 

Roboter durch komplexe Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger von der TU München beschäftigt sich mit der mobilen Robotik und legt dabei einen Schwerpunkt auf die Navigation von Robotern in potenziell unbekannten Umgebungen. Das Team entwickelt Algorithmen und Software, die es Drohnen und anderen Robotern ermöglichen, unter Verwendung von Sensordaten wie Videos nicht nur die 3D-Struktur der Umgebung zu erkennen, sondern auch diese mittels moderner maschineller Lernmethoden wie Deep Learning zu kategorisieren. Das Ziel ist es, dass Roboter in der Lage sind, durch komplexe Umgebungen zu navigieren und dabei auch mit Menschen interagieren zu können.

Laut Stefan Leutenegger ist es wichtig, eine kohärente 3D-Repräsentation der Umgebung zu haben, ein einheitliches Gesamtbild. Eine wichtige Aufgabe des Professors für maschinelles Lernen in der Robotik an der TUM und Leiter des Innovationsfelds künstliche Intelligenz im Munich Institute of Robotics and Machine Intelligence (MIRMI) besteht darin, Drohnen in die Lage zu versetzen, statische von dynamischen Elementen zu unterscheiden und andere Akteure zu erkennen.

Was ist Spatial AI?

Um räumliche künstliche Intelligenz zu erreichen, ist es erforderlich, dass ein System sich im Raum orientieren und eine Karte erstellen kann. Mithilfe neuronaler Netze kann das System lernen, Objekte im Raum in drei Dimensionen zu erkennen. Professor Stefan Leutenegger bezeichnet diese Fähigkeit als räumliche künstliche Intelligenz oder Spatial AI. In Zukunft wird dieser Ansatz eingesetzt werden, um Wälder zu kartieren, Schiffe zu inspizieren und Mauern zu bauen.

Um einer Drohne die Fähigkeit zu geben, durch einen Wald zu fliegen, ohne gegen feine Äste zu stoßen, dreidimensional zu drucken oder Laderäume von Schiffen zu inspizieren, setzt Leutenegger auf „Spatial AI“. Dieser Ansatz zur räumlichen künstlichen Intelligenz besteht aus mehreren Bausteinen, die je nach spezifischer Aufgabe angepasst werden müssen.

Der erste Schritt: Position des Roboters im Raum abschätzen

Der erste Schritt besteht darin, die Position des Roboters im Raum abzuschätzen und eine Karte zu erstellen. Die Wahl der Sensoren ist dabei sehr wichtig. Leutenegger nutzt dafür eine oder zwei Kameras, um die Umgebung der Drohne zu erfassen. Um eine Tiefenwahrnehmung zu erhalten, werden die Bilder der beiden Kameras miteinander verglichen. Alternativ gibt es auch Tiefenkameras, die das Bild in drei Dimensionen direkt ausgeben können. Zusätzlich werden Inertial- oder Trägheitssensoren eingesetzt, um die Bewegung des Roboters im Raum zu messen. Zudem erfassen sie die Beschleunigung und Winkelgeschwindigkeit und ermöglichen eine genaue Erfassung der Bewegung des Roboters.

Laut Leutenegger sind visuelle und inertiale Sensoren eine perfekte Ergänzung. Durch die Fusion ihrer Daten entsteht ein sehr genaues Bild von der Bewegung der Drohne und der statischen Umgebung, was es dem Gesamtsystem ermöglicht, seine Position im Raum einzuschätzen. Dies ist eine wichtige Voraussetzung für den autonomen Einsatz von Robotern. Zusätzlich kann die statische Umgebung sehr detailliert und präzise kartiert werden, um Hindernissen auszuweichen. In diesem Zusammenhang kommen zunächst mathematische und probabilistische Modelle aus der Wahrscheinlichkeitsrechnung zum Einsatz, und nicht Künstliche Intelligenz. Daher bezeichnet Leutenegger dies als das unterste Level von „Spatial AI“.

Der zweite Schritt: Umgebung semantisch erfassen

Im zweiten Schritt der räumlichen KI spielt Künstliche Intelligenz in Form von neuronalen Netzwerken eine wichtige Rolle, um die Umgebung semantisch zu erfassen. Das Ziel besteht darin, die Umgebung um den Roboter besser zu verstehen. Mittels Deep Learning können neuronale Netze 2D-Bilder analysieren und digitale Karten erstellen, auf denen für Menschen verständliche Kategorien zu erkennen sind.

Eine weitere Herausforderung besteht darin, Objekte oder Teile davon zu erkennen, selbst wenn sie sich bewegen.

Drei Forschungsprojekte mit räumlichen KI-Einsatz

Derzeit gibt es drei Forschungsprojekte, in denen räumliche künstliche Intelligenz eingesetzt wird.

  • Im Projekt SPAICR des Georg Nemetschek Instituts soll ein mobiler Roboter ohne Motion Tracking eingesetzt werden, um Strukturen wie Mauern auf- und abzubauen.
  • Im EU-Projekt Digiforest soll die Waldkartierung mithilfe von KI-Drohnen der TUM, die autonom durch den Wald fliegen, realisiert werden. Ziel ist es, Förster mit zusätzlichen Informationen zur Entscheidungsfindung zu unterstützen.
  • Im EU-Projekt AUTOASSESS sollen Drohnen mit Ultraschallsensoren ausgestattet werden, um Risse in den Innenwänden von Tankern und Frachtern zu erkennen. Dabei sollen die Drohnen autonom im Innenraum agieren können, auch bei schlechter Funkverbindung und ohne Motion Tracking.

Ein Beitrag von:

  • Alexandra Ilina

    Redakteurin beim VDI-Verlag. Nach einem Journalistik-Studium an der TU-Dortmund und Volontariat ist sie seit mehreren Jahren als Social Media Managerin, Redakteurin und Buchautorin unterwegs.  Sie schreibt über Karriere und Technik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.