Künstliche Intelligenz in der Robotik 05.05.2023, 12:30 Uhr

Räumliche KI in der Robotik: Wie Drohnen durch anspruchsvolle Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger an der TU München erforscht, wie Künstliche Intelligenz den autonomen Betrieb von Robotern ermöglicht. Das Team entwickelt Algorithmen und Software, damit Drohnen ihre Umgebung in 3D erfassen und sicher durch anspruchsvolle Umgebungen navigieren können – sogar in Interaktion mit Menschen.

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor. Foto: Andreas Heddergott / TU Muenchen

Prof. Stefan Leutenegger mit seiner Hightech-Drohne im Labor.

Foto: Andreas Heddergott / TU Muenchen

Viele sprechen jetzt von künstlicher Intelligenz, die spricht, schreibt und Aufgaben erledigt. Teilweise hat man den Eindruck, mit einem echten Menschen zu kommunizieren. Aber kann sich Künstliche Intelligenz eigentlich in einem Raum genauso wie ein Mensch orientieren?

Menschen haben die Fähigkeit, ihre Umgebung dreidimensional wahrzunehmen und potenziell gefährliche Situationen schnell zu erkennen. Wir nehmen Objekte in unserer Umgebung automatisch wahr, können ihre Eigenschaften einschätzen, Abstände und Gefahren erkennen und gegebenenfalls mit anderen Menschen interagieren. Wie würde die KI in diesem Fall vorgehen?

Roboter durch komplexe Umgebungen navigieren

Der Lehrstuhl von Prof. Stefan Leutenegger von der TU München beschäftigt sich mit der mobilen Robotik und legt dabei einen Schwerpunkt auf die Navigation von Robotern in potenziell unbekannten Umgebungen. Das Team entwickelt Algorithmen und Software, die es Drohnen und anderen Robotern ermöglichen, unter Verwendung von Sensordaten wie Videos nicht nur die 3D-Struktur der Umgebung zu erkennen, sondern auch diese mittels moderner maschineller Lernmethoden wie Deep Learning zu kategorisieren. Das Ziel ist es, dass Roboter in der Lage sind, durch komplexe Umgebungen zu navigieren und dabei auch mit Menschen interagieren zu können.

Laut Stefan Leutenegger ist es wichtig, eine kohärente 3D-Repräsentation der Umgebung zu haben, ein einheitliches Gesamtbild. Eine wichtige Aufgabe des Professors für maschinelles Lernen in der Robotik an der TUM und Leiter des Innovationsfelds künstliche Intelligenz im Munich Institute of Robotics and Machine Intelligence (MIRMI) besteht darin, Drohnen in die Lage zu versetzen, statische von dynamischen Elementen zu unterscheiden und andere Akteure zu erkennen.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
BG ETEM-Firmenlogo
Aufsichtsperson I (m/w/d) nach § 18 SGB VII für die Region Rheine, Nordhorn und Lingen BG ETEM
Region Lingen, Rheine, Nordhorn Zum Job 
Industriepark Nienburg GmbH-Firmenlogo
Ingenieur (m/w/d) Elektrotechnik als Leiter Elektrotechnik & Automation Industriepark Nienburg GmbH
Nienburg Zum Job 
Evonik Operations GmbH-Firmenlogo
EMR-Anlageningenieur (m/w/d) mit Sonderqualifikation Evonik Operations GmbH
Rheinfelden (Baden) Zum Job 
CR3-Kaffeeveredelung M. Hermsen GmbH-Firmenlogo
Projektleiter (m/w/d) Elektrotechnik CR3-Kaffeeveredelung M. Hermsen GmbH
THU Technische Hochschule Ulm-Firmenlogo
Laboringenieur*in (w/m/d) mit Leitungsfunktion am Institut für Automatisierungssysteme THU Technische Hochschule Ulm
Zweckverband Bodensee-Wasserversorgung-Firmenlogo
Ingenieur (m/w/d) für Automatisierungstechnik SPS / OT-Sicherheit Zweckverband Bodensee-Wasserversorgung
Sipplingen Zum Job 
B. Braun Melsungen AG-Firmenlogo
Senior Prozess Experte (w/m/d) Reinmedien / Einwaage / Ansatz B. Braun Melsungen AG
Melsungen Zum Job 
Deutsches Zentrum für Luft- und Raumfahrt e. V.-Firmenlogo
Versorgungsingenieur/in, Elektroingenieur/in o. ä. (w/m/d) Projektsteuerung von Baumaßnahmen Deutsches Zentrum für Luft- und Raumfahrt e. V.
Deutsches Zentrum für Luft- und Raumfahrt e. V.-Firmenlogo
Versorgungsingenieur/in, Elektroingenieur/in o. ä. (w/m/d) Projektsteuerung von Baumaßnahmen Deutsches Zentrum für Luft- und Raumfahrt e. V.
Cottbus Zum Job 
Polizei Berlin-Firmenlogo
Ingenieurin / Ingenieur der Fachrichtung Elektro-/Gebäudetechnik (w/m/d) als Sicherheitsbeauftragte / Sicherheitsbeauftragter und technische Sachbearbeitung nutzerspezifischer Anlagen (w/m/d) Polizei Berlin
Technische Universität Berlin-Firmenlogo
Ingenieur*in (d/m/w) Elektrotechnik - Entgeltgruppe 12 TV-L Berliner Hochschulen - Technische*r Beschäftigte*r (d/m/w) Technische Universität Berlin
AGR Betriebsführung GmbH-Firmenlogo
Ingenieur Leittechnik (m/w/d) AGR Betriebsführung GmbH
Fresenius Kabi Deutschland GmbH-Firmenlogo
Automatisierungstechniker (m/w/d) Fresenius Kabi Deutschland GmbH
Friedberg (Hessen) Zum Job 
Siltronic AG-Firmenlogo
Ingenieur (m/w/d) Elektro- / Energietechnik Siltronic AG
Burghausen Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
Lincoln Electric GmbH-Firmenlogo
Schweißfachingenieur / Schweißtechniker (m/w/d) Lincoln Electric GmbH
Evonik Operations GmbH-Firmenlogo
Ingenieur (m/w/d) Informatik / Elektrotechnik / Automatisierungstechnik / Chemische Produktion Evonik Operations GmbH
VIVAVIS AG-Firmenlogo
Partner-Manager Metering (m/w/d) VIVAVIS AG
Koblenz, Home-Office Zum Job 
HAMBURG WASSER-Firmenlogo
Ingenieur (m/w/d) Elektrotechnik/ Automatisierungstechnik HAMBURG WASSER
Hamburg Zum Job 
Universität Münster-Firmenlogo
Ingenieur*in / Techniker*in Elektrotechnik Universität Münster
Münster Zum Job 

Was ist Spatial AI?

Um räumliche künstliche Intelligenz zu erreichen, ist es erforderlich, dass ein System sich im Raum orientieren und eine Karte erstellen kann. Mithilfe neuronaler Netze kann das System lernen, Objekte im Raum in drei Dimensionen zu erkennen. Professor Stefan Leutenegger bezeichnet diese Fähigkeit als räumliche künstliche Intelligenz oder Spatial AI. In Zukunft wird dieser Ansatz eingesetzt werden, um Wälder zu kartieren, Schiffe zu inspizieren und Mauern zu bauen.

Um einer Drohne die Fähigkeit zu geben, durch einen Wald zu fliegen, ohne gegen feine Äste zu stoßen, dreidimensional zu drucken oder Laderäume von Schiffen zu inspizieren, setzt Leutenegger auf „Spatial AI“. Dieser Ansatz zur räumlichen künstlichen Intelligenz besteht aus mehreren Bausteinen, die je nach spezifischer Aufgabe angepasst werden müssen.

Der erste Schritt: Position des Roboters im Raum abschätzen

Der erste Schritt besteht darin, die Position des Roboters im Raum abzuschätzen und eine Karte zu erstellen. Die Wahl der Sensoren ist dabei sehr wichtig. Leutenegger nutzt dafür eine oder zwei Kameras, um die Umgebung der Drohne zu erfassen. Um eine Tiefenwahrnehmung zu erhalten, werden die Bilder der beiden Kameras miteinander verglichen. Alternativ gibt es auch Tiefenkameras, die das Bild in drei Dimensionen direkt ausgeben können. Zusätzlich werden Inertial- oder Trägheitssensoren eingesetzt, um die Bewegung des Roboters im Raum zu messen. Zudem erfassen sie die Beschleunigung und Winkelgeschwindigkeit und ermöglichen eine genaue Erfassung der Bewegung des Roboters.

Laut Leutenegger sind visuelle und inertiale Sensoren eine perfekte Ergänzung. Durch die Fusion ihrer Daten entsteht ein sehr genaues Bild von der Bewegung der Drohne und der statischen Umgebung, was es dem Gesamtsystem ermöglicht, seine Position im Raum einzuschätzen. Dies ist eine wichtige Voraussetzung für den autonomen Einsatz von Robotern. Zusätzlich kann die statische Umgebung sehr detailliert und präzise kartiert werden, um Hindernissen auszuweichen. In diesem Zusammenhang kommen zunächst mathematische und probabilistische Modelle aus der Wahrscheinlichkeitsrechnung zum Einsatz, und nicht Künstliche Intelligenz. Daher bezeichnet Leutenegger dies als das unterste Level von „Spatial AI“.

Der zweite Schritt: Umgebung semantisch erfassen

Im zweiten Schritt der räumlichen KI spielt Künstliche Intelligenz in Form von neuronalen Netzwerken eine wichtige Rolle, um die Umgebung semantisch zu erfassen. Das Ziel besteht darin, die Umgebung um den Roboter besser zu verstehen. Mittels Deep Learning können neuronale Netze 2D-Bilder analysieren und digitale Karten erstellen, auf denen für Menschen verständliche Kategorien zu erkennen sind.

Eine weitere Herausforderung besteht darin, Objekte oder Teile davon zu erkennen, selbst wenn sie sich bewegen.

Drei Forschungsprojekte mit räumlichen KI-Einsatz

Derzeit gibt es drei Forschungsprojekte, in denen räumliche künstliche Intelligenz eingesetzt wird.

  • Im Projekt SPAICR des Georg Nemetschek Instituts soll ein mobiler Roboter ohne Motion Tracking eingesetzt werden, um Strukturen wie Mauern auf- und abzubauen.
  • Im EU-Projekt Digiforest soll die Waldkartierung mithilfe von KI-Drohnen der TUM, die autonom durch den Wald fliegen, realisiert werden. Ziel ist es, Förster mit zusätzlichen Informationen zur Entscheidungsfindung zu unterstützen.
  • Im EU-Projekt AUTOASSESS sollen Drohnen mit Ultraschallsensoren ausgestattet werden, um Risse in den Innenwänden von Tankern und Frachtern zu erkennen. Dabei sollen die Drohnen autonom im Innenraum agieren können, auch bei schlechter Funkverbindung und ohne Motion Tracking.

Ein Beitrag von:

  • Alexandra Ilina

    Redakteurin beim VDI-Verlag. Nach einem Journalistik-Studium an der TU-Dortmund und Volontariat ist sie seit mehreren Jahren als Social Media Managerin, Redakteurin und Buchautorin unterwegs.  Sie schreibt über Karriere und Technik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.