MIT und TUM wollen Roboter durch unbekannte Umgebungen führen
TUM und MIT bündeln ihre Robotikforschung. Videomodelle und digitale Zwillinge sollen Roboter flexibler und Bauprozesse effizienter machen.
TUM-MIRMI-Forscher Dr. Daniel Dücker (links) mit Forschenden der TUM und des MIT. In der Mitte steht MIT-CSAIL-Direktorin Prof. Daniela Rus. Die beiden Einrichtungen bauen ihre Zusammenarbeit bei KI und Robotik aus.
Foto: TUM
Wie findet ein Roboter seinen Weg, wenn seine Umgebung nicht vollständig bekannt ist? Und wie lassen sich digitale Planung und robotische Fertigung auf einer Baustelle miteinander verbinden? An diesen Fragen wollen künftig Forschende der Technischen Universität München (TUM) und des Massachusetts Institute of Technology (MIT) gemeinsam arbeiten.
Dazu bauen das Munich Institute of Robotics and Machine Intelligence der TUM (TUM MIRMI) und das Computer Science and Artificial Intelligence Laboratory des MIT (MIT CSAIL) ihre Zusammenarbeit aus. Das Bayerische Wissenschaftsministerium fördert die strategische Partnerschaft zunächst mit 1,6 Mio. €.
Geplant sind gemeinsame Forschungs-Tandems. Die beteiligten Wissenschaftlerinnen und Wissenschaftler sollen sich einmal jährlich für jeweils drei Monate an der Partnerinstitution aufhalten, um neue Technologien zu entwickeln, zu testen und zu validieren. Im ersten Schritt konzentriert sich die Zusammenarbeit auf zwei Projekte: KI-gestützte Bewegungsplanung für Roboter und nachhaltige robotische Fertigungsprozesse.
Inhaltsverzeichnis
Videomodelle sollen Roboterbewegungen planen
Das erste Tandem entwickelt KI-Modelle für Robotersysteme, die große Mengen unstrukturierter Sensordaten verarbeiten. Geleitet wird das Projekt von Vincent Sitzmann vom MIT sowie Achim Lilienthal und Daniel Dücker von der TUM.
Zum Einsatz kommen sollen sogenannte Large Video Models. Solche generativen KI-Modelle können räumliche und zeitliche Zusammenhänge aus Bildfolgen ableiten und mögliche weitere Entwicklungen einer Szene erzeugen. In der Robotik könnten sie beispielsweise Bewegungsfolgen darstellen, mit denen ein System ein vorgegebenes Ziel erreicht.
Die Forschenden wollen die Modelle für eine flexible Pfadplanung in komplexen und unbekannten Umgebungen nutzen. Ziel ist eine bessere Generalisierung: Ein Roboter soll sich auch auf Aufgaben und Situationen einstellen können, die nicht exakt seinen Trainingsdaten entsprechen. Welche Modelle und Steuerungsarchitekturen das Tandem konkret einsetzen wird, hat die TUM noch nicht mitgeteilt.
Sitzmanns Forschungsgruppe hat bereits an Verfahren gearbeitet, die Videogenerierung und robotische Planung verbinden. Mit der Methode „Diffusion Forcing“ steuerte das Team unter anderem einen Roboterarm bei mehrstufigen Greifaufgaben. Das System musste dabei trotz zufälliger Ausgangspositionen und visueller Störungen Gegenstände an festgelegte Zielpunkte bewegen.
In einem weiteren Versuch plante das Modell Wege durch zweidimensionale Labyrinthe. Nach Angaben der MIT-Forschenden könnte das Verfahren langfristig als Grundlage für sogenannte Weltmodelle dienen. Diese sollen die Dynamik einer Umgebung abbilden und mögliche Folgen einer Handlung simulieren. Diffusion Forcing ist bislang jedoch nicht ausdrücklich als Bestandteil der neuen TUM-MIT-Kooperation genannt.
Digitale Zwillinge für robotische Fertigung
Das zweite Forschungs-Tandem wird von Mina Konaković Luković vom MIT und Kathrin Dörfler von der TUM geleitet. Das Team will KI-gestützte Methoden für nachhaltige robotische Fertigungsprozesse entwickeln.
Dafür sollen computergestütztes Design, digitale Zwillinge und robotische Fertigung enger miteinander verbunden werden. Digitale Zwillinge bilden dabei nicht nur den geplanten Zustand eines Bauteils oder einer Konstruktion ab. Sie können auch mit Sensordaten aus dem laufenden Arbeitsprozess aktualisiert werden. Abweichungen zwischen Planung und tatsächlichem Zustand lassen sich dadurch frühzeitig erkennen.
Welche konkreten Fertigungsverfahren untersucht werden, geht aus der Ankündigung noch nicht hervor. Die TUM nennt jedoch ausdrücklich effizientere Bauprozesse als eines der Anwendungsfelder. Dörflers Forschungsgruppe beschäftigt sich bereits mit digitaler Fabrikation, mobilen Robotern und automatisierten Bauverfahren.
Roboter demontieren Mauerwerk
Wie eine solche Verbindung aus KI, Robotik und digitalem Zwilling aussehen kann, zeigt das bereits laufende TUM-Projekt SPAICR. Dort entwickelten Forschende ein auf Deep Learning basierendes System, das Ziegel in bestehenden Konstruktionen erkennt und deren Lage bestimmt.
In Versuchen demontierten Roboter sowohl trocken gestapeltes als auch mit Mörtel verbundenes Mauerwerk. Während der Arbeiten aktualisierte das System einen digitalen Zwilling, der geometrische, räumliche und semantische Informationen über den jeweiligen Bauzustand enthält. Die gewonnenen Daten sollen unter anderem die Dokumentation und eine mögliche Wiederverwendung der Bauteile unterstützen.
Diese Versuche gehören nicht zu der neu angekündigten Kooperation mit dem MIT. Sie zeigen jedoch, an welche bestehenden Arbeiten das zweite Forschungs-Tandem anknüpfen könnte.
Einsatzfähige Systeme gibt es noch nicht
Die neue Partnerschaft befindet sich am Anfang. Die beiden Tandems haben zunächst Forschungsziele definiert; konkrete Resultate oder einsatzfähige Robotersysteme wurden noch nicht vorgestellt.
Entscheidend wird sein, ob sich die Verfahren aus Labor- und Simulationsversuchen auf reale Umgebungen übertragen lassen. Gerade Baustellen verändern sich fortlaufend. Materialien liegen nicht immer an den vorgesehenen Stellen, Arbeitsbereiche werden umgebaut und Menschen sowie Maschinen bewegen sich gleichzeitig auf engem Raum.
Große Videomodelle und digitale Zwillinge könnten Robotern helfen, solche Veränderungen zu erfassen und ihre Planung anzupassen. Ob die neuen TUM-MIT-Projekte dafür ausreichend robuste und sichere Verfahren liefern, müssen die kommenden Forschungsarbeiten zeigen.
Ein Beitrag von:
