Große Sprachmodelle machen es möglich 26.03.2024, 13:51 Uhr

MIT-Ingenieure wollen Haushaltsroboter mit „gesundem Menschenverstand“ ausstatten

Mit Hilfe eines großen Sprachmodells haben MIT-Ingenieure Roboter in die Lage versetzt, sich nach Fehltritten selbst zu korrigieren und ihre Arbeit fortzusetzen.

Haushaltsroboter

Auf dieser Collage versucht eine Roboterhand, rote Murmeln aufzusammeln und in eine andere Schale zu legen, während die Hand eines Forschers sie häufig unterbricht. Schließlich gelingt es dem Roboter.

Foto: Jose-Luis Olivares, MIT

Haushaltsroboter werden zunehmend mit anspruchsvolleren Aufgaben betraut, die vom Aufwischen verschütteter Getränke bis zum Servieren von Mahlzeiten reichen. Diese Roboter erwerben ihre Fähigkeiten hauptsächlich durch Nachahmung menschlicher Handlungen, indem sie so programmiert werden, dass sie gezeigte Bewegungen imitieren. Dabei erweisen sie sich als sehr gute Nachahmer.

Beim selbständigen Umgang mit Unebenheiten und Hindernissen stoßen sie jedoch an ihre Grenzen, sofern sie nicht explizit darauf programmiert wurden. In solchen Fällen bleibt ihnen oft nur, die Aufgabe von vorne zu beginnen. Um diese Herausforderung zu meistern, wollen Ingenieure des Massachusetts Institute of Technology (MIT) den Robotern nun die Fähigkeit verleihen, sich selbstständig an abweichende Situationen anzupassen und durch die Integration von „gesundem Menschenverstand“ auf Kurs zu bleiben.

Top Stellenangebote

Zur Jobbörse
Stadtwerke München GmbH-Firmenlogo
Instandhaltungsmanager*in (m/w/d) Stadtwerke München GmbH
München Zum Job 
Fraunhofer-Institut für Angewandte Festkörperphysik IAF-Firmenlogo
Wissenschaftler (m/w/d) - angewandte NV-Magnetometrie und Laserschwellen-Magnetometer Fraunhofer-Institut für Angewandte Festkörperphysik IAF
Freiburg im Breisgau Zum Job 
Rittal GmbH & Co. KG-Firmenlogo
Maschinenbauingenieur / Prüfingenieur (m/w/d) Dynamik / Schwingungstechnik Rittal GmbH & Co. KG
Herborn Zum Job 
Vita Zahnfabrik H. Rauter GmbH & Co. KG-Firmenlogo
Konstrukteurin / Konstrukteur Maschinen und Anlagen Vita Zahnfabrik H. Rauter GmbH & Co. KG
Bad Säckingen Zum Job 
Deutsche Rentenversicherung Bund-Firmenlogo
Teamleiter*in Bauprojekte Elektrotechnik (m/w/div) Deutsche Rentenversicherung Bund
Stadtwerke Frankenthal GmbH-Firmenlogo
Energieberater (m/w/d) Stadtwerke Frankenthal GmbH
Frankenthal Zum Job 
Griesemann Gruppe-Firmenlogo
Lead Ingenieur Elektrotechnik / MSR (m/w/d) Griesemann Gruppe
Köln, Wesseling Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Bauingenieur:in Maßnahmenentwicklung Netze (w/m/d) Berliner Wasserbetriebe
PARI Pharma GmbH-Firmenlogo
Senior Projekt-/Entwicklungsingenieur (m/w/d) in der Konstruktion von Medizingeräten PARI Pharma GmbH
Gräfelfing Zum Job 
ABO Wind AG-Firmenlogo
Projektleiter (m/w/d) Umspannwerke 110kV für erneuerbare Energien ABO Wind AG
verschiedene Standorte Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Verkehrsbeeinflussungsanlagen Die Autobahn GmbH des Bundes
Hamburg Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Abteilungsleitung (m/w/d) Umweltmanagement und Landschaftspflege Die Autobahn GmbH des Bundes
VIVAVIS AG-Firmenlogo
Projektleiter (m/w/d) Angebotsmanagement VIVAVIS AG
Ettlingen, Berlin, Bochum, Koblenz Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Projektingenieur (w/m/d) Telematik-Infrastruktur Die Autobahn GmbH des Bundes
Frankfurt am Main Zum Job 
envia TEL GmbH-Firmenlogo
Serviceingenieur (Field Service Engineer) (m/w/d) envia TEL GmbH
Chemnitz, Halle, Kolkwitz, Markkleeberg, Taucha Zum Job 
Stadt Nordenham-Firmenlogo
Ingenieur (m/w/d) der Richtung Bauingenieurwesen (Tiefbau, Siedlungswasserwirtschaft, Wasserwirtschaft, Wasserbau) oder Umweltingenieurwesen oder staatlich geprüften Techniker (m/w/d) der Siedlungswasserwirtschaft Stadt Nordenham
Nordenham Zum Job 
envia TEL GmbH-Firmenlogo
Ingenieur Datacenter Infrastruktur (m/w/d) envia TEL GmbH
ILF Beratende Ingenieure GmbH-Firmenlogo
Projektingenieur (m/w/d) Konstruktiver Ingenieurbau / Objekt- und Tragwerksplanung ILF Beratende Ingenieure GmbH
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Abteilungsleiter/in - Planung auf BAB Betriebsstrecken (w/m/d) Die Autobahn GmbH des Bundes
Oldenburg Zum Job 
ILF Beratende Ingenieure GmbH-Firmenlogo
Projektingenieur (m/w/d) Verkehrsanlagen Schwerpunkt Trassierung ILF Beratende Ingenieure GmbH
München, Essen Zum Job 

Verknüpfung mit großen Sprachmodellen

Die MIT-Ingenieure haben eine Methode entwickelt, die Bewegungsdaten von Robotern mit dem „gesunden Menschenverstand“ großer Sprachmodelle (Large Language Models, LLMs) verbindet. Die von dem Team vorgestellte Methode ermöglicht es Robotern, komplexe Haushaltsaufgaben in überschaubare Abschnitte zu unterteilen und innerhalb dieser Abschnitte auf Herausforderungen zu reagieren. So können sie ihre Arbeit fortsetzen, ohne bei jeder Störung von vorne beginnen zu müssen, und Ingenieure müssen nicht für jede denkbare Fehlerquelle vorab spezifische Lösungen programmieren.

„Lernen durch Imitation ist eine weit verbreitete Methode, um Robotern Aufgaben beizubringen. Problematisch wird es jedoch, wenn ein Roboter die Handlungen eines Menschen ohne Rücksicht auf mögliche Fehler nachahmt, was die Gesamterfüllung der Aufgabe gefährden kann“, erklärt Yanwei Wang, Doktorand am MIT Department of Electrical Engineering and Computer Science (EECS). „Unser Ansatz ermöglicht es dem Roboter, Fehler in der Ausführung selbstständig zu erkennen und zu korrigieren, was die Effizienz und die Erfolgsquote bei der Aufgabenerfüllung steigert“.

Roboter muss Murmeln von einer zur anderen Schale überführen

Das Forscherteam demonstriert die Wirksamkeit seines Ansatzes anhand einer scheinbar einfachen Tätigkeit: dem Umfüllen von Murmeln von einer Schale in eine andere. Normalerweise würden Ingenieure einen Roboter anweisen, das Aufnehmen und Umfüllen in einer fließenden Bewegung zu imitieren, indem sie diese Handlungen wiederholt ausführen, um dem Roboter verschiedene menschliche Vorgehensweisen beizubringen. „Aber die menschliche Demonstration ist eine einzige lange, kontinuierliche Bahn“, erläutert Wang.

Es wurde festgestellt, dass die Vorführung durch eine Person, obwohl sie als ein kontinuierlicher Vorgang erscheint, in Wirklichkeit aus mehreren aufeinander folgenden Teilhandlungen besteht. Beispielsweise muss ein Roboter zuerst nach der Schüssel greifen, bevor er die Murmeln schöpfen kann. Ebenso muss er die Murmeln aufgenommen haben, bevor er sich dem Ablegen zuwendet, und so weiter. Wenn der Roboter während einer solchen Teilhandlung auf ein Problem stößt, hat er keine andere Wahl, als die Handlung abzubrechen und von vorne zu beginnen, es sei denn, die Ingenieure markieren jede Teilhandlung deutlich und bereiten zusätzliche Demonstrationen vor, die es dem Roboter ermöglichen, solche Fehler selbstständig zu korrigieren. „Diese Art der Planung ist sehr mühsam“, sagt Wang.

LLMs übernehmen Teil der Arbeit

Dem Roboter beizubringen, bei Störungen einfach weiterzumachen, ist mit gängigen Methoden kaum möglich: „Diese Art der Planung ist sehr mühsam“, sagt Wang. Wang und sein Team entdeckten, dass LLMsin der Lage sind, einen erheblichen Teil der Arbeit zu automatisieren. Diese fortschrittlichen Deep-Learning-Systeme durchsuchen große Textsammlungen, um Muster und Beziehungen zwischen Wörtern, Sätzen und Textabschnitten zu erkennen. Mit diesem Wissen sind sie in der Lage, neue Texte zu generieren, die auf den Wahrscheinlichkeiten basieren, mit denen bestimmte Wörter aufeinander folgen.

Die Forscher fanden auch heraus, dass LLMs dazu gebracht werden können, eine geordnete Liste von Schritten für eine bestimmte Tätigkeit zu formulieren. Wenn ein LLM beispielsweise aufgefordert wird, die Handlungen zu beschreiben, die zum Umfüllen von Murmeln erforderlich sind, kann er eine Abfolge von Handlungen vorschlagen, wie z. B. „Greifen“, „Schöpfen“, „Transportieren“ und „Ausgießen“.

„LLMs sind in der Lage, in natürlicher Sprache Anweisungen zu geben, wie jede Phase einer Aufgabe auszuführen ist. Die kontinuierliche Demonstration durch eine Person stellt diese Schritte in der realen Welt dar“, erklärt Wang. „Unser Ziel war es, diese beiden Aspekte zu kombinieren, so dass ein Roboter automatisch erkennt, an welcher Stelle einer Aufgabe er sich befindet, und in der Lage ist, selbstständig Anpassungen vorzunehmen und Fehler zu korrigieren.“

Ruhe bewahren und weitermachen

Auf der Grundlage ihres Verständnisses der Abfolge bestimmter Wörter sind die großen Sprachmodelle in der Lage, neue Textpassagen zu erstellen. Genau dies machte sich das Team zunutze, um den Roboter ein wenig gesunden Menschenverstand beizubringen. Sie entwickelten eine Methode, die einen Algorithmus verwendet, um die geografische Position eines Roboters oder visuelle Daten über seinen aktuellen Zustand einer bestimmten Handlung zuzuordnen, die durch ein LLM definiert ist.

Diese Technik, bei der sprachliche Bezeichnungen mit räumlichen oder visuellen Informationen des Roboters verknüpft werden, wird als „Grounding“ bezeichnet. Sie ermöglichte es dem Roboter, mit Hilfe der entwickelten Grounding-Klassifikatoren autonom zu agieren. Der Roboter ließ sich auch durch leichte Stöße nicht aus der Ruhe bringen, konnte Korrekturen vornehmen und seine Aufgaben fortsetzen. Er erkannte sogar, ob sich Murmeln im Löffel befanden und konnte, wenn nötig, die Aufgabe von vorne beginnen.

„Wenn der Roboter einen Fehler macht, müssen wir mit unserer Methode keine Menschen mehr um Hilfe bitten oder ihnen zeigen, wie man Fehler behebt“, sagt Wang. „Das ist sehr aufregend, denn derzeit werden große Anstrengungen unternommen, um Haushaltsroboter mit Daten zu trainieren, die von Teleoperationssystemen gesammelt wurden. Unser Algorithmus ist nun in der Lage, diese Trainingsdaten in robustes Roboterverhalten umzuwandeln, das trotz äußerer Störungen in der Lage ist, komplexe Aufgaben zu bewältigen“.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.