Trotz fehlerhafter Daten 28.11.2023, 07:00 Uhr

Neue Trainingsmethode: Roboter lernt in unter zwei Minuten

Das Crowdsourcing-Feedback ist als Trainingsmethode für Roboter bereits bekannt. Forschende aus den USA haben nun einen neuen Ansatz für verstärktes Lernen entwickelt und dafür die Art und Weise der Belohnung verändert. Sie nutzen auch Daten von Laien – und sogar fehlerhafte Informationen.

Roboter mit Staubsauger

Forschende haben eine neue Trainingsmethode entwickelt. Das Ergebnis: Der Roboter lernt schneller, auch mit fehlerhaften Daten.

Foto: panthermedia.net/phonlamai

Roboter sind in dem, was sie tun und erledigen, nur so gut, wie sie es im Training zuvor gelernt haben. Und darauf hat der Mensch den größten Einfluss. Denn er ist es, der die Art und Weise des Trainings sowie dessen Inhalte festlegt. In einem Punkt unterscheidet sich das Training eines Roboters nicht von dem des menschlichen Lernens: bei der Belohnung. Auch ein Roboter benötigt eine solche. Forschende des MIT, der Harvard University und der University of Washington haben deshalb einen neuen Ansatz für verstärktes Lernen entwickelt, mit Fokus auf die Belohnung.

Roboterhand mit Knochen, Sehnen und Bändern aus dem 3D-Drucker

Top Stellenangebote

Zur Jobbörse
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
FACT GmbH eFacilities Solutions-Firmenlogo
Technischer Projektingenieur (m/w/d) Mess-, Steuer-, Regelungstechnik (MSR) / Technische Gebäudeausrüstung FACT GmbH eFacilities Solutions
Böblingen, Stuttgart-Mitte Zum Job 
FACT GmbH eFacilities Solutions-Firmenlogo
Technischer Projektingenieur (m/w/d) TGA / Technische Gebäudeausrüstung / Versorgungstechnik / Sanitärtechnik, Feuerlöschtechnik, Sprinklertechnik FACT GmbH eFacilities Solutions
Böblingen, Leipzig, Bad Krozingen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Straßenbetriebsdienst als Teamleitung Die Autobahn GmbH des Bundes
Nürnberg Zum Job 
Fact GmbH eFacilities Solutions-Firmenlogo
Projektleiter (m/w/d) TGA / Technische Gebäudeausrüstung / Versorgungstechnik / Gebäudetechnik Fact GmbH eFacilities Solutions
Böblingen, Leipzig, Bad Krozingen Zum Job 
SachsenNetze GmbH-Firmenlogo
Netzplaner*in Strom SachsenNetze GmbH
Bautzen, Großenhain, Heidenau Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Ingenieur:in Regenwasseragentur (w/m/d) Berliner Wasserbetriebe
Die Autobahn GmbH des Bundes-Firmenlogo
Planungsingenieur (w/m/d) für Autobahnprojekte Die Autobahn GmbH des Bundes
Nürnberg Zum Job 
Technical University of Munich (TUM)-Firmenlogo
Full Professor in "Software & System Security" in combination with the Institute Director at Fraunhofer AISEC Technical University of Munich (TUM)
München Zum Job 
Behörde für Umwelt, Klima, Energie und Agrarwirtschaft-Firmenlogo
Referatsleitung Boden-Grundwasser, Flächenrecycling Gewerbe Behörde für Umwelt, Klima, Energie und Agrarwirtschaft
Hamburg Zum Job 
Bonn-Netz GmbH-Firmenlogo
Bauleiter Tiefbau (m/w/d) Bonn-Netz GmbH
MainTech Systems GmbH-Firmenlogo
Konstruktionsingenieur Dokumentation / CE-Koordination (m/w/d) MainTech Systems GmbH
Obernburg am Main Zum Job 
ROTORCOMP VERDICHTER GmbH-Firmenlogo
Area Sales Manager für DACH (m/w/d) ROTORCOMP VERDICHTER GmbH
Germering Zum Job 
Cargill Deutschland GmbH-Firmenlogo
EIA Planer (m/w/d) Cargill Deutschland GmbH
Malchin Zum Job 
TÜV Technische Überwachung Hessen GmbH-Firmenlogo
Sachverständiger (m/w/d) Gashochdruck / Rohrfernleitung TÜV Technische Überwachung Hessen GmbH
Siltronic AG-Firmenlogo
Ingenieur (m/w/d) Industrial Engineering Siltronic AG
Freiberg Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Techniker / Meister als Operator (w/m/d) in der Tunnelleitzentrale Die Autobahn GmbH des Bundes
Oskar Dilo Maschinenfabrik KG-Firmenlogo
Vertriebsingenieur international (m/w/d) Oskar Dilo Maschinenfabrik KG
Eberbach Zum Job 
Focused Energy GmbH-Firmenlogo
Senior Laser Scientist (m/f/d) Focused Energy GmbH
Darmstadt Zum Job 
Cargill-Firmenlogo
Start-up Leader (m/w/d) Cargill
Berlin-Lichtenrade Zum Job 

Normalerweise setzt man ein sogenanntes Crowdsourcing-Feedback ein. Es stammt von zahlreichen fachkundigen Benutzerinnen und Benutzern, wird gesammelt und dann beim Training verwendet. Der neue Ansatz nutzt nun Feedback von Benutzerinnen und Benutzern, die Laien sind. Zwar können Crowdsourcing-Daten durchaus viele Fehler enthalten, zählen damit also zu den sogenannten verrauschten Daten, doch sie ermöglichen trotzdem ein schnelleres Lernen. Gleichzeitig kann mit diesem Ansatz auch die asynchrone Erfassung von Feedback genutzt werden. Auf diese Art und Weise tragen fachkundige Nutzerinnen und Nutzer weltweit zum Training bei.

Laien trainieren Roboter – mit Erfolg

„Unsere Arbeit schlägt eine Möglichkeit vor, das Lernen von Robotern zu skalieren, indem wir das Design der Belohnungsfunktion per Crowdsourcing entwickeln und es Laien ermöglichen, nützliches Feedback zu geben“, sagt Pulkit Agrawal, Assistenzprofessor am MIT Department of Electrical Engineering an Computer Sciences (EECS), der auch das Improbable AI Lab am MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) leitet. Von ihrer neuen Methode versprechen die Forschenden sich vor allem eines: Der Roboter soll damit schneller lernen, bestimmte Aufgaben im Haus einer Benutzerin oder eines Benutzers auszuführen, ohne dass man ihm physische Beispiele für jede Aufgaben zeigen muss. Vielmehr könne der Roboter dies selbstständig in Erfahrung bringen – geleitet vom Crowdsourcing-Feedback von Laien.

Der Unterschied der neuen Belohnungsmethode zeige sich vor allem darin, dass man dem Roboter nicht genau die Aufgabe antrainieren müsse, sondern er sie sich selbst erschließe. Darüber hinaus soll der Roboter auch in der Lage sein, selbstständig herauszufinden, was ihm beim besseren Lernen helfe.

Robotertraining in zwei Prozessteile gegliedert

Und so funktioniert das Training: Der Roboter soll eine Kühlschranktür öffnen können. Dafür erhält er zwei Fotos, auf denen eine Schranktür und eine Mikrowelle geöffnet werden. Nun stellt man ihm die Frage, welcher der abgebildeten Zustände näher am gewünschten Ziel liegt. Da der Roboter die Belohnungsfunktion ernst nimmt und sie versuchen würde, perfekt zu erfüllen, nutzen die Forschenden sie nun, um ihm mitzuteilen, welche Bereiche er erkunden soll. Dafür haben sie den Prozess in zwei Teile gegliedert. Beide werden jeweils von einem eigenen Algorithmus gesteuert. Die Forschenden bezeichnen dies als neue Reinforcement-Learning-Methode HuGE (Human Guided Exploration).

Auf der einen Seite wird der Zielauswahlalgorithmus kontinuierlich mit menschlichem Crowdsourcing-Feedback aktualisiert. Somit dient das Feedback nicht als Belohnung, sondern als Orientierungshilfe bei der Erkundung. Man kann sich das ähnlich wie eine Schnitzeljagd vorstellen. Dabei werden ja auch auf dem Weg zum Ziel Hinweise hinterlassen. Auf der anderen Seite begibt sich der Roboter selbstständig auf Erkundungstour, wobei er vom sogenannten Zielselektor geleitet wird. Während der Erkundung sammelt er Bilder oder Videos von Aktionen, die ihm beim Lernen helfen. Das Ergebnis: Das Feedback kann selten und asynchron gesammelt werden.

Roboter lernen in weniger als zwei Minuten

In ersten Tests mussten Roboter eine Reihe simulierter und realer Aufgaben erledigen. In der Simulation waren es Aufgaben mit langen Aktionssequenzen. Ein Beispiel: Blöcke in einer bestimmten Reihenfolge stapeln oder aus einem großen Labyrinth herausnavigieren. Im realen Test sollten die Roboter den Buchstaben „U“ zeichnen, Objekte auswählen und sie an vorgegebenen Orten platzieren. Für die Tests sammelten sie Daten von 109 Laien in 13 verschiedenen Sprachen auf drei Kontinenten.

Insgesamt waren die Forschenden sehr zufrieden mit den Ergebnissen. Die Roboter lernen mithilfe der neuen Methode schneller und erreichen dementsprechend effizienter das Ziel. Darüber hinaus ergäben sich auf Basis von Crowdsourcing-Daten von Laien bessere Leistungen als durch das Training mit synthetischen Daten, welche die Forschenden erstellt hatten. In weniger als zwei Minuten sei für Laien ein Training eines Roboters möglich. Das mache es eben möglich, diese Methode zu skalieren und der Roboter könne völlig autonom lernen, ohne dass menschliche Resets erforderlich seien.

Ein Beitrag von:

  • Nina Draese

    Nina Draese hat unter anderem für die dpa gearbeitet, die Presseabteilung von BMW, für die Autozeitung und den MAV-Verlag. Sie ist selbstständige Journalistin und gehört zum Team von Content Qualitäten. Ihre Themen: Automobil, Energie, Klima, KI, Technik, Umwelt.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.