Effektivere Trainingsmethoden dank neuem Algorithmus
Forschende des MIT haben herausgefunden, dass die Kombination zweier Trainingsmethoden zu einem deutlich besseren Ergebnis führt. Zudem kommen sie auf diese Weise noch viel schneller ans Ziel. Ihre Forschungsergebnisse sollen nun als Basis auch weiteren Untersuchungen dienen.
MIT-Forschende haben mit einem neuen Algorithmus das maschinelle Lernen vermutlich deutlich vorangebracht.
Foto: Jose-Luis Olivares/MIT
Damit maschinelles Lernen zum Beispiel bei Robotern oder anderen Systemen funktioniert, bedarf es unterschiedlicher Algorithmen, die wiederum den Trainingsprozess unterstützen. Hauptsächlich gibt es dabei zwei Ansätze: das sogenannte Nachahmungslernen und das Verstärkungslernen. Forschende des MIT haben das nun miteinander kombiniert und erzielten damit erstaunliche Ergebnisse. Beim Nachahmungslernen geht es darum, dass der Schüler praktisch das nachmachen soll, was der Lehrer vorgibt. Beim Verstärkungslernen agiert der Schüler dagegen eigenständiger und soll durch den klassischen Prozess Versuch und Irrtum etwas dazulernen.
Algorithmus der TU Graz sorgt für Sicherheit im Internet der Dinge
Nachdem die Forschenden des MIT diese beiden Ansätze miteinander kombinierten, konnte das System die Aufgaben deutlich effektiver erlernen, als wenn nur eine Art des Lernens zum Einsatz gekommen wäre. „Diese Kombination aus Lernen durch Versuch und Irrtum und dem Befolgen eines Lehrers ist sehr wirkungsvoll. Es gibt unserem Algorithmus die Fähigkeit, sehr schwierige Aufgaben zu lösen, die mit keiner der beiden Techniken einzeln gelöst werden können“, sagt Idan Shenfeld, Hauptautor der Studie und Absolvent der Elektrotechnik und Informatik. Der Forscher hat sich gemeinsam mit Aviv Tamar, Assistenzprofessor für Elektrotechnik und Information am Israel Institute of Technology (Technion) und Pulkit Agrawal, Direktor des Improbable AI Lab und Assistenzprofessor im Labor für Informatik und künstliche Intelligenz, mit diesem Thema befasst.
Effizienter Algorithmus lernt automatisch und dynamisch
Ziel der Wissenschaftler ist es, Algorithmen zu entwickeln, die auf Prinzipien basieren und bei denen man möglichst wenig manuell einstellen muss, damit sie eine hohe Leistung erbringen. Um das zu erreichen, wählten sie erstmals einen anderen Weg: Sie bildeten praktisch zwei Schüler gleichzeitig aus. Der eine profitierte von der Kombination beider Lernmethoden, der andere konnte lediglich das Verstärkungslernen einsetzen. Ihre Idee: Die Gewichtung der Verstärkungs- und Nachahmungslernziele des ersten Schülers automatisch und dynamisch anzupassen. Und genau dafür brauchten sie den zweiten Schüler. Ein eigens angepasster Algorithmus verglich während der Studie die beiden Schüler und konnte so das Lernen gezielt steuern.
Der Algorithmus erkannte, wenn das Nachahmungslernen zu besseren Ergebnissen führte, dieses stärker zu gewichten. Gleiches galt für das Verstärkungslernen. Auf diese Art und Weise erzielten die Wissenschaftler eine Konzentration der passenden Lernmethoden je nach Situation. Diese dynamische Herangehensweise machte den Algorithmus anpassungsfähig und ermöglichte es ihm, während des gesamten Trainingsprozesses immer die beste Methode auszuwählen. Und genau das war der Schlüssel zum Erfolg: „Es wurde klar, dass wir die Agenten miteinander verbinden mussten, damit sie Informationen austauschen konnten, und dann den richtigen Weg finden mussten, diese Intuition technisch zu untermauern, sagt Shenfeld.
Kombination zweier Trainingsmethoden macht den Unterschied
Für ihre Studie führten die Forschenden zahlreiche Trainingsexperimente durch. So testeten sie zum Beispiel eine Navigation durch ein Lavalabyrinth. Der Algorithmus erzielte in fast allen Testumgebungen eine sehr gute Erfolgsquote. Zudem war er dabei viel schneller als andere Methoden. In einer weiteren Simulation testeten sie eine Roboterhand mit Berührungssensoren, aber ohne Sehvermögen. Die Hand musste einen Stift in die richtige Position bringen. Auch das gelang mit Bravour. Gerade diese Aufgabe, also die Neuausrichtung von Objekten, ist eine, die vermutlich viele Roboter künftig ausführen müssen, wenn mehr von ihnen in Haushalte einziehen und Bewohnerinnen und Bewohner im Alltag unterstützen. „Die neue Methode ebnet den Weg für den Bau überlegener Roboter“, sagt Pulkit Agrawal.
Abgesehen davon sind die Forschenden überzeugt, dass ihr Algorithmus das Potenzial hat, die Leistung verschiedener Anwendungen zu verbessern. Als Beispiele führen sie hier große Sprachmodelle wie GPT-4 an. Darüber hinaus eröffne ihr Forschungsergebnis auch den Weg, Ähnlichkeiten und Unterschiede zwischen Menschen und Maschinen weiter zu untersuchen, die von ihren jeweiligen Lehrern lernen. Unterstützung erhielt das Team vom MIT-IBM Watson AI Lab, der Hyundai Motor Company, dem DARPA Machine Common Sense Program und dem Office of Naval Research.
Mehr zum Thema maschinelles Lernen:
Ein Beitrag von:
