RH5 lebt! Robotersteuerung mit hybrider KI und Belohnungssystem
Forschende des DFKI haben mithilfe einer hybriden KI eine sichere und effiziente Robotersteuerung entwickelt. Sie haben dazu maschinelles Lernen mit einer symbolischen KI verknüpft. Der humanoide Roboter RH5 lernt Bewegungen dynamisch und stabil und wird dabei durch ein mathematisches Belohnungssystem im “richtigen” Verhalten bestärkt.
Der humanoide Roboter RH5 lernt Bewegungen dank eines speziellen Belohungssystems schneller und sicherer.
Foto: DFKI, Annemarie Popp
Die Fortschritte in der Robotik, die auf datengestützter künstlicher Intelligenz basieren, eröffnen vielfältige Anwendungen. Eine große Herausforderung ist bis heute, dass diese sicher, zuverlässig und innerhalb des gewünschten Rahmens funktioniert. Wissenschaftlerinnen und Wissenschaftler des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) in Bremen haben eine Steuerung entwickelt, die schnelles, maschinelles Lernen mit mathematischer Verifikation kombiniert. Dieser hybride KI-Ansatz könnte eine zukunftsweisende Lösung für die moderne Robotik sein.
Subsymbolische KI-Verfahren wie Deep Learning stoßen in puncto Sicherheit und Zuverlässigkeit an oft ihre Grenzen. Ihre Entscheidungen basieren nicht auf symbolischen Berechnungen und sind daher mathematisch nicht überprüfbar. Gerade in sicherheitskritischen Bereichen wie der humanoiden Robotik sind Sicherheit und Zuverlässigkeit jedoch entscheidend, um Fehlfunktionen zu minimieren oder im Idealfall auszuschließen.
Hybride KI ermöglicht verifizierbare Robotersteuerung
Im BMBF-geförderten Projekt „VeryHuman“ haben DFKI-Forschende einen innovativen Ansatz entwickelt, der subsymbolische und symbolische KI-Methoden sinnvoll miteinander kombiniert. Sie nutzten symbolische Spezifikationen im sogenannten Reinforcement Learning, bei dem ein System für mathematisch überprüfbare Ergebnisse belohnt wird. Ziel war es, ein KI-basiertes Steuerungssystem für humanoide Roboter zu entwickeln, das komplexe Bewegungen sicher ausführen kann.
Menschen lernen in der Regel, indem sie auf bereits Gelerntes, Erfahrungen und Reflexe zurückgreifen. Bei der Entwicklung von Robotersystemen wollten die DFKI-Forschenden daher ebenfalls einen integrativen Ansatz verfolgen, das einen hybriden KI-Ansatz in regelbasierte Grundfunktionen und funktionsdefinierende Strukturen einbettet.
Symbolische Modelle steigern Effizienz des Lernens
Durch symbolische Spezifikationen gelang es, abstrakte kinematische Modelle zu erstellen, die mathematisch überprüfbar sind. Diese definieren Belohnungsfunktionen für das Reinforcement Learning und ermöglichen dem Roboter die Verifikation seiner Entscheidungen. Dadurch werden stabile und vorhersehbare Bewegungen gefördert und das Risiko von Fehlverhalten minimiert.
Zusätzlich modellierten die Forschenden das gewünschte Roboterverhalten als hybriden Automaten. Dieses mathematische Modell beschreibt kontinuierliches und diskretes Verhalten. Es reduziert den Zustandsraum des Systems und ermöglicht effizienteres Lernen.
Künstliche Intelligenz trifft auf innovative Robotik
Den Wissenschaftlerinnen und Wissenschaftlern gelang es so, dem humanoiden Roboter RH5 dynamisches Laufen beizubringen. Sie kombinierten die Methode des Nullmomentpunktes mit der Ganzkörperregelung. Diese Kombination stabilisiert den Roboter und macht ihn leistungsfähiger. So wurde robustes dynamisches Laufen bei unterschiedlichen Geschwindigkeiten und Schrittlängen erreicht.
Im Gegensatz zu den rein datengetriebenen Machine-Learning-Ansätzen bezieht die hybride KI Vorwissen beim Lernen effizient mit ein. Dies entspricht im Prinzip menschlichen Lernprozessen: Was man schon weiß, muss man nicht immer wieder neu lernen. Die hybride KI erhöht die Dateneffizienz und macht die Modelle robuster.
Das Ergebnis: Der humanoide Roboter RH5 läuft dynamisch mit bis zu 0,43 Metern pro Sekunde (m/s). Damit gehört er, abgesehen von Systemen mit aktiven Zehengelenken, zu den schnellsten Humanoiden ähnlicher Größe. Zur weiteren Verbesserung setzen die Forschenden Simulations- und Optimal-Control-Algorithmen ein, die auf dem symbolischen Modell basieren.
Hybride KI als Blaupause für sichere KI-Systeme?
Die präzisere Modellierung und Optimierung von Bewegungsabläufen durch hybride KI erhöhen Sicherheit und Effizienz von Robotern. Der im Rahmen von „VeryHuman” entwickelte hybride KI-Ansatz könnte als Blaupause für eine Belohnungsfunktion aus symbolischer KI dienen. Das ist besonders für Anwendungen relevant, bei denen Systeme oder deren Fehlverhalten ein potenzielles Risiko darstellen. Das Projekt „Very Human“ wurde vom BMBF von Juni 2020 bis Mai 2024 gefördert.
Ein Beitrag von:
