Kamera, Lidar oder Radar: Warum Roboter meist mehrere Augen brauchen
Roboterkameras erkennen Bauteile, Lidar misst Abstände, Radar erfasst Bewegungen. Welche Sensoren eine Maschine braucht, hängt von ihrer Aufgabe ab – und davon, was ihre Umgebung den Sensoren abverlangt.
Beim Einsatz humanoider Roboter arbeiten viele Sensoren zusammen, damit sich die Roboter in ihrer Umgebung orientieren und mit Menschen interagieren können. Das Bild zeigt verschiedene Lösungen in der Forschungsfabrik Arena 2036in Stuttgart.
Foto: Martin Ciupek
Robotern das Sehen beizubringen, erfordert einiges an technischem Know-how. Dafür können Roboter dann teilweise Dinge sehen, die dem Menschen verborgen bleiben. Fest steht: Eine einfache Kamera reicht in manchen Anwendungen nicht. Dann kommen zusätzlich Radar, Lidar und andere Techniken zum Einsatz.
Umgekehrt kann bereits eine Kamera auf einem klassichen Industrieroboter in Verbindung mit einer KI-basierten Software für stabiliere Prozesse sorgen. Das ist z. B. der Fall, wenn Bauteile mal anders angeliefert werden als zuvor programmiert. Das kann in einer kleinen Roboterzelle passieren. Zu sehen ist das aber auch in einem Montagewerk des Automabilkonzerns Stallantis. Wie „The New York Times“ kürzlich berichtete kommen dort 3D-Kameras in Kombination mit einer KI-unterstützen Bewegungsplanung zum Einsatz. Ein genauerer Blick auf die Sensortechnologien für sehende Roboter lohnt sich also.
Inhaltsverzeichnis
- So können Maschinen sehen: Das haben Autos und Roboter gemeinsam
- Kameras kommen bei Robotern vielfältig zum Einsatz
- Wenn die Kamera am Roboter nicht mehr ausreicht: Ultraschall, Lidar und Radar
- Kurz gefasst: So sehen Roboter die Welt
- Radar überblickt größere Entfernungen bei schlechter Sicht
- Lidar ist bei der Navigation und Schutzraumüberwachung um Roboter weit verbreitet
- Sehende Roboter: Anwendung und Kosten bestimmen die Auswahl der Sensoren
- Die wichtigsten Sensortypen zum Sehen im Tabellenformat
- Spezialfall humanoide Roboter: Sehen unter rauen Umständen
So können Maschinen sehen: Das haben Autos und Roboter gemeinsam
Die Technik beim Roboter ist vergleichbar mit den Sensorsystemen beim autonomen Fahren auf der Straße. Einfache Kameras liefern bei optimalen Sichtverhältnissen bereits viele Informationen. Stereokameras helfen, Entfernungen zu Objekten einzuschätzen. Um den Abstand und die Geschwindigkeit noch besser bestimmen zu können, helfen Laserscanner. Fachleute sprechen von optischen Lidar-Verfahren.
Schwieriger wird es allerdings bei ungünstigen Lichtverhältnissen. Das gilt sowohl für Dunkelheit als auch für starkes Gegenlicht sowie schnell wechselnde Lichtverhältnisse und Nebel bzw. Dunstschwaden. Dann sind ergänzend Radarsensoren oder Ultraschallsensoren nötig. Diese können Objekte und deren Entfernungen auch bei ungünstigen Lichtverhältnissen erkennen. Bei Dunkelheit können jedoch auch aktiv beleuchtete optische Systeme wie Time-of-Flight-Kameras und Laserscanner eingesetzt werden.
Kameras kommen bei Robotern vielfältig zum Einsatz
Die Kamera am Roboterarm oder in der Roboterzelle ist ein Klassiker. Oft reicht bereits eine einfache Kamera, um Produkte und deren Positionen zu erkennen und bekannte Objekte in einer Ebene zu greifen. Befindet sich die Kamera am Greifer, können aus mehreren Kamerapositionen auch räumliche Aufnahmen zusammengeführt werden, für die sonst eine Stereokamera nötig ist.
Je nach Kameratyp erkennen Kameras verschiedene Farben, was z.B. für eine Sortierung nach Farben wichtig ist. In Kombination mit verschiedenen Lichtquellen dienen Kameras auch zur Qualitätssicherung. Sie erkennen Kratzer, Produktkennzeichnungen sowie die Vollständigkeit z.B. bei Verschraubungen in Gehäusen oder Komponenten von Bausätzen.
Für eine schnelle dreidimensionale Objekterfassung mit Distanzmessung gibt es 3D-Kameras mit Laufzeitmessung. Die Kamera sendet dazu unsichtbare Lichtimpulse aus und misst die Zeit, die das Licht zum Objekt und wieder zurück benötigt. Das Verfahren ist auch als Time-of-Flight (ToF) bekannt. Eine mögliche Sensortechnik ist der Photomischdetektor, kurz PMD-Sensor. Ergebnis ist ein Bild, bei dem Entfernungen in unterschiedlichen Farben erscheinen oder als Grauwertbild aus der Intensität des reflektierten Lichtes berechnet sind.
Wenn die Kamera am Roboter nicht mehr ausreicht: Ultraschall, Lidar und Radar
Klassische Kameras benötigen jedoch gute Sichtverhältnisse und haben Defizite, wenn genaue Entfernungsdaten nötig sind. Ultraschall-Sensoren arbeiten dagegen auch bei schlechten Sichtverhältnissen wie Staub und Nebel gut. Sie erfassen typischerweise Entfernungen im Nahbereichen bis etwa 2 m Entfernung. Luft oder Flüssigkeiten dienen als Übertragungsmedien. Der Einsatz im Außenbereich ist für sie kein Problem. Aus der Differenz zwischen dem Aussenden der Schallwellen und der Rückkehr lässt sich die Entfernung bestimmen.
In Autos kommen Ultraschall-Sensoren deshalb als Einparkhilfe in Stoßfängern zum Einsatz. In Rasenmäher-Robotern können Sie dabei helfen, Abstände zu Hindernissen zu erkennen und vermeiden damit Kollisionen. Gleiches gilt für fahrerlose Transportsysteme. In der Industrie werden Ultraschall-Sensoren zudem zur Füllstandsmessung verwendet.
Radar überblickt größere Entfernungen bei schlechter Sicht
Die Entfernungs- und Geschwindigkeitsmessung auf größere Entfernung von mehreren Metern übernehmen üblicherweise Radarsensoren. Die arbeiten mit elektromagnetischen Wellen und brauchen im Gegensatz zum Ultraschall kein Übertragungsmedium. Während diese Technik in autonomen Automobilen bereits Anwendung findet, sind Radarsensoren in der Industrierobotik bisher jedoch selten. Dabei haben sie insbesondere bei der Mensch-Maschine-Interaktion Vorteile.
Konventionelle Schutzfeldüberwachung unterscheidet nicht nach Objektart. Radar und Lidar-Systeme mit entsprechender Auswertung können dagegen Menschen von anderen Objekten unterscheiden. Radar arbeitet auch unter vielen Bedingungen, die optische Sensoren beeinträchtigen, wie Rauch. Nebel kann die Wirkung der Radarwellen aufgrund des Wassergehaltes allerdings dämpfen.
Radar ist auch aus Datenschutzgründen interessant, im Gegensatz zu Kameras z.B. keine genauen Abbilder von Gesichtern liefert. Bewegung von Gliedmaßen können die Sensoren dagegen erfassen.
Weil die Radarfrequenzen auch dünne Schichten und Trennwände durchdringen, können Roboter mit diesen Sensoren mehr erkennen als Menschen. Prinzipiell ist es damit auch möglich, Inspektionen durch Türen durchzuführen, ohne diese zu öffnen.
Lidar ist bei der Navigation und Schutzraumüberwachung um Roboter weit verbreitet
Bisher sind Laserscanner mit Lidar-Sensoren in der Robotik für Navigations- und Sicherheitsaufgaben üblich. Sie arbeiten optisch mit einem gebündelten Laserstrahl. Dabei nutzen sie für den Menschen unsichtbares Infrarotlicht. Auch hier gibt die Laufzeit der Strahlung von der Quelle bis zum Objekt und zurück Aufschluss über die Entfernung. Meist arbeiten die Sensoren zweidimensional. Eine bewegliche Optik fächert das Licht dabei vor dem Sensor auf. Mobile Roboter und fahrerlose Transportsysteme scannen damit die Ebene knapp oberhalb des Bodens und erkennen damit Hindernisse auf ihrem Fahrweg.
In Sicherheitsbereichen um fest installierte Roboter überwachen Lidar-Sensoren auch den Arbeitsbereich. Kommt ein Mensch oder ein Objekt in die Zone um den Roboter, erkennt das der Sensor und meldet es an die Steuerung. Die kann dann die Arbeitsgeschwindigkeit der Maschine reduzieren oder den Roboter komplett stoppen.
3D-Laserscanner dienen dagegen der präzisen dreidimensionalen Erfassung der Geometrie von Objekten, Bauwerken sowie kompletten Umgebungen. Sie werden beispielsweise in Verbindung mit Roboterhunden verwendet, um digitale Zwillinge bestehender Fabriken oder Lager zu erstellen. Die Fabrikzwillinge helfen dann wiederum bei der Simulation von individuellen Roboterapplikationen und dem Training von KI-Modellen.
Sehende Roboter: Anwendung und Kosten bestimmen die Auswahl der Sensoren
Welche Sensortechnik tatsächlich zum Einsatz kommt, ist in der Praxis in erster Linie eine Frage der Anwendung und in zweiter Linie der Kosten. Am günstigsten sind einfache Kameras und Näherungssensoren. Deren Einsatzbereiche sind allerdings begrenzt.
Teilweise werden deshalb verschiedene Sensorprinzipien miteinander kombiniert. Man spricht dann von Sensorfusion. Eine einfache Kamera kann beispielsweise einen größeren Arbeitsraum überblicken und Positionen von Objekten grob ermitteln, während für das präzise Greifen eine 3D-Kamera oder eine andere Methode zur genauen Entfernungsmessung sinnvoll sein kann.
Entscheidend für die Kosten ist auch, wie oft ein System im Einsatz kalibriert werden muss. Hier sind beispielsweise Radarsensoren im Vorteil gegenüber Laserscannern mit feinen mechanischen Komponenten.
Die wichtigsten Sensortypen zum Sehen im Tabellenformat
| Sensortyp | Funktion | Einsatzbereich |
|---|---|---|
| 2D-Kamera | Fotografische Aufnahmen | Kostengünstige Erkennung von Objekten und Farben |
| Stereokamera | Räumliches Sehen | Erkennen dreidimensionaler Objekte auf unterschiedlichen Ebenen |
| 3D-Kamera mit ToF | Dreidimensionale Abstandsmessung mit dem Laufzeitverfahren (Time of Flight) | Robuste Technik für Tiefenbilder, z. B. zur Frachtdimensionierung, Palettierung, für den Griff in die Kiste und die Fahrzeugnavigation |
| 2D-Laserscanner (Lidar-Sensoren) | Für Menschen unsichtbare Laserimpulse tasten die Umgebung in einer Ebene ab | Messung von Abstand und Geschwindigkeit, Navigation fahrerloser Transportsysteme und Absicherung von Gefahrenbereichen um Roboter |
| 3D-Laserscanner | Für Menschen unsichtbare Laserimpulse tasten die Umgebung dreidimensional ab. Typische Verfahren sind Laufzeitmessung, Triangulation und Phasenverschiebung. | Berührungsloses Messverfahren zur präzisen dreidimensionalen Erfassung der Geometrie von Objekten, Bauwerken sowie kompletten Umgebungen. Ausgabe als 3D-Punktewolke |
| Ultraschallsensoren | Ultraschallwellen (mechanischer Schall) mit Frequenzen zwischen 20 kHz und 400 kHz über ein Trägermedium, z. B. Luft oder Flüssigkeit | Vorwiegend Entfernungsmessung im Nahbereich von bis zu wenigen Metern. Erkennung von Hindernissen und Kollisionsvermeidung bei mobilen Maschinen |
| Radarsensoren | Elektromagnetische Wellen (Funkwellen) | Berührungslose Messung von Entfernungen und Geschwindigkeiten, unabhängig von Sichtverhältnissen. Zuverlässige Unterscheidung zwischen Menschen und Maschinen. Durchdringen dünner Trennwände zur Inspekti |
Unterschiede zwischen mobilen und fest installierten Robotern
Einen Unterschied macht auch die Frage, ob der Roboter fest installiert oder mobil ist. Bei fest installierten Robotern verändern sich die Umgebungsbedingungen in Fabriken und Lagern nur wenig. Ausnahmen sind z.B. Fenster, durch die die Sonne über den Tag unterschiedlich einfällt. Menschen und Objekte bewegen sich meist nach klaren Regeln.
Mobile Roboter müssen sich dagegen in größeren Bereichen orientieren können. Das bedeutet: in unterschiedlichen Sichtverhältnissen, teilweise in Räumen, teilweise auch in Außenbereichen. Bedingt durch den größeren Aktionsradius kann sich auch das Umfeld stärker verändern. Während fahrerlose Transportsysteme in erster Linie ihre Wege zweidimensional in einer Ebene überwachen müssen, kommt bei mobilen Handhabungsrobotern noch die dritte Dimension des Roboterarms hinzu. Auch das gilt es bei der Wahl der Sensorsysteme zu berücksichtigen.
Spezialfall humanoide Roboter: Sehen unter rauen Umständen
Humanoide Roboter auf Beinen sind ein Spezialfall. Anders als mobile Roboter mit einer rollenden Plattform haben sie einen instabilen Stand. Das bedeutet, sie können leichter umfallen. Deshalb ist die mechanische Robustheit der Sensorsysteme und der elektrischen Verbindungstechnik von besonderer Bedeutung.
Die mit Lidar-Technik arbeitenden Laserscanner sind deshalb wegen ihrer feinmechanischen Komponenten im Nachteil. Sie können bei Stürzen Schaden nehmen und sollten zumindest neu kalibriert werden. Radarsensoren sind dagegen weniger anfällig und arbeiten meist auch nach Stürzen meist noch zuverlässig.
Wie bei autonomen Fahrzeugen gibt es auch bei humanoiden Robotern aktuell unterschiedliche Philosophien. Die Kombination mehrerer Verfahren erhöht dabei die Sicherheit. Um von hinten herannahende Objekte zu erkennen, werden dazu oft auch auf der Rückseite Kameras angebracht, teilweise auch zusätzliche Radarsensoren.
Zum Vergleich: Tesla hatte sich bei seinen Autos aus Kostengründen zwischenzeitlich für rein kamerabasierte Lösungen entschieden und Ultraschallsensoren sowie Radar aus den Fahrzeugen verbannt. Inzwischen integriert Tesla aber wieder Radar-Technik. Ähnliche Lernkurven sind auch bei humanoiden Robotern zu erwarten, unabhängig davon, ob sie von Tesla oder anderen Herstellern kommen.
Ein Beitrag von:
