Schattenspiele: Wie MIT-Forschende verdeckte Objekte sichtbar machen
MIT-Forschende haben eine Technologie namens PlatoNeRF entwickelt, die Schatten nutzt, um verdeckte Objekte in 3D-Szenen sichtbar zu machen. Diese Technik könnte die Sicherheit autonomer Fahrzeuge erhöhen und die Effizienz von AR/VR-Headsets sowie Lagerrobotern verbessern.
Plato-NeRF ist ein Computer-Vision-System, das Lidar-Messungen mit maschinellem Lernen kombiniert, um eine 3D-Szene, einschließlich versteckter Objekte, aus nur einer Kameraansicht zu rekonstruieren, indem es Schatten ausnutzt. Hier modelliert das System das Kaninchen auf dem Stuhl genau, obwohl das Kaninchen nicht zu sehen ist.
Foto: Courtesy of the researchers, edited by MIT News
Stellen Sie sich vor, Sie fahren in einem autonomen Fahrzeug durch einen Tunnel. Plötzlich kommt es zu einem Unfall und der Verkehr steht still. Normalerweise müssten Sie auf das Auto vor Ihnen vertrauen, um rechtzeitig zu bremsen. Doch was wäre, wenn Ihr Fahrzeug durch ein innovatives System bereits früher erkennen könnte, was vor dem vorausfahrenden Auto passiert? Dies könnte in naher Zukunft Realität werden, dank einer neuen Technologie, die von Forschenden des MIT und von Meta entwickelt wurde.
Neue Technik: 3D-Szenen durch Schatten rekonstruieren
Die Forschenden haben eine Methode entwickelt, mit der physikalisch genaue 3D-Modelle einer Szene erstellt werden können, auch von Bereichen, die nicht direkt einsehbar sind. Diese Technik nutzt Schatten, um die Position verdeckter Objekte zu bestimmen. Sie nennen diesen Ansatz PlatoNeRF, inspiriert von Platons Höhlengleichnis, in dem Gefangene die Realität der Außenwelt anhand der Schatten an der Höhlenwand erkennen.
PlatoNeRF kombiniert Lidar-Technologie (Light Detection and Ranging) mit maschinellem Lernen. Dies ermöglicht präzisere 3D-Rekonstruktionen als einige bestehende KI-Techniken. Besonders beeindruckend ist, dass PlatoNeRF auch in Szenen mit schwer erkennbaren Schatten, etwa bei starkem Umgebungslicht oder dunklen Hintergründen, effektiv arbeitet.
Anwendungen und Vorteile
Diese Technik könnte die Sicherheit autonomer Fahrzeuge erheblich verbessern. Wenn Fahrzeuge durch Schatten sehen können, könnten sie potenzielle Gefahren früher erkennen und schneller reagieren.
Doch nicht nur im Straßenverkehr bietet PlatoNeRF Vorteile. AR/VR-Headsets könnten effizienter werden, indem sie die Geometrie eines Raums modellieren, ohne dass die anwendende Person herumlaufen und Messungen vornehmen muss. Auch in Lagerhäusern könnten Roboter schneller und präziser arbeiten, indem sie Gegenstände in unübersichtlichen Umgebungen besser finden.
Die Technologie hinter PlatoNeRF
PlatoNeRF baut auf Single-Photon-Lidar auf, einer neuen Sensormodalität. Lidar-Systeme erfassen 3D-Szenen, indem sie Lichtpulse aussenden und die Zeit messen, die das Licht benötigt, um zum Sensor zurückzukehren. Single-Photon-Lidars erkennen einzelne Photonen und liefern daher Daten mit hoher Auflösung.
Und so funktioniert das im Detail: Das Forschungsteam beleuchtet mit dem Single-Photon-Lidar einen Punkt in der Szene. Ein Teil des Lichts kehrt direkt zum Sensor zurück, der Großteil jedoch wird gestreut und prallt an anderen Objekten ab, bevor er zurückkehrt. PlatoNeRF nutzt diese sekundären Lichtreflexe, um zusätzliche Informationen über die Szene zu erfassen, einschließlich der Tiefe und Schatten.
Durch die Berechnung der Zeit, die das Licht benötigt, um zweimal abzuprallen und dann zum Sensor zurückzukehren, kann PlatoNeRF die Geometrie verborgener Objekte ermitteln. Das System beleuchtet nacheinander 16 Punkte und nimmt mehrere Bilder auf, die zur Rekonstruktion der gesamten 3D-Szene verwendet werden.
Die größte Herausforderung
Der Schlüssel zum Erfolg von PlatoNeRF liegt in der Kombination von Multibounce-Lidar mit einem speziellen maschinellen Lernmodell, dem neuronalen Strahlungsfeld (NeRF). NeRF kodiert die Geometrie einer Szene in den Gewichten eines neuronalen Netzes und ermöglicht so eine präzise Interpolation neuer Ansichten der Szene. Diese Kombination führt zu hochpräzisen 3D-Rekonstruktionen, auch bei Szenen mit niedriger Auflösung.
„Die größte Herausforderung bestand darin, diese beiden Technologien zu kombinieren“, sagt Tzofi Klinghoffer, MIT-Diplomstudent und Hauptautor der Studie. „Wir mussten die Physik des Lichttransports mit Multibounce-Lidar verstehen und in ein maschinelles Lernmodell integrieren.“
Praktische Anwendungen und Zukunftsaussichten
Das Forscherteam verglich PlatoNeRF mit zwei alternativen Methoden: einer Methode, die nur Lidar verwendet, und einer Methode, die nur NeRF mit Farbbildern verwendet. Sie stellten fest, dass PlatoNeRF beide Methoden übertrifft, insbesondere bei Lidars mit geringerer Auflösung. Damit ist die Technik auch für den Einsatz in der realen Welt geeignet, wo Sensoren mit geringerer Auflösung häufig verwendet werden.
In Zukunft wollen die Forscher die Anzahl der Lichtreflexe erhöhen, um die Rekonstruktion weiter zu verbessern. Außerdem wollen sie weitere Deep-Learning-Techniken integrieren und PlatoNeRF mit Farbbildmessungen kombinieren, um auch Texturinformationen zu erfassen.
Ein Beitrag von:
