Revolutionäre 3D-Modellierung 19.06.2024, 12:30 Uhr

Schattenspiele: Wie MIT-Forschende verdeckte Objekte sichtbar machen

MIT-Forschende haben eine Technologie namens PlatoNeRF entwickelt, die Schatten nutzt, um verdeckte Objekte in 3D-Szenen sichtbar zu machen. Diese Technik könnte die Sicherheit autonomer Fahrzeuge erhöhen und die Effizienz von AR/VR-Headsets sowie Lagerrobotern verbessern.

MIT Plato-NeRF

Plato-NeRF ist ein Computer-Vision-System, das Lidar-Messungen mit maschinellem Lernen kombiniert, um eine 3D-Szene, einschließlich versteckter Objekte, aus nur einer Kameraansicht zu rekonstruieren, indem es Schatten ausnutzt. Hier modelliert das System das Kaninchen auf dem Stuhl genau, obwohl das Kaninchen nicht zu sehen ist.

Foto: Courtesy of the researchers, edited by MIT News

Stellen Sie sich vor, Sie fahren in einem autonomen Fahrzeug durch einen Tunnel. Plötzlich kommt es zu einem Unfall und der Verkehr steht still. Normalerweise müssten Sie auf das Auto vor Ihnen vertrauen, um rechtzeitig zu bremsen. Doch was wäre, wenn Ihr Fahrzeug durch ein innovatives System bereits früher erkennen könnte, was vor dem vorausfahrenden Auto passiert? Dies könnte in naher Zukunft Realität werden, dank einer neuen Technologie, die von Forschenden des MIT und von Meta entwickelt wurde.

Neue Technik: 3D-Szenen durch Schatten rekonstruieren

Die Forschenden haben eine Methode entwickelt, mit der physikalisch genaue 3D-Modelle einer Szene erstellt werden können, auch von Bereichen, die nicht direkt einsehbar sind. Diese Technik nutzt Schatten, um die Position verdeckter Objekte zu bestimmen. Sie nennen diesen Ansatz PlatoNeRF, inspiriert von Platons Höhlengleichnis, in dem Gefangene die Realität der Außenwelt anhand der Schatten an der Höhlenwand erkennen.

Top Stellenangebote

Zur Jobbörse
Stuttgarter Straßenbahnen AG-Firmenlogo
Projektingenieur:in / Planer:in - BOS-Funksystem / Funkinfrastruktur / Roll-Out (m/w/d) Stuttgarter Straßenbahnen AG
Stuttgart Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) als Experte für Vergabe und Vertragsabwicklung von Bauleistungen Die Autobahn GmbH des Bundes
Stadtwerke München GmbH-Firmenlogo
Strategische*r Einkäufer*in Anlagenbau (m/w/d) Stadtwerke München GmbH
München Zum Job 
Heinrich Wassermann GmbH & Co. KG-Firmenlogo
Bauleiter / Bauingenieur / Projektingenieur (m/w/d) als Projektleiter für Hochbau oder Tiefbau Heinrich Wassermann GmbH & Co. KG
Crossen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Bauwerkserhaltung und -prüfung Die Autobahn GmbH des Bundes
Bochum, Dillenburg, Osnabrück Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Vermessungsingenieur (w/m/d) Die Autobahn GmbH des Bundes
PASS GmbH & Co. KG-Firmenlogo
Entwicklungsingenieur/in oder Chemieingenieur/in (m/w/x) PASS GmbH & Co. KG
Schwelm Zum Job 
PASS GmbH & Co. KG-Firmenlogo
Entwicklungsingenieur/in oder Chemieingenieur/in (m/w/x) PASS GmbH & Co. KG
Schwelm Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur/in als Experte (w/m/d) Brückenprüfung Die Autobahn GmbH des Bundes
Montabaur Zum Job 
Richard Wolf GmbH-Firmenlogo
Abteilungsleiter Auftragsmanagement (m/w/d) Richard Wolf GmbH
Knittlingen Zum Job 
Stadtwerke Potsdam GmbH-Firmenlogo
Elektroingenieur (m/w/d) Planung Versorgungs- und Entsorgungsnetze Stadtwerke Potsdam GmbH
Potsdam Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Bauwerksprüfer im Brückenbau (m/w/d) Die Autobahn GmbH des Bundes
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Landschaftsplaner / Biologe (w/m/d) Die Autobahn GmbH des Bundes
Darmstadt Zum Job 
Reflex Winkelmann GmbH-Firmenlogo
System Engineer (m/w/d) Reflex Winkelmann GmbH
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur/in als Bauwerksprüfer (w/m/d) Die Autobahn GmbH des Bundes
Darmstadt Zum Job 
Diehl Aerospace GmbH-Firmenlogo
Ingenieur / Entwicklungsingenieur (m/w/d) Avionik (System) Diehl Aerospace GmbH
Frankfurt / Main, Nürnberg, Rostock, Überlingen am Bodensee Zum Job 
Die Autobahn GmbH des Bundes, Niederlassung Südbayern-Firmenlogo
Teamleitung (m/w/d) Neubau Ost 1 und Neubau Ost 2 Die Autobahn GmbH des Bundes, Niederlassung Südbayern
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Sachbearbeiter/in (w/m/d) Immissionsschutz Die Autobahn GmbH des Bundes
Darmstadt, Brücken (Pfalz) Zum Job 
Deutsche Rentenversicherung Bund-Firmenlogo
Projektarchitekt*in mit Gesamtprojektverantwortung (m/w/div) Deutsche Rentenversicherung Bund
Verband der Automobilindustrie e.V. (VDA)-Firmenlogo
Referent (m/w/d) Technische Vorschriften & Werkstoffe Verband der Automobilindustrie e.V. (VDA)

PlatoNeRF kombiniert Lidar-Technologie (Light Detection and Ranging) mit maschinellem Lernen. Dies ermöglicht präzisere 3D-Rekonstruktionen als einige bestehende KI-Techniken. Besonders beeindruckend ist, dass PlatoNeRF auch in Szenen mit schwer erkennbaren Schatten, etwa bei starkem Umgebungslicht oder dunklen Hintergründen, effektiv arbeitet.

Anwendungen und Vorteile

Diese Technik könnte die Sicherheit autonomer Fahrzeuge erheblich verbessern. Wenn Fahrzeuge durch Schatten sehen können, könnten sie potenzielle Gefahren früher erkennen und schneller reagieren.

Doch nicht nur im Straßenverkehr bietet PlatoNeRF Vorteile. AR/VR-Headsets könnten effizienter werden, indem sie die Geometrie eines Raums modellieren, ohne dass die anwendende Person herumlaufen und Messungen vornehmen muss. Auch in Lagerhäusern könnten Roboter schneller und präziser arbeiten, indem sie Gegenstände in unübersichtlichen Umgebungen besser finden.

Die Technologie hinter PlatoNeRF

PlatoNeRF baut auf Single-Photon-Lidar auf, einer neuen Sensormodalität. Lidar-Systeme erfassen 3D-Szenen, indem sie Lichtpulse aussenden und die Zeit messen, die das Licht benötigt, um zum Sensor zurückzukehren. Single-Photon-Lidars erkennen einzelne Photonen und liefern daher Daten mit hoher Auflösung.

Und so funktioniert das im Detail: Das Forschungsteam beleuchtet mit dem Single-Photon-Lidar einen Punkt in der Szene. Ein Teil des Lichts kehrt direkt zum Sensor zurück, der Großteil jedoch wird gestreut und prallt an anderen Objekten ab, bevor er zurückkehrt. PlatoNeRF nutzt diese sekundären Lichtreflexe, um zusätzliche Informationen über die Szene zu erfassen, einschließlich der Tiefe und Schatten.

Durch die Berechnung der Zeit, die das Licht benötigt, um zweimal abzuprallen und dann zum Sensor zurückzukehren, kann PlatoNeRF die Geometrie verborgener Objekte ermitteln. Das System beleuchtet nacheinander 16 Punkte und nimmt mehrere Bilder auf, die zur Rekonstruktion der gesamten 3D-Szene verwendet werden.

Die größte Herausforderung

Der Schlüssel zum Erfolg von PlatoNeRF liegt in der Kombination von Multibounce-Lidar mit einem speziellen maschinellen Lernmodell, dem neuronalen Strahlungsfeld (NeRF). NeRF kodiert die Geometrie einer Szene in den Gewichten eines neuronalen Netzes und ermöglicht so eine präzise Interpolation neuer Ansichten der Szene. Diese Kombination führt zu hochpräzisen 3D-Rekonstruktionen, auch bei Szenen mit niedriger Auflösung.

„Die größte Herausforderung bestand darin, diese beiden Technologien zu kombinieren“, sagt Tzofi Klinghoffer, MIT-Diplomstudent und Hauptautor der Studie. „Wir mussten die Physik des Lichttransports mit Multibounce-Lidar verstehen und in ein maschinelles Lernmodell integrieren.“

Praktische Anwendungen und Zukunftsaussichten

Das Forscherteam verglich PlatoNeRF mit zwei alternativen Methoden: einer Methode, die nur Lidar verwendet, und einer Methode, die nur NeRF mit Farbbildern verwendet. Sie stellten fest, dass PlatoNeRF beide Methoden übertrifft, insbesondere bei Lidars mit geringerer Auflösung. Damit ist die Technik auch für den Einsatz in der realen Welt geeignet, wo Sensoren mit geringerer Auflösung häufig verwendet werden.

In Zukunft wollen die Forscher die Anzahl der Lichtreflexe erhöhen, um die Rekonstruktion weiter zu verbessern. Außerdem wollen sie weitere Deep-Learning-Techniken integrieren und PlatoNeRF mit Farbbildmessungen kombinieren, um auch Texturinformationen zu erfassen.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.