Dank KI: Glänzende Objekte werden zu Kameras
Reflexionen in Fensterscheiben, Spiegeln oder beispielsweise auf einem lackierten Auto können dazu beitragen, die Umgebung zu erkennen und einzuordnen. MIT-Forschende haben diesen Ansatz in eine neue Computer-Technologie verwandelt. Eine künstliche Intelligenz (KI) passt die Perspektive an – und der Blick um die Ecke wird möglich.
Reflexionen werden analysiert, um die Umgebung besser wahrnehmen zu können.
Foto: MIT
Ein Kind rennt zwischen zwei parkenden Autos einem Ball hinterher. Glücklicherweise spiegelt sich seine Silhouette auf dem glänzenden Lack – und das autonome Fahrzeug, das sich der Szene nähert, macht eine Vollbremsung. So könnte eine Verkehrssituation in der Zukunft aussehen. Denn Wissenschaftler und Wissenschaftlerinnen vom Massachusetts Institute of Technology (MIT) haben eine Möglichkeit gefunden, Reflexionen wie Sensoren zu nutzen. Auf diese Weise verändern sie im Grunde genommen die Perspektive und liefern einer künstlichen Intelligenz zusätzliche Informationen für Entscheidungen.
Autonomes Fahren: Künstliche Intelligenz lernt vom Menschen
KI berechnet Verzerrungen in Reflexionen
Ob es eine Vase ist, eine metallische Türeinfassung oder die Seitenscheibe eines Autos – Reflexionen spiegeln Objekte in ihrer Umgebung. Wer schon einmal das eigene Gesicht als Reflexion in einer Keramiktasse gesehen hat, weiß aber auch, dass diese Bilder mehr oder weniger stark verzerrt sind. Den MIT-Forschenden ist es gelungen, dieses Problem zu lösen.
Sie haben eine Software entwickelt, deren Herzstück eine KI ist. Sie kann die Tiefe der Szene einschätzen, Verzerrungen herausrechnen und schließlich ein Bild liefern, das so aussieht, als sei es aus der Perspektive des Objektes aufgenommen. So wird die glänzende Vase, vereinfacht gesagt, zur Kamera.
Unter anderem für autonome Fahrzeuge könnte die Technik wie ein weiterer Sensor eingesetzt werden. Reflexionen, beispielsweise von Gebäuden, Laternenpfählen oder anderen Autos, könnten Informationen liefern, die das Fahrverhalten beziehungsweise die Entscheidungen des Computers beeinflussen.
KI erstellt virtuelle Pixel
Die Art der Verzerrung hängt von verschiedenen Faktoren ab, unter anderem von der Form des Objektes und von der Oberfläche. Auch die Farbe kann Einfluss darauf haben, wie eine Spiegelung wahrgenommen wird. Zudem sind Reflexionen natürlich zweidimensional, bilden aber dreidimensionale Objekte ab. Das ist ein Problem, wenn es darum geht, die Größe und die Tiefe der Objekte einzuschätzen.
Die Forschenden lösen diese Herausforderungen in drei Schritten: Ihre Technik, Objects as Radiance-Field Cameras (ORCa) genannt, nimmt zunächst Bilder eines Objekts aus verschiedenen Blickwinkeln auf, um mehrere Reflexionen auf dem glänzenden Objekt zu erfassen. Im nächsten Schritt wandelt
ORCa für jedes Bild der realen Kamera mithilfe von maschinellem Lernen die Oberfläche des Objekts in einen virtuellen Sensor um. Dieser erfasst Licht und Reflexionen, die auf jedem virtuellen Pixel auf der Oberfläche des Objekts ankommen. Im letzten Schritt verwendet das System virtuelle Pixel auf der Oberfläche des Objekts, um die 3D-Umgebung aus der Sicht des Objekts zu modellieren.
Durch künstliche Intelligenz um die Ecke gucken
Durch die Aufnahme des Objekts aus vielen Winkeln kann ORCa Multiview-Reflexionen einfangen, die das System einsetzt, um die Tiefe zwischen dem glänzenden Objekt und anderen Objekten in der Umgebung zu schätzen. Auch die Form des Objekts kann das System so besser einordnen. ORCa modelliert die Szene also als 5D-Strahlungsfeld, das zusätzliche Informationen über die Intensität und Richtung der Lichtstrahlen erfasst, die von jedem Punkt der Szene ausgehen und auf ihn treffen. Entsprechend komplex werden die Bilder für Betrachtende dargestellt. Zum Beispiel kann die Technologie Gegenstände sichtbar machen, die sonst durch Hindernisse verdeckt oder hinter Ecken verborgen wären.
Sobald ORCa dieses 5D-Strahlungsfeld erfasst hat, kann der Benutzer eine virtuelle Kamera an beliebiger Stelle in der Szene platzieren und dann sehen, was diese Kamera sehen würde. „Es war eine besondere Herausforderung, von einem 2D-Bild zu einer 5D-Umgebung überzugehen. Man muss sicherstellen, dass das Mapping funktioniert und physikalisch genau ist, also darauf basiert, wie sich das Licht im Raum bewegt und wie es mit der Umgebung interagiert. Wir haben viel Zeit damit verbracht, darüber nachzudenken, wie wir eine Oberfläche modellieren können“, sagt Kushagra Tiwary, Doktorand in der Camera Culture Group am Media Lab des MIT.
Räumliche KI in der Robotik: Wie Drohnen durch anspruchsvolle Umgebungen navigieren
KI könnte die Sicht von Drohnen verbessern
Als Nächstes will das Team diese Technik auf die Bildgebung von Drohnen übertragen. ORCa könnte schwache Reflexionen von Objekten, über die eine Drohne fliegt, nutzen, um eine Szene vom Boden aus zu rekonstruieren. Außerdem wollen sie ORCa so verbessern, dass es auch andere Anhaltspunkte wie Schatten nutzen kann, um verborgene Informationen zu rekonstruieren.
Mehr lesen über künstliche Intelligenz:
Ein Beitrag von:
