Innovation vom MIT 11.05.2023, 07:00 Uhr

Dank KI: Glänzende Objekte werden zu Kameras

Reflexionen in Fensterscheiben, Spiegeln oder beispielsweise auf einem lackierten Auto können dazu beitragen, die Umgebung zu erkennen und einzuordnen. MIT-Forschende haben diesen Ansatz in eine neue Computer-Technologie verwandelt. Eine künstliche Intelligenz (KI) passt die Perspektive an – und der Blick um die Ecke wird möglich.

reflexion

Reflexionen werden analysiert, um die Umgebung besser wahrnehmen zu können.

Foto: MIT

Ein Kind rennt zwischen zwei parkenden Autos einem Ball hinterher. Glücklicherweise spiegelt sich seine Silhouette auf dem glänzenden Lack – und das autonome Fahrzeug, das sich der Szene nähert, macht eine Vollbremsung. So könnte eine Verkehrssituation in der Zukunft aussehen. Denn Wissenschaftler und Wissenschaftlerinnen vom Massachusetts Institute of Technology (MIT) haben eine Möglichkeit gefunden, Reflexionen wie Sensoren zu nutzen. Auf diese Weise verändern sie im Grunde genommen die Perspektive und liefern einer künstlichen Intelligenz zusätzliche Informationen für Entscheidungen.

Autonomes Fahren: Künstliche Intelligenz lernt vom Menschen

Top Stellenangebote

Zur Jobbörse
Stuttgarter Straßenbahnen AG-Firmenlogo
Projektingenieur:in / Planer:in - BOS-Funksystem / Funkinfrastruktur / Roll-Out (m/w/d) Stuttgarter Straßenbahnen AG
Stuttgart Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) als Experte für Vergabe und Vertragsabwicklung von Bauleistungen Die Autobahn GmbH des Bundes
Stadtwerke München GmbH-Firmenlogo
Strategische*r Einkäufer*in Anlagenbau (m/w/d) Stadtwerke München GmbH
München Zum Job 
Heinrich Wassermann GmbH & Co. KG-Firmenlogo
Bauleiter / Bauingenieur / Projektingenieur (m/w/d) als Projektleiter für Hochbau oder Tiefbau Heinrich Wassermann GmbH & Co. KG
Crossen Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Bauwerkserhaltung und -prüfung Die Autobahn GmbH des Bundes
Bochum, Dillenburg, Osnabrück Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Vermessungsingenieur (w/m/d) Die Autobahn GmbH des Bundes
PASS GmbH & Co. KG-Firmenlogo
Entwicklungsingenieur/in oder Chemieingenieur/in (m/w/x) PASS GmbH & Co. KG
Schwelm Zum Job 
PASS GmbH & Co. KG-Firmenlogo
Entwicklungsingenieur/in oder Chemieingenieur/in (m/w/x) PASS GmbH & Co. KG
Schwelm Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur/in als Experte (w/m/d) Brückenprüfung Die Autobahn GmbH des Bundes
Montabaur Zum Job 
Richard Wolf GmbH-Firmenlogo
Abteilungsleiter Auftragsmanagement (m/w/d) Richard Wolf GmbH
Knittlingen Zum Job 
Stadtwerke Potsdam GmbH-Firmenlogo
Elektroingenieur (m/w/d) Planung Versorgungs- und Entsorgungsnetze Stadtwerke Potsdam GmbH
Potsdam Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Bauwerksprüfer im Brückenbau (m/w/d) Die Autobahn GmbH des Bundes
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Landschaftsplaner / Biologe (w/m/d) Die Autobahn GmbH des Bundes
Darmstadt Zum Job 
Reflex Winkelmann GmbH-Firmenlogo
System Engineer (m/w/d) Reflex Winkelmann GmbH
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur/in als Bauwerksprüfer (w/m/d) Die Autobahn GmbH des Bundes
Darmstadt Zum Job 
Diehl Aerospace GmbH-Firmenlogo
Ingenieur / Entwicklungsingenieur (m/w/d) Avionik (System) Diehl Aerospace GmbH
Frankfurt / Main, Nürnberg, Rostock, Überlingen am Bodensee Zum Job 
Die Autobahn GmbH des Bundes, Niederlassung Südbayern-Firmenlogo
Teamleitung (m/w/d) Neubau Ost 1 und Neubau Ost 2 Die Autobahn GmbH des Bundes, Niederlassung Südbayern
München Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Sachbearbeiter/in (w/m/d) Immissionsschutz Die Autobahn GmbH des Bundes
Darmstadt, Brücken (Pfalz) Zum Job 
Deutsche Rentenversicherung Bund-Firmenlogo
Projektarchitekt*in mit Gesamtprojektverantwortung (m/w/div) Deutsche Rentenversicherung Bund
Verband der Automobilindustrie e.V. (VDA)-Firmenlogo
Referent (m/w/d) Technische Vorschriften & Werkstoffe Verband der Automobilindustrie e.V. (VDA)

KI berechnet Verzerrungen in Reflexionen

Ob es eine Vase ist, eine metallische Türeinfassung oder die Seitenscheibe eines Autos – Reflexionen spiegeln Objekte in ihrer Umgebung. Wer schon einmal das eigene Gesicht als Reflexion in einer Keramiktasse gesehen hat, weiß aber auch, dass diese Bilder mehr oder weniger stark verzerrt sind. Den MIT-Forschenden ist es gelungen, dieses Problem zu lösen.

Sie haben eine Software entwickelt, deren Herzstück eine KI ist. Sie kann die Tiefe der Szene einschätzen, Verzerrungen herausrechnen und schließlich ein Bild liefern, das so aussieht, als sei es aus der Perspektive des Objektes aufgenommen. So wird die glänzende Vase, vereinfacht gesagt, zur Kamera.

Unter anderem für autonome Fahrzeuge könnte die Technik wie ein weiterer Sensor eingesetzt werden. Reflexionen, beispielsweise von Gebäuden, Laternenpfählen oder anderen Autos, könnten Informationen liefern, die das Fahrverhalten beziehungsweise die Entscheidungen des Computers beeinflussen.

KI erstellt virtuelle Pixel

Die Art der Verzerrung hängt von verschiedenen Faktoren ab, unter anderem von der Form des Objektes und von der Oberfläche. Auch die Farbe kann Einfluss darauf haben, wie eine Spiegelung wahrgenommen wird. Zudem sind Reflexionen natürlich zweidimensional, bilden aber dreidimensionale Objekte ab. Das ist ein Problem, wenn es darum geht, die Größe und die Tiefe der Objekte einzuschätzen.

Die Forschenden lösen diese Herausforderungen in drei Schritten: Ihre Technik, Objects as Radiance-Field Cameras (ORCa) genannt, nimmt zunächst Bilder eines Objekts aus verschiedenen Blickwinkeln auf, um mehrere Reflexionen auf dem glänzenden Objekt zu erfassen. Im nächsten Schritt wandelt
ORCa für jedes Bild der realen Kamera mithilfe von maschinellem Lernen die Oberfläche des Objekts in einen virtuellen Sensor um. Dieser erfasst Licht und Reflexionen, die auf jedem virtuellen Pixel auf der Oberfläche des Objekts ankommen. Im letzten Schritt verwendet das System virtuelle Pixel auf der Oberfläche des Objekts, um die 3D-Umgebung aus der Sicht des Objekts zu modellieren.

 

Durch künstliche Intelligenz um die Ecke gucken

Durch die Aufnahme des Objekts aus vielen Winkeln kann ORCa Multiview-Reflexionen einfangen, die das System einsetzt, um die Tiefe zwischen dem glänzenden Objekt und anderen Objekten in der Umgebung zu schätzen. Auch die Form des Objekts kann das System so besser einordnen. ORCa modelliert die Szene also als 5D-Strahlungsfeld, das zusätzliche Informationen über die Intensität und Richtung der Lichtstrahlen erfasst, die von jedem Punkt der Szene ausgehen und auf ihn treffen. Entsprechend komplex werden die Bilder für Betrachtende dargestellt. Zum Beispiel kann die Technologie Gegenstände sichtbar machen, die sonst durch Hindernisse verdeckt oder hinter Ecken verborgen wären.

Sobald ORCa dieses 5D-Strahlungsfeld erfasst hat, kann der Benutzer eine virtuelle Kamera an beliebiger Stelle in der Szene platzieren und dann sehen, was diese Kamera sehen würde. „Es war eine besondere Herausforderung, von einem 2D-Bild zu einer 5D-Umgebung überzugehen. Man muss sicherstellen, dass das Mapping funktioniert und physikalisch genau ist, also darauf basiert, wie sich das Licht im Raum bewegt und wie es mit der Umgebung interagiert. Wir haben viel Zeit damit verbracht, darüber nachzudenken, wie wir eine Oberfläche modellieren können“, sagt Kushagra Tiwary, Doktorand in der Camera Culture Group am Media Lab des MIT.

Räumliche KI in der Robotik: Wie Drohnen durch anspruchsvolle Umgebungen navigieren

KI könnte die Sicht von Drohnen verbessern

Als Nächstes will das Team diese Technik auf die Bildgebung von Drohnen übertragen. ORCa könnte schwache Reflexionen von Objekten, über die eine Drohne fliegt, nutzen, um eine Szene vom Boden aus zu rekonstruieren. Außerdem wollen sie ORCa so verbessern, dass es auch andere Anhaltspunkte wie Schatten nutzen kann, um verborgene Informationen zu rekonstruieren.

Mehr lesen über künstliche Intelligenz:

Ein Beitrag von:

  • Nicole Lücke

    Nicole Lücke macht Wissenschaftsjournalismus für Forschungszentren und Hochschulen, berichtet von medizinischen Fachkongressen und betreut Kundenmagazine für Energieversorger. Sie ist Gesellschafterin von Content Qualitäten. Ihre Themen: Energie, Technik, Nachhaltigkeit, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.