Innovation vom MIT 11.05.2023, 07:00 Uhr

Dank KI: Glänzende Objekte werden zu Kameras

Reflexionen in Fensterscheiben, Spiegeln oder beispielsweise auf einem lackierten Auto können dazu beitragen, die Umgebung zu erkennen und einzuordnen. MIT-Forschende haben diesen Ansatz in eine neue Computer-Technologie verwandelt. Eine künstliche Intelligenz (KI) passt die Perspektive an – und der Blick um die Ecke wird möglich.

reflexion

Reflexionen werden analysiert, um die Umgebung besser wahrnehmen zu können.

Foto: MIT

Ein Kind rennt zwischen zwei parkenden Autos einem Ball hinterher. Glücklicherweise spiegelt sich seine Silhouette auf dem glänzenden Lack – und das autonome Fahrzeug, das sich der Szene nähert, macht eine Vollbremsung. So könnte eine Verkehrssituation in der Zukunft aussehen. Denn Wissenschaftler und Wissenschaftlerinnen vom Massachusetts Institute of Technology (MIT) haben eine Möglichkeit gefunden, Reflexionen wie Sensoren zu nutzen. Auf diese Weise verändern sie im Grunde genommen die Perspektive und liefern einer künstlichen Intelligenz zusätzliche Informationen für Entscheidungen.

Autonomes Fahren: Künstliche Intelligenz lernt vom Menschen

Top Stellenangebote

Zur Jobbörse
Wirtschaftsbetrieb Hagen AöR-Firmenlogo
Planungsingenieur*in Siedlungswasserwirtschaft (m/w/d) Wirtschaftsbetrieb Hagen AöR
LAMILUX Heinrich Strunz Gruppe-Firmenlogo
Entwickler (m/w/d) für nachhaltige Produkte LAMILUX Heinrich Strunz Gruppe
Rehau (Raum Hof) Zum Job 
LAMILUX Heinrich Strunz Gruppe-Firmenlogo
Ingenieur (m/w/d) Forschung und Vorentwicklung LAMILUX Heinrich Strunz Gruppe
Rehau (Raum Hof) Zum Job 
über KNAISCH CONSULTING GMBH-Firmenlogo
Head (f/m/d) of Environment, Health and Safety Services (EHS) über KNAISCH CONSULTING GMBH
WEMAG Projektentwicklung GmbH-Firmenlogo
Koordinator Netzdienstleistungen (m/w/d) WEMAG Projektentwicklung GmbH
Schwerin Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Ingenieur*in / Architekt*in / Bauleiter*in (m/w/d) für Großprojekte der Bereiche Infrastruktur (Freileitung, Kabeltiefbau, Bahn) THOST Projektmanagement GmbH
verschiedene Standorte Zum Job 
KNAISCH CONSULTING GMBH-Firmenlogo
Head (f/m/d) of Project Management Transformation Office KNAISCH CONSULTING GMBH
Hannover Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Mitarbeiter:in (m/w/d) für Grundsatzfragen im Bereich Qualitäts- und Prozessmanagement Berliner Wasserbetriebe
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Ingenieur (w/m/d) Flugsicherungstechnik - Bereich Surveillance DFS Deutsche Flugsicherung GmbH
DFS Deutsche Flugsicherung GmbH-Firmenlogo
Ingenieur* für Flugsicherungstechnik (w/m/d) DFS Deutsche Flugsicherung GmbH
THOST Projektmanagement GmbH-Firmenlogo
Consultant (m/w/d) im Projektmanagement der Energiewende THOST Projektmanagement GmbH
verschiedene Standorte Zum Job 
Albert Handtmann Maschinenfabrik GmbH & Co. KG-Firmenlogo
Projektmanager HCS (m/w/d) Linien- und Prozesslösungen Albert Handtmann Maschinenfabrik GmbH & Co. KG
Biberach an der Riß Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Vergabeingenieur (m/w/d) Niederlassung West Die Autobahn GmbH des Bundes
Montabaur Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Experte Brückenprüfung (m/w/d) in unserer Niederlassung West Die Autobahn GmbH des Bundes
Montabaur Zum Job 
ANDRITZ Separation GmbH-Firmenlogo
Teamleitung (m/w/d) Konstruktion ANDRITZ Separation GmbH
Ravensburg Zum Job 
Deutsche Infineum GmbH & Co. KG-Firmenlogo
Engineering Leader (m/f/d) Deutsche Infineum GmbH & Co. KG
Die Autobahn GmbH des Bundes-Firmenlogo
Projektingenieur (w/m/d) im Bereich Ladeinfrastruktur Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) für die Projektleitung von Brücken und Ingenieurbauwerken Die Autobahn GmbH des Bundes
Nürnberg Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Straßenbetriebsdienst als Teamleitung Die Autobahn GmbH des Bundes
Nürnberg Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 

KI berechnet Verzerrungen in Reflexionen

Ob es eine Vase ist, eine metallische Türeinfassung oder die Seitenscheibe eines Autos – Reflexionen spiegeln Objekte in ihrer Umgebung. Wer schon einmal das eigene Gesicht als Reflexion in einer Keramiktasse gesehen hat, weiß aber auch, dass diese Bilder mehr oder weniger stark verzerrt sind. Den MIT-Forschenden ist es gelungen, dieses Problem zu lösen.

Sie haben eine Software entwickelt, deren Herzstück eine KI ist. Sie kann die Tiefe der Szene einschätzen, Verzerrungen herausrechnen und schließlich ein Bild liefern, das so aussieht, als sei es aus der Perspektive des Objektes aufgenommen. So wird die glänzende Vase, vereinfacht gesagt, zur Kamera.

Unter anderem für autonome Fahrzeuge könnte die Technik wie ein weiterer Sensor eingesetzt werden. Reflexionen, beispielsweise von Gebäuden, Laternenpfählen oder anderen Autos, könnten Informationen liefern, die das Fahrverhalten beziehungsweise die Entscheidungen des Computers beeinflussen.

KI erstellt virtuelle Pixel

Die Art der Verzerrung hängt von verschiedenen Faktoren ab, unter anderem von der Form des Objektes und von der Oberfläche. Auch die Farbe kann Einfluss darauf haben, wie eine Spiegelung wahrgenommen wird. Zudem sind Reflexionen natürlich zweidimensional, bilden aber dreidimensionale Objekte ab. Das ist ein Problem, wenn es darum geht, die Größe und die Tiefe der Objekte einzuschätzen.

Die Forschenden lösen diese Herausforderungen in drei Schritten: Ihre Technik, Objects as Radiance-Field Cameras (ORCa) genannt, nimmt zunächst Bilder eines Objekts aus verschiedenen Blickwinkeln auf, um mehrere Reflexionen auf dem glänzenden Objekt zu erfassen. Im nächsten Schritt wandelt
ORCa für jedes Bild der realen Kamera mithilfe von maschinellem Lernen die Oberfläche des Objekts in einen virtuellen Sensor um. Dieser erfasst Licht und Reflexionen, die auf jedem virtuellen Pixel auf der Oberfläche des Objekts ankommen. Im letzten Schritt verwendet das System virtuelle Pixel auf der Oberfläche des Objekts, um die 3D-Umgebung aus der Sicht des Objekts zu modellieren.

 

Durch künstliche Intelligenz um die Ecke gucken

Durch die Aufnahme des Objekts aus vielen Winkeln kann ORCa Multiview-Reflexionen einfangen, die das System einsetzt, um die Tiefe zwischen dem glänzenden Objekt und anderen Objekten in der Umgebung zu schätzen. Auch die Form des Objekts kann das System so besser einordnen. ORCa modelliert die Szene also als 5D-Strahlungsfeld, das zusätzliche Informationen über die Intensität und Richtung der Lichtstrahlen erfasst, die von jedem Punkt der Szene ausgehen und auf ihn treffen. Entsprechend komplex werden die Bilder für Betrachtende dargestellt. Zum Beispiel kann die Technologie Gegenstände sichtbar machen, die sonst durch Hindernisse verdeckt oder hinter Ecken verborgen wären.

Sobald ORCa dieses 5D-Strahlungsfeld erfasst hat, kann der Benutzer eine virtuelle Kamera an beliebiger Stelle in der Szene platzieren und dann sehen, was diese Kamera sehen würde. „Es war eine besondere Herausforderung, von einem 2D-Bild zu einer 5D-Umgebung überzugehen. Man muss sicherstellen, dass das Mapping funktioniert und physikalisch genau ist, also darauf basiert, wie sich das Licht im Raum bewegt und wie es mit der Umgebung interagiert. Wir haben viel Zeit damit verbracht, darüber nachzudenken, wie wir eine Oberfläche modellieren können“, sagt Kushagra Tiwary, Doktorand in der Camera Culture Group am Media Lab des MIT.

Räumliche KI in der Robotik: Wie Drohnen durch anspruchsvolle Umgebungen navigieren

KI könnte die Sicht von Drohnen verbessern

Als Nächstes will das Team diese Technik auf die Bildgebung von Drohnen übertragen. ORCa könnte schwache Reflexionen von Objekten, über die eine Drohne fliegt, nutzen, um eine Szene vom Boden aus zu rekonstruieren. Außerdem wollen sie ORCa so verbessern, dass es auch andere Anhaltspunkte wie Schatten nutzen kann, um verborgene Informationen zu rekonstruieren.

Mehr lesen über künstliche Intelligenz:

Ein Beitrag von:

  • Nicole Lücke

    Nicole Lücke macht Wissenschaftsjournalismus für Forschungszentren und Hochschulen, berichtet von medizinischen Fachkongressen und betreut Kundenmagazine für Energieversorger. Sie ist Gesellschafterin von Content Qualitäten. Ihre Themen: Energie, Technik, Nachhaltigkeit, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.