Kontrolle des Gesichtsausdrucks 30.10.2015, 08:47 Uhr

Software kopiert Mimik live auf ein anderes Gesicht

Eine neue Software kann die Gesichtsausdrücke eines Menschen vor laufender Kamera ohne Zeitverzögerung auf eine andere Person übertragen. Es wirkt, als ob die Person die Kontrolle über ihre Mimik verloren hätte. Eine unheimliche Vorstellung.

Maskenhaft erscheint nur dieses Bild. Die eigentliche Erfindung – eine Software, die die Gesichtsausdrücke eines Menschen vor laufender Kamera ohne Zeitverzögerung auf eine andere Person übertragen kann – wirkt eher gespenstisch beweglich.  

Maskenhaft erscheint nur dieses Bild. Die eigentliche Erfindung – eine Software, die die Gesichtsausdrücke eines Menschen vor laufender Kamera ohne Zeitverzögerung auf eine andere Person übertragen kann – wirkt eher gespenstisch beweglich.  

Foto: Matthias Nießner

Die beiden Männer sitzen sich am Tisch gegenüber, ihre Gesichter werden jeweils von einer Kamera gefilmt und auf einen Monitor übertragen. Während der eine bewegungslos und ohne ersichtliche Mimik dasitzt, beginnt sein Gegenüber wilde Grimassen zu schneiden. Diese Bewegungen übertragen sich in identischer Weise auf das Gesicht der unbewegten Person, und zwar in Echtzeit.

Top Stellenangebote

Zur Jobbörse
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)-Firmenlogo
Teamleiter/in (w/m/d) Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)
Potsdam Zum Job 
Westfälische Hochschule-Firmenlogo
Professur Automatisierung und digitale Technologien (W2) Westfälische Hochschule
Gelsenkirchen Zum Job 
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)-Firmenlogo
Ingenieur:innen für Elektrotechnik (m/w/d) im Baubereich Bundesbau Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)
Potsdam, Prenzlau, Strausberg, Bernau, Frankfurt an der Oder Zum Job 
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)-Firmenlogo
Architekt:innen und Ingenieur:innen für Hochbau (m/w/d) im Baubereich Bundesbau Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)
Potsdam, Strausberg, Finsterwalde, Holzdorf Zum Job 
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)-Firmenlogo
Ingenieur:innen für Tiefbau (m/w/d) im Baubereich Bundesbau Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)
Potsdam, Strausberg, Finsterwalde, Bernau Zum Job 
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)-Firmenlogo
Ingenieur:innen für Gebäude- und Energietechnik (m/w/d) im Baubereich Bundesbau Brandenburgischer Landesbetrieb für Liegenschaften und Bauen (BLB)
Potsdam, Strausberg, Finsterwalde, Bernau Zum Job 
Landtag Nordrhein-Westfalen-Firmenlogo
Sachbearbeitung "Sicherheitsmanagement / Sicherheitstechnik / Brandschutz" (m/w/d) Landtag Nordrhein-Westfalen
Düsseldorf Zum Job 
Reisch Sprengtechnik GmbH-Firmenlogo
Statiker m/w/d im statischen Rückbau von Bauwerken Reisch Sprengtechnik GmbH
Peißenberg Zum Job 
Stadtwerke Rastatt GmbH-Firmenlogo
Bereichsleiter Technik (m/w/d) mit Prokura Stadtwerke Rastatt GmbH
Rastatt Zum Job 
Ernst-Abbe-Hochschule Jena-Firmenlogo
W2-Professur für Technische Mechanik/FEM Ernst-Abbe-Hochschule Jena
Ernst-Abbe-Hochschule Jena-Firmenlogo
W2-Professur für Virtuelle Produktentwicklung Ernst-Abbe-Hochschule Jena
FH Münster-Firmenlogo
Lehrkraft für besondere Aufgaben (w/m/d) "Grundlagen des Maschinenbaus" im Fachbereich Maschinenbau FH Münster
Münster Zum Job 
Hochschule Mannheim-Firmenlogo
Professur "Werkstoffwissenschaften und Fertigungstechnologie" (m/w/d) Hochschule Mannheim
Mannheim Zum Job 
Regierungspräsidium Tübingen-Firmenlogo
Leitung des Referates 106, Beschussamt Ulm (w/m/d) Regierungspräsidium Tübingen
Hochschule für angewandte Wissenschaften München-Firmenlogo
Professur für Elektronik (W2) Hochschule für angewandte Wissenschaften München
München Zum Job 
Landtag Nordrhein-Westfalen-Firmenlogo
Stellvertretende Referatsleitung in Verbindung mit der Leitung des Sachbereichs "Technische Gebäudeausrüstung (TGA)" (m/w/d) Landtag Nordrhein-Westfalen
Düsseldorf Zum Job 
Hochschule für angewandte Wissenschaften München-Firmenlogo
Professur für Grundlagen der Elektrotechnik (W2) Hochschule für angewandte Wissenschaften München
München Zum Job 
Bundesanstalt für Immobilienaufgaben-Firmenlogo
Objektmanagerin / Objektmanager (w/m/d) Bundesanstalt für Immobilienaufgaben
Aluminium Deutschland e.V.-Firmenlogo
Referent Technologie Forschung Standards (m/w/d) Aluminium Deutschland e.V.
Düsseldorf Zum Job 
Aluminium Deutschland e.V.-Firmenlogo
Referent Technologie Forschung Standards (m/w/d) Aluminium Deutschland e.V.
Düsseldorf Zum Job 
Obwohl die linke Person keine Miene verzieht, erscheint sie auf dem Bildschirm mit der Mimik der Person rechts.

Obwohl die linke Person keine Miene verzieht, erscheint sie auf dem Bildschirm mit der Mimik der Person rechts.

Quelle: Matthias Nießner

Möglich macht dieser Spuk eine neue Software, mit der die Mimik eines Menschen auf das Gesicht eines anderen Menschen überspielt werden kann.

Von den Gesichtern wird eine 3D-Landkarte angelegt

Entwickelt wurde die Software als Gemeinschaftsprojekt von Computerwissenschaftlern der Friedrich-Alexander-Universität Erlangen-Nürnberg, dem Max-Planck-Institut für Informatik und der Stanford University. Die Möglichkeit, in Filmen oder Computerspielen Avataren menschliche Mimik mitzugeben oder mit Überblendungen von Gesichtern zu arbeiten, ist nichts Neues. Aber hier wird die Mimik der Quelle, also der ersten Person, ohne Umwege auf die Zielperson übertragen und dort so genau angepasst, dass das Ergebnis äußerst echt wirkt.

Kameras übertragen die Gesichter zunächst in eine 3D-Computergrafik.  

Kameras übertragen die Gesichter zunächst in eine 3D-Computergrafik.  

Quelle: Matthias Niessner

Dafür müssen Kameras die Gesichter zunächst in eine 3D-Computergrafik übertragen. In dieser Landkarte des Gesichtes sind dessen Form, Tiefe und Textur ebenso festgehalten wie die prominenten Merkmale Nase, Mund und Augen. Falls die erste Person, etwa beim Lachen, die Zähne zeigt, hat die Software auch für die Zielperson einen Satz Zähne parat.

Unterschiede in den Gesichtern werden berechnet und angepasst

Die Gesichtsbewegungen werden nun mit einer Rendering-Software im Detail nachgestellt und auf der Gesichts-Landkarte der zweiten Person nachgebildet. Dabei werden auch die Unterschiede in den Gesichtern, etwa die Größe des Mundes, der Abstand der Augen oder die Höhe der Stirn, berechnet und angepasst. Im Ergebnis erscheint die Übertragung der Mimik, bis auf den Ausdruck der Augen, der nicht simuliert werden kann, äußerst echt.

Die Übertragung der Mimik funktioniert sogar, wenn die Zielperson ihr Gesicht bewegt, denn die 3D-Landkarte kann der Bewegung folgen und die Verzerrungen berechnen. Auch eine Brille, die aufgesetzt wird, hatte die Software schnell in ihre Berechnungen einbezogen. Problematisch wird es erst, wenn es zu unruhig wird oder wenn die Kamera die Zielperson aus den Augen verliert, etwa wenn eine Hand dazwischen gerät. Nach kurzer Zeit jedoch haben Kamera und Software ihr Zielobjekt wieder erfasst und der Mimiktransfer geht nahtlos weiter.

Anwendung in der Synchronisation von Filmen möglich

Eine mögliche Anwendung für ihre Software können sich die Forscher zum Beispiel in Filmen vorstellen, die in andere Sprachen synchronisiert werden sollen. Dann würden die Mundbewegungen des Sprechers übertragen und mit der Sprache übereinstimmen. Ähnliches halten die Forscher auch möglich für mehrsprachige Videokonferenzen, in denen simultan übersetzt wird.

Darüber hinaus lassen sich allerdings auch leicht weitaus beklemmendere Anwendungen ausdenken, die den naiven Glauben, dass das, was wir sehen, wahr ist, endgültig erschüttern. Dazu gehört wohl auch der Haushaltsroboter, der mit dem Gesicht und der Mimik der besten Freundin oder der Schwiegermutter seine Arbeit verrichtet.

Ein Beitrag von:

  • Gudrun von Schoenebeck

    Gudrun von Schoenebeck

    Gudrun von Schoenebeck ist seit 2001 journalistisch unterwegs in Print- und Online-Medien. Neben Architektur, Kunst und Design hat sie sich vor allem das spannende Gebiet der Raumfahrt erschlossen.

Themen im Artikel

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.