Immer dieselben Gesichter im TV? Software misst Medienpräsenz
Das Fraunhofer Institut für Digitale Medientechnologie (IDMT) hat eine KI-basierte Software entwickelt, die dank kombinierter Gesichts- und Sprechererkennung blitzschnell die Medienpräsenz messen kann.
Eine neue Software erkennt Gesichter und Stimmen in großen Medienarchiven blitzschnell.
Foto: Fraunhofer IDMT/istock.com/vm
In der Medienbranche bahnt sich eine Neuerung an. Das Fraunhofer-Institut für Digitale Medientechnologie IDMT präsentiert auf der International Broadcasting Convention (IBC) in Amsterdam eine neue Software. Diese KI-gestützte Lösung namens „InsightPersona“ identifiziert blitzschnell Gesichter und Stimmen in umfangreichen Medienarchiven. Binnen Sekunden liefert die Software detaillierte Auswertungen zur Medienpräsenz von Individuen, Gruppen und Gesprächsinhalten. Darüber hinaus analysiert sie die Sprachverständlichkeit und Stimmlage. Dadurch könnten sich neue Möglichkeiten für die Recherche in Videoarchiven und Datenbanken ergeben.
Deckt KI neue Geheimnisse des Universums auf?
Die Software ermöglicht es, präzise Antworten auf vielfältige Fragen zu Medieninhalten zu finden. Wie oft tritt der Bundeskanzler in welchen Sendern auf? Welche Schlüsselwörter fallen bei seinen Auftritten am häufigsten und wie erregt klingt seine Stimme dabei? Wie hoch ist der Anteil weiblicher Präsenz in bestimmten Fernsehsendungen – sowohl visuell als auch akustisch? Diese Informationen sind für Rundfunkanstalten, Streaming-Plattformen, Redaktionen und Forschungseinrichtungen von großem Wert. Sie helfen dabei, relevante Inhalte zu ermitteln, mit denen sich die Zielgruppen erreichen lassen, erleichtern die Recherche für Nachrichtenbeiträge und ermöglichen Analysen zur Diversität im TV-Programm. Mit InsightPersona hat das Fraunhofer IDMT vermutlich ein passendes Werkzeug für diese Aufgaben entwickelt.
Neue Software ermöglicht umfassende Medienanalysen in Echtzeit
Und so funktioniert die Software: Sie nutzt KI-Algorithmen, mit denen sie eine kombinierte Gesichts- und Sprechererkennung durchführt. Dies ermöglicht eine schnelle Auswertung riesiger Archive mit tausenden Stunden Material. Dank der Analyse können spezifische Gesichter und Stimmen identifiziert, wahrgenommene Geschlechter (männlich, weiblich) bestimmt sowie zwischen Erwachsenen und Kindern unterschieden werden. Da die Auswertung extrem schnell abläuft, lassen sich künftig Nachrichtenbeiträge mit entsprechenden Audio- und Videoausschnitten nahezu in Echtzeit zusammenstellen.
Heatmaps oder Zeitleisten sorgen dafür, dass die Ergebnisse der Suchaufträge w kundenspezifisch visualisiert werden können. „Diese Kombination aus audiobasierten und visuellen Erkennungstechnologien ermöglicht uns eine hohe Aussagekraft und Qualität der Suchergebnisse. Das ist besonders dann hilfreich, wenn sich die gewonnen Informationen gegenseitig ergänzen, beispielsweise wenn Personen in einem Medienbeitrag sprechen, aber gerade nicht im Bild gezeigt werden“, beton Uwe Kühhirt, Experte für Videoanalyse am Fraunhofer IDMT.
Medienanalyse der Zukunft: KI-gestützte Erkennung und Auswertung
Die Entwickler der Software haben zusätzliche Features integriert, die sie auf der IBC in Amsterdam präsentieren. Ein besonderes Highlight ist die Visualisierung von Gesprächsinhalten durch Wortwolken. Diese Feature ermöglicht es, zentrale Schlüsselbegriffe aus Medienarchiven auf einen Blick zu erfassen und beispielsweise den inhaltlichen Tenor einer politischen Rede schnell zu erschließen.
Ein weiteres innovatives Element der Software ist die farbige Markierung von Tonspuren zur Darstellung des Erregungsniveaus in der Stimme. „Spricht eine Person sehr ruhig und gefasst, ist die Tonspur grün gefärbt. Ist die Stimmfarbe sehr aufgeregt, wird sie gelb oder rot“, erklärt Christian Rollwage, Leiter der Gruppe Audiosignalverbesserung am Fraunhofer IDMT. Zusätzlich bietet die Software mit der „InsightPersona Instant Face Search“ die Möglichkeit, große Videosammlungen blitzschnell nach beliebigen Gesichtern zu durchsuchen. Hierfür genügt ein einzelnes Referenzbild des gesuchten Gesichts.
Flexible KI-Lösung für vielfältige Anwendungen
Die Softwarelösung InsightPersona ist flexibel einsetzbar: Sie kann sowohl lokal beim Kunden (On-Premises) als auch bei einem externen Dienstleister (Off-Premises) implementiert werden. Zudem bietet das Fraunhofer IDMT seinen Kunden die Möglichkeit, Medienarchive direkt mit InsightPersona auswerten zu lassen. Das Dashboard der Software mit seinen Analysemodulen und Statistiken lässt sich individuell an die spezifischen Auswertungsbedarfe des jeweiligen Kunden anpassen. Deshalb gibt es auch verschiedene Lizenzierungsmodelle für InsightPersona.
Interessierte haben die Gelegenheit, sich die neue Software vom 13. bis 16. September 2024 auf der IBC in Amsterdam anzuschauen. Auch Gespräche mit Expertinnen und Experten sind am Messestand möglich. Das Fraunhofer IDTM in Ilmenau in Thüringen fokussiert sich in seiner Arbeit zentral auf eine sichere und effiziente KI-basierte Erkennung und Klassifizierung von Audio- und Videodaten. Als Anwendungsbereiche haben die Forschenden Medien, industrielle Fertigung, Verkehr und Logistik sowie Umwelt und Agrarwirtschaft identifiziert. Der Oldenburger Institutsteil Hör-, Sprach- und Audiotechnologie HSA konzentriert sich ganz auf Sprach- und Ereigniserkennung, Klangqualität und Sprachverständlichkeit sowie Mobile Neurotechnologie und Systeme für eine vernetzte Gesundheitsversorgung. Die Entwicklung der neuen Software belegt auch die erfolgreiche Kooperation beider Partner.
Ein Beitrag von:
