Jedes Jahr erscheinen Millionen wissenschaftlicher Veröffentlichungen. Allein für Fachleute wird es zunehmend schwieriger, den Überblick zu behalten. Welche Studie liefert tatsächlich neue Erkenntnisse? Welche bestätigt lediglich Bekanntes? Und welche Forschung könnte ein ganzes Fachgebiet voranbringen?
Genau an dieser Frage arbeitet ein Forschungsteam des Forschungszentrums Jülich. Mit einem neu entwickelten KI-System haben die Wissenschaftlerinnen und Wissenschaftler nun die internationale „Metascience Novelty Indicators Challenge“ gewonnen. Das Ziel des Wettbewerbs: Eine Methode zu entwickeln, die den Neuheitswert wissenschaftlicher Arbeiten bereits zum Zeitpunkt ihrer Veröffentlichung bewerten kann.
Für ihren Erfolg erhält das Team ein Preisgeld von 300.000 Pfund Sterling, um den Ansatz weiterzuentwickeln.
Inhaltsverzeichnis
Warum Neuheit so schwer messbar ist
Bislang wird die Bedeutung wissenschaftlicher Arbeiten meist erst Jahre später sichtbar. Ein wichtiger Maßstab sind dabei Zitationszahlen, also die Frage, wie oft andere Forschende eine Studie zitieren.
Das Problem: Eine Arbeit kann heute veröffentlicht werden und erst Jahre später große Aufmerksamkeit erhalten. Umgekehrt werden manche viel zitierte Veröffentlichungen später relativiert oder widerlegt.
„Bislang war die Einschätzung, was an einer wissenschaftlichen Arbeit wirklich neu und wertvoll ist, vor allem menschlichen Expertinnen und Experten vorbehalten“, sagt Dr.-Ing. Jann Michael Weinand vom Institute of Climate and Energy Systems – Jülicher Systemanalyse (ICE-2). „Unser Ansatz zeigt, dass moderne KI-Systeme diese Aufgabe erstaunlich zuverlässig unterstützen können.“
Die KI liest nicht nur Zahlen, sondern Inhalte
Genau hier unterscheidet sich das Jülicher System von vielen bisherigen Verfahren. Anstatt lediglich Metadaten oder spätere Zitationszahlen auszuwerten, analysiert die KI den tatsächlichen Inhalt einer Studie. Dabei betrachtet sie nicht nur die Veröffentlichung selbst, sondern auch wissenschaftliche Arbeiten, auf die sich die Autorinnen und Autoren beziehen.
„Um Neuheit zum Zeitpunkt der Veröffentlichung zu bewerten, sind Metadaten nicht ausreichend. Daher untersucht unser System den Inhalt einer Studie und setzt ihn in Beziehung zum Wissensstand zum Zeitpunkt ihrer Veröffentlichung“, erklärt Projektleiter Jan Göpfert.
Vereinfacht gesagt versucht die KI zunächst zu verstehen:
- Welcher Wissensstand herrschte damals?
- Welche Fragen waren bereits beantwortet?
- Welche Forschungslücken existierten noch?
- Welchen Beitrag liefert die neue Studie?
Anschließend bewertet das System, ob eine Veröffentlichung neue Methoden einführt, überraschende Ergebnisse liefert oder bislang ungelöste Probleme adressiert.
Argumente dafür und dagegen
Bemerkenswert ist dabei, dass die KI nicht nur nach Hinweisen für Neuheit sucht. Stattdessen sammelt sie bewusst Argumente, die für eine hohe Innovationsleistung sprechen, ebenso wie Gegenargumente. Anschließend wägt das System beide Seiten gegeneinander ab.
Das Ergebnis ist ein Neuheitswert zwischen 0 und 100. Zusätzlich gibt die KI an, wie sicher sie sich bei ihrer Bewertung ist. Eine schriftliche Begründung soll die Entscheidung nachvollziehbar machen.
„Die eigentliche Herausforderung bestand darin, Neuheit überhaupt sinnvoll zu definieren. Für uns bedeutet Neuheit nicht einfach Andersartigkeit. Entscheidend ist, welchen Beitrag eine Arbeit zum wissenschaftlichen Fortschritt leistet“, sagt Samuel Kieling.
Wettbewerb mit 100.000 wissenschaftlichen Arbeiten
Die Herausforderung war anspruchsvoll. Die Organisatoren stellten den Teilnehmenden einen Datensatz mit 100.000 aktuellen wissenschaftlichen Publikationen zur Verfügung.
Unabhängige Fachleute hatten zuvor den Neuheitsgrad dieser Arbeiten bewertet. Die Teams kannten diese Bewertungen jedoch nicht. Ihre Aufgabe bestand darin, die Expertenurteile möglichst präzise vorherzusagen.
Der Ansatz aus Jülich erreichte dabei die besten Ergebnisse in sämtlichen Bewertungsmaßstäben. Veranstaltet wurde der Wettbewerb von der britischen Metascience Unit von UK Research and Innovation (UKRI) gemeinsam mit mehreren internationalen Partnern aus Wissenschaft und Forschungsförderung.
Hilfe für Forschende, Gutachter und Fördergeber
Die Zahl wissenschaftlicher Veröffentlichungen wächst seit Jahren. Gleichzeitig entstehen immer mehr Texte mit Unterstützung generativer KI-Systeme. Dadurch steigt der Aufwand für Fachzeitschriften, Gutachterinnen und Gutachter sowie Förderorganisationen erheblich. Besonders innovative Forschung frühzeitig zu identifizieren, wird immer schwieriger.
Hier könnte der Neuheitsindikator künftig eine wichtige Rolle spielen. Statt jahrelang auf Zitationszahlen zu warten, ließen sich potenziell relevante Arbeiten bereits während des Begutachtungsprozesses erkennen.
„Wir hoffen, dass insbesondere solche Arbeiten profitieren, die von klassischen Kennzahlen oft übersehen werden“, sagt Kieling. „Unser Ziel ist nicht, menschliche Urteile zu ersetzen. Die KI soll Aufmerksamkeit auf potenziell wichtige Forschung lenken und damit bessere Entscheidungen unterstützen.“
