Zitierkartelle sorgen für Aufregung 20.02.2024, 11:13 Uhr

Ranking-Manipulation: Wie aus unbekannten Mathematikern plötzlich Stars wurden

Ein spanischer Mathematiker hat herausgefunden, dass sich Fachkolleginnen und -kollegen mit Hilfe von Zitierkartellen größer gemacht haben, als sie eigentlich sind. Es geht um Millionen von Forschungsgeldern und natürlich auch um Reputation.

Kreiszahl Pi auf Tafel

Mathematiker und Universitäten haben sich mit Hilfe von Zitierkartellen künstlich an die Spitze von Rankings katapultiert.

Foto: PantherMedia / KukiLadrondeGuevara

Ranking ist alles – das gilt im Internet und auch in der Wissenschaft. Einem spanischen Mathematiker ist aufgefallen, dass in den Rankings der Mathematik immer häufiger unbekannte Universitäten und unbekannte Kolleginnen und Kollegen auf den vorderen Plätzen auftauchen. Er ging der Sache nach und fand heraus, dass so genannte Zitierkartelle dafür verantwortlich sind. Womit sich der Kreis schließt – auch im Internet wird viel getrickst, um in den Suchergebnissen weiter oben zu landen. Also im Ranking höher zu stehen, als es einem eigentlich an Reputation zusteht.

Darum geht es bei den Manipulationen

Gruppen von Mathematikern an Institutionen in Ländern wie China und Saudi-Arabien haben die Zahl der Zitationen ihrer eigenen Arbeiten künstlich erhöht, so eine noch unveröffentlichte Analyse, die dem Wissenschaftsmagazin Science vorliegt. Dies gelang ihnen, indem sie Forschungsarbeiten von geringer Qualität veröffentlichten, in denen ihre eigenen Arbeiten häufig zitiert wurden. Das Ergebnis ist, dass ihre Universitäten, von denen einige offenbar keine eigene mathematische Fakultät haben, jedes Jahr mehr hoch zitierte mathematische Forschungsarbeiten veröffentlichen als renommierte Universitäten mit einer starken mathematischen Tradition wie Stanford und Princeton.

Top Stellenangebote

Zur Jobbörse
naturenergie netze GmbH-Firmenlogo
Ingenieur (m/w/d) als Referent der Geschäftsführung naturenergie netze GmbH
Rheinfelden (Baden) Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieurin oder Ingenieur Entwurf Konstruktiver Ingenieurbau (w/m/d) Die Autobahn GmbH des Bundes
Hannover Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur/in als Experte / Expertin Prüfstatik und Nachrechnung (w/m/d) Die Autobahn GmbH des Bundes
Hannover Zum Job 
Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF-Firmenlogo
Gruppenleiter*in Präzisionssysteme Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF
Stadtwerke Potsdam GmbH-Firmenlogo
Bauingenieur/Bauleiter/Projektleiter (m/w/d) Wasserwirtschaft Stadtwerke Potsdam GmbH
Potsdam Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur / Verwaltungsfachwirt (w/m/d) als Ansprechpartner für Vergabeverfahren von Bauleistungen - Schwerpunkt Vergabemanagementsystem Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Teamleitung (w/m/d) für den Konstruktiven Ingenieurbau Die Autobahn GmbH des Bundes
TÜV Technische Überwachung Hessen GmbH-Firmenlogo
Auditor (m/w/d) ISO 14001 und ISO 50001 TÜV Technische Überwachung Hessen GmbH
deutschlandweit Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) Schwerpunkt Betreuung und Beratung zur Planung von Autobahnprojekten Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (m/w/d) im Bereich Straßenbau Die Autobahn GmbH des Bundes
Dillenburg Zum Job 
SPRiNTUS GmbH-Firmenlogo
Leiter Qualität und Service (m/w/d) SPRiNTUS GmbH
Welzheim Zum Job 
Hochschule Nordhausen-Firmenlogo
Professur für "Maschinenbau/Konstruktion" (W2) (m/w/d) Hochschule Nordhausen
Nordhausen Zum Job 
Almatechnik TDF-Firmenlogo
Conseiller/ère technique (h/f/d) Almatechnik TDF
Raum Romandie (Schweiz) Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) Konstruktiver Ingenieurbau Die Autobahn GmbH des Bundes
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Straßenbau Die Autobahn GmbH des Bundes
Vermögen und Bau Baden-Württemberg-Firmenlogo
Master / Diplom-Ingenieure (m/w/d) der Fachrichtung Architektur Vermögen und Bau Baden-Württemberg
Hamamatsu Photonics Deutschland GmbH-Firmenlogo
Technical Service Engineer (m/w/d) für Mikroskopie-Systeme im Halbleiter- und Life-Science Bereich Hamamatsu Photonics Deutschland GmbH
Raum Halle/Leipzig Zum Job 
Vizona GmbH-Firmenlogo
Technical Project Manager (m/w/d) Ladenbauprojekte Vizona GmbH
Weil am Rhein Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) Planung Die Autobahn GmbH des Bundes
ProMinent GmbH-Firmenlogo
Head of Group Finance & Accounting (m/w/d) ProMinent GmbH
Heidelberg Zum Job 

Nun die Parallele zum Internet: Dort wird durch Linkkauf versucht, minderwertige Webauftritte besser aussehen zu lassen, als sie tatsächlich sind. Links sind sozusagen die Zitate der Wissenschaftswelt. Wer häufig verlinkt wird, hat in den Augen von Google ein hohes Ansehen und wird mit besseren Rankings belohnt. Wobei Google in den letzten Jahren sehr viel besser geworden ist, solche gekauften Links zu erkennen. Die Linkkäufer und Linkgeber werden dann bestraft, d.h. sie verlieren ihr Ranking oder werden gleich ganz aus dem Index geworfen. Ähnlich ist es im Bereich Mathematik passiert.

Gesamter Bereich Mathematik aus den Rankings geflogen

Experten für Publikationspraktiken beobachten, dass Zitierkartelle versuchen, die Rankings ihrer Universitäten zu verbessern. Cameron Neylon, Professor für Forschungskommunikation an der Curtin University, weist darauf hin, dass Veränderungen in den Rankings erhebliche finanzielle Auswirkungen haben können, wodurch Universitäten Millionen von Dollar gewinnen oder verlieren können.

Dies führt dazu, dass einige die Regeln dehnen oder brechen, um ihre Position zu verbessern. Als Reaktion auf diese Manipulationsversuche hat das Analyse-Unternehmen Clarivate den gesamten Bereich Mathematik aus seiner letzten Liste der am häufigsten zitierten Autoren entfernt, die im November 2023 veröffentlicht wurde.

Unbekannte Mathematiker hatten die Liste gekapert

Die aufsehenerregende Studie stammt von Domingo Docampo, einem Mathematiker der Universität Vigo, der sich intensiv mit Hochschulrankings beschäftigt. In den letzten Jahren ist ihm aufgefallen, dass die Liste der am häufigsten zitierten Forscher von Clarivate zunehmend von weniger renommierten Mathematikern dominiert wird.

Docampo stellte fest, dass diese Forscher in Fachzeitschriften publizierten, die von anerkannten Mathematikern nicht gelesen werden, und dass ihre Arbeiten in Studien zitiert wurden, die ebenfalls außerhalb des seriösen wissenschaftlichen Diskurses stehen. Außerdem kamen die Autoren von Institutionen, die in der mathematischen Welt unbekannt sind. Um diesem Phänomen auf den Grund zu gehen, analysierte er die Clarivate-Daten der letzten 15 Jahre, um herauszufinden, welche Universitäten besonders häufig zitierte Forschungsarbeiten veröffentlichten und in welchem Zusammenhang diese Zitate standen.

China Medical University plötzlich Top-Uni für Mathematik

Docambo fand bei der Analyse der Zahlen heraus, dass zwischen 2008 und 2010 Institutionen mit einem starken mathematischen Renommee wie die University of California, Los Angeles (UCLA) und Princeton die Rangliste der meistzitierten mathematischen Publikationen (definiert als die obersten 1% der Zitationen) mit 28 bzw. 27 Arbeiten anführten.

In den Jahren 2021 bis 2023 wurden sie jedoch von Institutionen überholt, die traditionell nicht für ihre mathematische Forschung bekannt sind, darunter viele aus China, Saudi-Arabien und Ägypten. Besonders hervorzuheben ist die China Medical University in Taiwan, die mit 95 hochzitierten mathematischen Publikationen die Liste anführt – ein deutlicher Anstieg im Vergleich zu keiner einzigen Publikation dieser Art im vorangegangenen Jahrzehnt. Im Gegensatz dazu konnte die UCLA in diesem Zeitraum nur eine einzige Arbeit vorweisen, die zu den am häufigsten zitierten gehörte.

Muster lässt auf Zitierkartelle schließen

Docampo entdeckte Muster, die auf die Existenz von Zitierkartellen hindeuteten. Besonders auffällig war, dass die Zitate in den Top-Publikationen häufig von Forschern derselben Institution stammten, der auch die Autoren der zitierten Arbeit angehörten. Beispielsweise veröffentlichten die China Medical University und die King Abdul-Aziz University, die zwischen 2021 und 2023 zusammen 66 Top-Publikationen hatten, Hunderte von Studien, die sich auf häufig zitierte Arbeiten bezogen. Docampo stellte auch fest, dass diese Studien oft in so genannten Raubtier-Journalen veröffentlicht wurden, die unseriöse Zitierpraktiken möglicherweise eher tolerieren.

Auch andere Wissenschaftler sehen in den Ergebnissen Hinweise auf weit verbreitete Zitiermanipulationen. Helge Holden, Vorsitzender des Komitees des Abel-Preises, eines renommierten Mathematikpreises, kritisiert diese Praxis scharf: „Es gibt Forscher, die die Zahl ihrer Zitate künstlich in die Höhe treiben, ohne dass dies ihre wissenschaftliche Leistung widerspiegelt. Das ist absolut verwerflich“.

Beschuldigte geben sich ahnungslos

Yueh-Sheng Chen, leitender Sekretär der China Medical University, betont, dass seine Universität in keiner Weise an Zitatmanipulationen beteiligt sei. „Wir wissen nichts von gezielten Zitatmanipulationen und beteiligen uns nicht daran“, erklärt er. Stattdessen verweist er auf die Strategie seiner Universität, „international anerkannte Experten und Wissenschaftler aus Bereichen wie der angewandten Mathematik“ einzubinden, um den interdisziplinären Ansatz in der medizinischen Forschung zu stärken. Die King Abdul-Aziz Universität wollte auf Anfrage von Science keinen Kommentar abgeben.

Clarivate, das Unternehmen hinter der HCR-Liste, hat sich nicht direkt zu den Vorwürfen geäußert. In online veröffentlichten Kommentaren zu ihrer Entscheidung, Mathematiker von der aktuellen HCR-Liste zu streichen, äußert sie jedoch Bedenken hinsichtlich der „Optimierung von Status und Belohnungen durch die Manipulation von Publikationen und Zitationen, insbesondere durch das gezielte Zitieren sehr neuer Arbeiten“. Clarivate begründet seine Bedenken mit der Anfälligkeit der Mathematik für solche Manipulationen. Das Fach sei klein und zeichne sich durch eine durchschnittlich niedrige Publikations- und Zitationsrate aus. Daher könnten bereits geringe Steigerungen in diesen Bereichen zu Verzerrungen in der Darstellung und Analyse des Faches führen.

Gibt es auch in anderen Disziplinen Manipulationen?

Félix de Moya Anegón, Bibliometriker an der Universität Granada, weist gegenüber Science darauf hin, dass Zitationsmanipulationen auch in anderen Disziplinen vorkommen, wenn auch weniger offensichtlich. Ilka Agricola, Vorsitzende des Komitees für elektronische Information und Kommunikation der Internationalen Mathematischen Union, äußert die Befürchtung, dass Clarivate durch die Hervorhebung der Mathematik den falschen Eindruck erwecken könnte, dass diese Disziplin besonders von unseriösen Wissenschaftlern betroffen sei. Sie bedauert, dass keine andere Lösung gefunden wurde, als die Mathematik gänzlich auszuschließen.

Clarivate erklärt den Ausschluss der Mathematik dadurch, dass es externe Experten konsultiert, um die Methodik für künftige Analysen in diesem Bereich zu verbessern. Docampo entwickelt eine verfeinerte Metrik, die Zitate auf der Grundlage der Qualität der zitierenden Zeitschriften und Institutionen bewertet.

Andere Wissenschaftler sehen in der Manipulation von Zitaten lediglich ein Symptom für ein mangelhaftes Bewertungssystem. Ismael Rafols, Forscher am Zentrum für Wissenschafts- und Technologiestudien der Universität Leiden, argumentiert, dass Zitate und ähnliche Metriken zu grob seien, um individuelle Leistung angemessen zu messen. Sie seien anfällig für Manipulation. Holden stimmt dem zu und betont, dass Zitate kein zuverlässiges Maß für wissenschaftliche Qualität seien.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.