Zitierkartelle sorgen für Aufregung 20.02.2024, 11:13 Uhr

Ranking-Manipulation: Wie aus unbekannten Mathematikern plötzlich Stars wurden

Ein spanischer Mathematiker hat herausgefunden, dass sich Fachkolleginnen und -kollegen mit Hilfe von Zitierkartellen größer gemacht haben, als sie eigentlich sind. Es geht um Millionen von Forschungsgeldern und natürlich auch um Reputation.

Kreiszahl Pi auf Tafel

Mathematiker und Universitäten haben sich mit Hilfe von Zitierkartellen künstlich an die Spitze von Rankings katapultiert.

Foto: PantherMedia / KukiLadrondeGuevara

Ranking ist alles – das gilt im Internet und auch in der Wissenschaft. Einem spanischen Mathematiker ist aufgefallen, dass in den Rankings der Mathematik immer häufiger unbekannte Universitäten und unbekannte Kolleginnen und Kollegen auf den vorderen Plätzen auftauchen. Er ging der Sache nach und fand heraus, dass so genannte Zitierkartelle dafür verantwortlich sind. Womit sich der Kreis schließt – auch im Internet wird viel getrickst, um in den Suchergebnissen weiter oben zu landen. Also im Ranking höher zu stehen, als es einem eigentlich an Reputation zusteht.

Darum geht es bei den Manipulationen

Gruppen von Mathematikern an Institutionen in Ländern wie China und Saudi-Arabien haben die Zahl der Zitationen ihrer eigenen Arbeiten künstlich erhöht, so eine noch unveröffentlichte Analyse, die dem Wissenschaftsmagazin Science vorliegt. Dies gelang ihnen, indem sie Forschungsarbeiten von geringer Qualität veröffentlichten, in denen ihre eigenen Arbeiten häufig zitiert wurden. Das Ergebnis ist, dass ihre Universitäten, von denen einige offenbar keine eigene mathematische Fakultät haben, jedes Jahr mehr hoch zitierte mathematische Forschungsarbeiten veröffentlichen als renommierte Universitäten mit einer starken mathematischen Tradition wie Stanford und Princeton.

Top Stellenangebote

Zur Jobbörse
FH Münster-Firmenlogo
Mitarbeiter/in (w/m/d) zur Koordination der Schulkontakte FH Münster
Steinfurt Zum Job 
über ifp l Personalberatung Managementdiagnostik-Firmenlogo
Stellvertretende Leitung Bau- und Gebäudetechnik (m/w/d) über ifp l Personalberatung Managementdiagnostik
Rhein-Main-Gebiet Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur (w/m/d) Brückenprüfung Die Autobahn GmbH des Bundes
TAUW GmbH-Firmenlogo
Projektingenieur:in (m/w/d) Hydro(geo)logische Modellierungen TAUW GmbH
verschiedene Standorte Zum Job 
PNE AG-Firmenlogo
Experte Technischer Einkauf für Windenergieanlagen (m/w/d) PNE AG
Hamburg, Husum, Cuxhaven Zum Job 
Stadtwerke München GmbH-Firmenlogo
Instandhaltungsmanager*in (m/w/d) Stadtwerke München GmbH
München Zum Job 
Rittal GmbH & Co. KG-Firmenlogo
Maschinenbauingenieur / Prüfingenieur (m/w/d) Dynamik / Schwingungstechnik Rittal GmbH & Co. KG
Herborn Zum Job 
Fraunhofer-Institut für Angewandte Festkörperphysik IAF-Firmenlogo
Wissenschaftler (m/w/d) - angewandte NV-Magnetometrie und Laserschwellen-Magnetometer Fraunhofer-Institut für Angewandte Festkörperphysik IAF
Freiburg im Breisgau Zum Job 
Deutsche Rentenversicherung Bund-Firmenlogo
Teamleiter*in Bauprojekte Elektrotechnik (m/w/div) Deutsche Rentenversicherung Bund
Stadtwerke Frankenthal GmbH-Firmenlogo
Energieberater (m/w/d) Stadtwerke Frankenthal GmbH
Frankenthal Zum Job 
Griesemann Gruppe-Firmenlogo
Lead Ingenieur Elektrotechnik / MSR (m/w/d) Griesemann Gruppe
Köln, Wesseling Zum Job 
Vita Zahnfabrik H. Rauter GmbH & Co. KG-Firmenlogo
Konstrukteurin / Konstrukteur Maschinen und Anlagen Vita Zahnfabrik H. Rauter GmbH & Co. KG
Bad Säckingen Zum Job 
PARI Pharma GmbH-Firmenlogo
Senior Projekt-/Entwicklungsingenieur (m/w/d) in der Konstruktion von Medizingeräten PARI Pharma GmbH
Gräfelfing Zum Job 
ABO Wind AG-Firmenlogo
Projektleiter (m/w/d) Umspannwerke 110kV für erneuerbare Energien ABO Wind AG
verschiedene Standorte Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Bauingenieur:in Maßnahmenentwicklung Netze (w/m/d) Berliner Wasserbetriebe
Die Autobahn GmbH des Bundes-Firmenlogo
Abteilungsleitung (m/w/d) Umweltmanagement und Landschaftspflege Die Autobahn GmbH des Bundes
Residenzstadt Celle-Firmenlogo
Abteilungsleitung (d/m/w) für die Stadtplanung im Fachdienst Bauordnung Residenzstadt Celle
Die Autobahn GmbH des Bundes-Firmenlogo
Ingenieur (w/m/d) Verkehrsbeeinflussungsanlagen Die Autobahn GmbH des Bundes
Hamburg Zum Job 
VIVAVIS AG-Firmenlogo
Projektleiter (m/w/d) Angebotsmanagement VIVAVIS AG
Ettlingen, Berlin, Bochum, Koblenz Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Projektingenieur (w/m/d) Telematik-Infrastruktur Die Autobahn GmbH des Bundes
Frankfurt am Main Zum Job 

Nun die Parallele zum Internet: Dort wird durch Linkkauf versucht, minderwertige Webauftritte besser aussehen zu lassen, als sie tatsächlich sind. Links sind sozusagen die Zitate der Wissenschaftswelt. Wer häufig verlinkt wird, hat in den Augen von Google ein hohes Ansehen und wird mit besseren Rankings belohnt. Wobei Google in den letzten Jahren sehr viel besser geworden ist, solche gekauften Links zu erkennen. Die Linkkäufer und Linkgeber werden dann bestraft, d.h. sie verlieren ihr Ranking oder werden gleich ganz aus dem Index geworfen. Ähnlich ist es im Bereich Mathematik passiert.

Gesamter Bereich Mathematik aus den Rankings geflogen

Experten für Publikationspraktiken beobachten, dass Zitierkartelle versuchen, die Rankings ihrer Universitäten zu verbessern. Cameron Neylon, Professor für Forschungskommunikation an der Curtin University, weist darauf hin, dass Veränderungen in den Rankings erhebliche finanzielle Auswirkungen haben können, wodurch Universitäten Millionen von Dollar gewinnen oder verlieren können.

Dies führt dazu, dass einige die Regeln dehnen oder brechen, um ihre Position zu verbessern. Als Reaktion auf diese Manipulationsversuche hat das Analyse-Unternehmen Clarivate den gesamten Bereich Mathematik aus seiner letzten Liste der am häufigsten zitierten Autoren entfernt, die im November 2023 veröffentlicht wurde.

Unbekannte Mathematiker hatten die Liste gekapert

Die aufsehenerregende Studie stammt von Domingo Docampo, einem Mathematiker der Universität Vigo, der sich intensiv mit Hochschulrankings beschäftigt. In den letzten Jahren ist ihm aufgefallen, dass die Liste der am häufigsten zitierten Forscher von Clarivate zunehmend von weniger renommierten Mathematikern dominiert wird.

Docampo stellte fest, dass diese Forscher in Fachzeitschriften publizierten, die von anerkannten Mathematikern nicht gelesen werden, und dass ihre Arbeiten in Studien zitiert wurden, die ebenfalls außerhalb des seriösen wissenschaftlichen Diskurses stehen. Außerdem kamen die Autoren von Institutionen, die in der mathematischen Welt unbekannt sind. Um diesem Phänomen auf den Grund zu gehen, analysierte er die Clarivate-Daten der letzten 15 Jahre, um herauszufinden, welche Universitäten besonders häufig zitierte Forschungsarbeiten veröffentlichten und in welchem Zusammenhang diese Zitate standen.

China Medical University plötzlich Top-Uni für Mathematik

Docambo fand bei der Analyse der Zahlen heraus, dass zwischen 2008 und 2010 Institutionen mit einem starken mathematischen Renommee wie die University of California, Los Angeles (UCLA) und Princeton die Rangliste der meistzitierten mathematischen Publikationen (definiert als die obersten 1% der Zitationen) mit 28 bzw. 27 Arbeiten anführten.

In den Jahren 2021 bis 2023 wurden sie jedoch von Institutionen überholt, die traditionell nicht für ihre mathematische Forschung bekannt sind, darunter viele aus China, Saudi-Arabien und Ägypten. Besonders hervorzuheben ist die China Medical University in Taiwan, die mit 95 hochzitierten mathematischen Publikationen die Liste anführt – ein deutlicher Anstieg im Vergleich zu keiner einzigen Publikation dieser Art im vorangegangenen Jahrzehnt. Im Gegensatz dazu konnte die UCLA in diesem Zeitraum nur eine einzige Arbeit vorweisen, die zu den am häufigsten zitierten gehörte.

Muster lässt auf Zitierkartelle schließen

Docampo entdeckte Muster, die auf die Existenz von Zitierkartellen hindeuteten. Besonders auffällig war, dass die Zitate in den Top-Publikationen häufig von Forschern derselben Institution stammten, der auch die Autoren der zitierten Arbeit angehörten. Beispielsweise veröffentlichten die China Medical University und die King Abdul-Aziz University, die zwischen 2021 und 2023 zusammen 66 Top-Publikationen hatten, Hunderte von Studien, die sich auf häufig zitierte Arbeiten bezogen. Docampo stellte auch fest, dass diese Studien oft in so genannten Raubtier-Journalen veröffentlicht wurden, die unseriöse Zitierpraktiken möglicherweise eher tolerieren.

Auch andere Wissenschaftler sehen in den Ergebnissen Hinweise auf weit verbreitete Zitiermanipulationen. Helge Holden, Vorsitzender des Komitees des Abel-Preises, eines renommierten Mathematikpreises, kritisiert diese Praxis scharf: „Es gibt Forscher, die die Zahl ihrer Zitate künstlich in die Höhe treiben, ohne dass dies ihre wissenschaftliche Leistung widerspiegelt. Das ist absolut verwerflich“.

Beschuldigte geben sich ahnungslos

Yueh-Sheng Chen, leitender Sekretär der China Medical University, betont, dass seine Universität in keiner Weise an Zitatmanipulationen beteiligt sei. „Wir wissen nichts von gezielten Zitatmanipulationen und beteiligen uns nicht daran“, erklärt er. Stattdessen verweist er auf die Strategie seiner Universität, „international anerkannte Experten und Wissenschaftler aus Bereichen wie der angewandten Mathematik“ einzubinden, um den interdisziplinären Ansatz in der medizinischen Forschung zu stärken. Die King Abdul-Aziz Universität wollte auf Anfrage von Science keinen Kommentar abgeben.

Clarivate, das Unternehmen hinter der HCR-Liste, hat sich nicht direkt zu den Vorwürfen geäußert. In online veröffentlichten Kommentaren zu ihrer Entscheidung, Mathematiker von der aktuellen HCR-Liste zu streichen, äußert sie jedoch Bedenken hinsichtlich der „Optimierung von Status und Belohnungen durch die Manipulation von Publikationen und Zitationen, insbesondere durch das gezielte Zitieren sehr neuer Arbeiten“. Clarivate begründet seine Bedenken mit der Anfälligkeit der Mathematik für solche Manipulationen. Das Fach sei klein und zeichne sich durch eine durchschnittlich niedrige Publikations- und Zitationsrate aus. Daher könnten bereits geringe Steigerungen in diesen Bereichen zu Verzerrungen in der Darstellung und Analyse des Faches führen.

Gibt es auch in anderen Disziplinen Manipulationen?

Félix de Moya Anegón, Bibliometriker an der Universität Granada, weist gegenüber Science darauf hin, dass Zitationsmanipulationen auch in anderen Disziplinen vorkommen, wenn auch weniger offensichtlich. Ilka Agricola, Vorsitzende des Komitees für elektronische Information und Kommunikation der Internationalen Mathematischen Union, äußert die Befürchtung, dass Clarivate durch die Hervorhebung der Mathematik den falschen Eindruck erwecken könnte, dass diese Disziplin besonders von unseriösen Wissenschaftlern betroffen sei. Sie bedauert, dass keine andere Lösung gefunden wurde, als die Mathematik gänzlich auszuschließen.

Clarivate erklärt den Ausschluss der Mathematik dadurch, dass es externe Experten konsultiert, um die Methodik für künftige Analysen in diesem Bereich zu verbessern. Docampo entwickelt eine verfeinerte Metrik, die Zitate auf der Grundlage der Qualität der zitierenden Zeitschriften und Institutionen bewertet.

Andere Wissenschaftler sehen in der Manipulation von Zitaten lediglich ein Symptom für ein mangelhaftes Bewertungssystem. Ismael Rafols, Forscher am Zentrum für Wissenschafts- und Technologiestudien der Universität Leiden, argumentiert, dass Zitate und ähnliche Metriken zu grob seien, um individuelle Leistung angemessen zu messen. Sie seien anfällig für Manipulation. Holden stimmt dem zu und betont, dass Zitate kein zuverlässiges Maß für wissenschaftliche Qualität seien.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.