Zitierkartelle sorgen für Aufregung 20.02.2024, 11:13 Uhr

Ranking-Manipulation: Wie aus unbekannten Mathematikern plötzlich Stars wurden

Ein spanischer Mathematiker hat herausgefunden, dass sich Fachkolleginnen und -kollegen mit Hilfe von Zitierkartellen größer gemacht haben, als sie eigentlich sind. Es geht um Millionen von Forschungsgeldern und natürlich auch um Reputation.

Kreiszahl Pi auf Tafel

Mathematiker und Universitäten haben sich mit Hilfe von Zitierkartellen künstlich an die Spitze von Rankings katapultiert.

Foto: PantherMedia / KukiLadrondeGuevara

Ranking ist alles – das gilt im Internet und auch in der Wissenschaft. Einem spanischen Mathematiker ist aufgefallen, dass in den Rankings der Mathematik immer häufiger unbekannte Universitäten und unbekannte Kolleginnen und Kollegen auf den vorderen Plätzen auftauchen. Er ging der Sache nach und fand heraus, dass so genannte Zitierkartelle dafür verantwortlich sind. Womit sich der Kreis schließt – auch im Internet wird viel getrickst, um in den Suchergebnissen weiter oben zu landen. Also im Ranking höher zu stehen, als es einem eigentlich an Reputation zusteht.

Darum geht es bei den Manipulationen

Gruppen von Mathematikern an Institutionen in Ländern wie China und Saudi-Arabien haben die Zahl der Zitationen ihrer eigenen Arbeiten künstlich erhöht, so eine noch unveröffentlichte Analyse, die dem Wissenschaftsmagazin Science vorliegt. Dies gelang ihnen, indem sie Forschungsarbeiten von geringer Qualität veröffentlichten, in denen ihre eigenen Arbeiten häufig zitiert wurden. Das Ergebnis ist, dass ihre Universitäten, von denen einige offenbar keine eigene mathematische Fakultät haben, jedes Jahr mehr hoch zitierte mathematische Forschungsarbeiten veröffentlichen als renommierte Universitäten mit einer starken mathematischen Tradition wie Stanford und Princeton.

Nun die Parallele zum Internet: Dort wird durch Linkkauf versucht, minderwertige Webauftritte besser aussehen zu lassen, als sie tatsächlich sind. Links sind sozusagen die Zitate der Wissenschaftswelt. Wer häufig verlinkt wird, hat in den Augen von Google ein hohes Ansehen und wird mit besseren Rankings belohnt. Wobei Google in den letzten Jahren sehr viel besser geworden ist, solche gekauften Links zu erkennen. Die Linkkäufer und Linkgeber werden dann bestraft, d.h. sie verlieren ihr Ranking oder werden gleich ganz aus dem Index geworfen. Ähnlich ist es im Bereich Mathematik passiert.

Gesamter Bereich Mathematik aus den Rankings geflogen

Experten für Publikationspraktiken beobachten, dass Zitierkartelle versuchen, die Rankings ihrer Universitäten zu verbessern. Cameron Neylon, Professor für Forschungskommunikation an der Curtin University, weist darauf hin, dass Veränderungen in den Rankings erhebliche finanzielle Auswirkungen haben können, wodurch Universitäten Millionen von Dollar gewinnen oder verlieren können.

Stellenangebote im Bereich Forschung & Entwicklung

Forschung & Entwicklung Jobs
HARTMANN-Firmenlogo
Konstrukteur / Entwicklungsingenieur (w/m/d) HARTMANN
Heidenheim Zum Job 
Adolf Würth GmbH & Co. KG-Firmenlogo
Elektroingenieur (m/w/d) Fahrzeugeinrichtung Adolf Würth GmbH & Co. KG
Obersulm-Willsbach Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
durlum Group GmbH-Firmenlogo
Konstruktionsingenieur (m/w/d) durlum Group GmbH
Schopfheim Zum Job 
Neovii Biotech GmbH-Firmenlogo
Qualification Engineer (m/w/d) Neovii Biotech GmbH
Gräfelfing Zum Job 
Sauer Compressors-Firmenlogo
Entwicklungsingenieur (m/w/d) Sauer Compressors
Heidrive GmbH-Firmenlogo
Entwicklungsingenieur Elektrotechnik (m/w/d) Heidrive GmbH
Kelheim Zum Job 
Nitto Advanced Film Gronau GmbH-Firmenlogo
Ingenieur (w/m/d) Verfahrenstechnik / Chemie / Physik als Entwicklungsingenieur Nitto Advanced Film Gronau GmbH
Hochschule Osnabrück-Firmenlogo
Tandem-Professur Robotik, Data Science and AI, Digitalisierte Wertschöpfungsprozesse Hochschule Osnabrück
Osnabrück, Lingen Zum Job 
Bundeswehr-Firmenlogo
Ingenieurin / Ingenieur mit Bachelor (m/w/d) Beamtenausbildung Bundeswehr
verschiedene Standorte Zum Job 
Niedersachsen.next GmbH-Firmenlogo
Themenmanager Mobilität und Digitalisierung | Mobilitätskonzepte (m/w/d) Niedersachsen.next GmbH
Hannover Zum Job 
Universität Duisburg-Essen Campus Duisburg-Firmenlogo
13 positions for PhD candidates (f/m/d) Universität Duisburg-Essen Campus Duisburg
Duisburg Zum Job 
Bundesamt für das Personalmanagement der Bundeswehr-Firmenlogo
Ingenieurin / Ingenieur mit Bachelor (m/w/d) Beamtenausbildung Bundesamt für das Personalmanagement der Bundeswehr
verschiedene Standorte Zum Job 
Bergische Universität Wuppertal-Firmenlogo
Research Assistant (postdoc) in the field of additive manufacturing of metals Bergische Universität Wuppertal
Wuppertal Zum Job 
MICON Gruppe-Firmenlogo
Ingenieur (m/w/d) MICON Gruppe
Nienhagen Zum Job 
Hochschule Angewandte Wissenschaften München-Firmenlogo
Wissenschaftliche Mitarbeiterin oder Wissenschaftlicher Mitarbeiter zum Thema "Flexible Wärmepumpe mit integriertem Wärmespeicher" (m/w/d) Hochschule Angewandte Wissenschaften München
München Zum Job 
Steinmeyer Mechatronik GmbH-Firmenlogo
Entwicklungsingenieur (m/w/d) Steinmeyer Mechatronik GmbH
Dresden Zum Job 
Max-Planck-Institut für Astronomie-Firmenlogo
Astronom*in / Physiker*in / Ingenieur*in (m/w/d) für Adaptive Optik Max-Planck-Institut für Astronomie
Heidelberg Zum Job 
Karlsruher Institut für Technologie (KIT)-Firmenlogo
Universitätsprofessur (W3) Intelligente rekonfigurierbare Produktionsmaschinen Karlsruher Institut für Technologie (KIT)
Karlsruhe Zum Job 
Tagueri AG-Firmenlogo
(Junior) Consultant Funktionale Sicherheit (m/w/d)* Tagueri AG
Stuttgart Zum Job 

Dies führt dazu, dass einige die Regeln dehnen oder brechen, um ihre Position zu verbessern. Als Reaktion auf diese Manipulationsversuche hat das Analyse-Unternehmen Clarivate den gesamten Bereich Mathematik aus seiner letzten Liste der am häufigsten zitierten Autoren entfernt, die im November 2023 veröffentlicht wurde.

Unbekannte Mathematiker hatten die Liste gekapert

Die aufsehenerregende Studie stammt von Domingo Docampo, einem Mathematiker der Universität Vigo, der sich intensiv mit Hochschulrankings beschäftigt. In den letzten Jahren ist ihm aufgefallen, dass die Liste der am häufigsten zitierten Forscher von Clarivate zunehmend von weniger renommierten Mathematikern dominiert wird.

Docampo stellte fest, dass diese Forscher in Fachzeitschriften publizierten, die von anerkannten Mathematikern nicht gelesen werden, und dass ihre Arbeiten in Studien zitiert wurden, die ebenfalls außerhalb des seriösen wissenschaftlichen Diskurses stehen. Außerdem kamen die Autoren von Institutionen, die in der mathematischen Welt unbekannt sind. Um diesem Phänomen auf den Grund zu gehen, analysierte er die Clarivate-Daten der letzten 15 Jahre, um herauszufinden, welche Universitäten besonders häufig zitierte Forschungsarbeiten veröffentlichten und in welchem Zusammenhang diese Zitate standen.

China Medical University plötzlich Top-Uni für Mathematik

Docambo fand bei der Analyse der Zahlen heraus, dass zwischen 2008 und 2010 Institutionen mit einem starken mathematischen Renommee wie die University of California, Los Angeles (UCLA) und Princeton die Rangliste der meistzitierten mathematischen Publikationen (definiert als die obersten 1% der Zitationen) mit 28 bzw. 27 Arbeiten anführten.

In den Jahren 2021 bis 2023 wurden sie jedoch von Institutionen überholt, die traditionell nicht für ihre mathematische Forschung bekannt sind, darunter viele aus China, Saudi-Arabien und Ägypten. Besonders hervorzuheben ist die China Medical University in Taiwan, die mit 95 hochzitierten mathematischen Publikationen die Liste anführt – ein deutlicher Anstieg im Vergleich zu keiner einzigen Publikation dieser Art im vorangegangenen Jahrzehnt. Im Gegensatz dazu konnte die UCLA in diesem Zeitraum nur eine einzige Arbeit vorweisen, die zu den am häufigsten zitierten gehörte.

Muster lässt auf Zitierkartelle schließen

Docampo entdeckte Muster, die auf die Existenz von Zitierkartellen hindeuteten. Besonders auffällig war, dass die Zitate in den Top-Publikationen häufig von Forschern derselben Institution stammten, der auch die Autoren der zitierten Arbeit angehörten. Beispielsweise veröffentlichten die China Medical University und die King Abdul-Aziz University, die zwischen 2021 und 2023 zusammen 66 Top-Publikationen hatten, Hunderte von Studien, die sich auf häufig zitierte Arbeiten bezogen. Docampo stellte auch fest, dass diese Studien oft in so genannten Raubtier-Journalen veröffentlicht wurden, die unseriöse Zitierpraktiken möglicherweise eher tolerieren.

Auch andere Wissenschaftler sehen in den Ergebnissen Hinweise auf weit verbreitete Zitiermanipulationen. Helge Holden, Vorsitzender des Komitees des Abel-Preises, eines renommierten Mathematikpreises, kritisiert diese Praxis scharf: „Es gibt Forscher, die die Zahl ihrer Zitate künstlich in die Höhe treiben, ohne dass dies ihre wissenschaftliche Leistung widerspiegelt. Das ist absolut verwerflich“.

Beschuldigte geben sich ahnungslos

Yueh-Sheng Chen, leitender Sekretär der China Medical University, betont, dass seine Universität in keiner Weise an Zitatmanipulationen beteiligt sei. „Wir wissen nichts von gezielten Zitatmanipulationen und beteiligen uns nicht daran“, erklärt er. Stattdessen verweist er auf die Strategie seiner Universität, „international anerkannte Experten und Wissenschaftler aus Bereichen wie der angewandten Mathematik“ einzubinden, um den interdisziplinären Ansatz in der medizinischen Forschung zu stärken. Die King Abdul-Aziz Universität wollte auf Anfrage von Science keinen Kommentar abgeben.

Clarivate, das Unternehmen hinter der HCR-Liste, hat sich nicht direkt zu den Vorwürfen geäußert. In online veröffentlichten Kommentaren zu ihrer Entscheidung, Mathematiker von der aktuellen HCR-Liste zu streichen, äußert sie jedoch Bedenken hinsichtlich der „Optimierung von Status und Belohnungen durch die Manipulation von Publikationen und Zitationen, insbesondere durch das gezielte Zitieren sehr neuer Arbeiten“. Clarivate begründet seine Bedenken mit der Anfälligkeit der Mathematik für solche Manipulationen. Das Fach sei klein und zeichne sich durch eine durchschnittlich niedrige Publikations- und Zitationsrate aus. Daher könnten bereits geringe Steigerungen in diesen Bereichen zu Verzerrungen in der Darstellung und Analyse des Faches führen.

Gibt es auch in anderen Disziplinen Manipulationen?

Félix de Moya Anegón, Bibliometriker an der Universität Granada, weist gegenüber Science darauf hin, dass Zitationsmanipulationen auch in anderen Disziplinen vorkommen, wenn auch weniger offensichtlich. Ilka Agricola, Vorsitzende des Komitees für elektronische Information und Kommunikation der Internationalen Mathematischen Union, äußert die Befürchtung, dass Clarivate durch die Hervorhebung der Mathematik den falschen Eindruck erwecken könnte, dass diese Disziplin besonders von unseriösen Wissenschaftlern betroffen sei. Sie bedauert, dass keine andere Lösung gefunden wurde, als die Mathematik gänzlich auszuschließen.

Clarivate erklärt den Ausschluss der Mathematik dadurch, dass es externe Experten konsultiert, um die Methodik für künftige Analysen in diesem Bereich zu verbessern. Docampo entwickelt eine verfeinerte Metrik, die Zitate auf der Grundlage der Qualität der zitierenden Zeitschriften und Institutionen bewertet.

Andere Wissenschaftler sehen in der Manipulation von Zitaten lediglich ein Symptom für ein mangelhaftes Bewertungssystem. Ismael Rafols, Forscher am Zentrum für Wissenschafts- und Technologiestudien der Universität Leiden, argumentiert, dass Zitate und ähnliche Metriken zu grob seien, um individuelle Leistung angemessen zu messen. Sie seien anfällig für Manipulation. Holden stimmt dem zu und betont, dass Zitate kein zuverlässiges Maß für wissenschaftliche Qualität seien.

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.