(16.07.2021) Wenn ein Journal mit Manuskripten zu einem angesagten Forschungsthema überhäuft wird, ist Vorsicht geboten. Ein Teil der eingereichten Paper könnte von professionellen „Papiermühlen“ stammen, die für ihre Kunden gefälschte Publikationen erstellen. Das Handwerk wird man den Paper Mills nur legen können, wenn man alle manipulierbaren Elemente des wissenschaftlichen Belohnungssystems konsequent abschafft.
Paper Mills (Papiermühlen) sind professionelle Fälschungswerkstätten, bei denen „Autoren“ (Kunden) gegen Bezahlung maßgeschneiderte pseudo-wissenschaftliche Arbeiten bestellen können. Durch die Publikation dieser gefälschten Produkte wollen die Kunden einzig und allein persönliche Vorteile erlangen, zum Beispiel mehr Gehalt, mehr Platz im Labor, mehr Personal, mehr Macht oder einen Karrieresprung.
Entscheidend für den geschäftlichen Erfolg der Paper Mills sind wissenschaftspolitisch gewollte Belohnungs- beziehungsweise Incentive-Systeme, die nicht durch wirksame Sanktionierungsmaßnahmen geschützt werden. Diese Voraussetzungen minimieren für Paper Mills und Kunden gleichermaßen das Risiko der Betrugsüberführung. Grundvoraussetzung für den großen geschäftlichen Erfolg der Paper Mills sind letztlich korrumpierte Wertvorstellungen. Autokratische Gesellschaftssysteme sind nach dem derzeitigen Erkenntnisstand besonders anfällig für das Gedeihen von Paper Mills. Für weitergehende Informationen zum Thema Paper Mills sei auf einige aktuelle Publikationen verwiesen [1-4].
Illustr.: AdobeStock / fran_kie
Die Zeiten, in denen wir Wissenschaft ohne Incentive-Systeme durchführen konnten, sind lange vorbei: Ohne Publikationen in Journalen mit hohem Impact-Faktor (IF) bekommt man keine Drittmittel mehr, ohne High-Impact-Publikationen und ohne Drittmittel kann man keine wissenschaftliche Karriere mehr machen. So einfach ist es. Zahlen-getriebene Incentive-Systeme betreffen nicht nur die Medizin und Naturwissenschaften, sie haben sich bis in die Geisteswissenschaften hineingefressen. Wer sich an einer Universität auf eine Professur bewirbt, muss inzwischen in aller Regel standardisierte Bögen ausfüllen, mit denen man die Zahlenwerte der einzelnen Bewerber vergleichen kann. Der Kandidat mit dem höchsten Zahlenwert bekommt den Job; ein vermeintlich objektives Incentive-System.
Was bedeutet dies für den Editor-in-Chief einer wissenschaftlichen Zeitschrift? Im Grunde ist es Incentive-System-konform, den IF seiner Zeitschrift so hoch wie möglich zu pushen, um dann möglichst viele „gute“ Einreichungen zu erhalten. Dafür gibt es etliche zweifelhafte und manchmal geradezu betrügerische Strategien, die hier aus Platzgründen nicht dargestellt werden können. Oft enden diese IF-Pushing-Versuche jedoch mit einer Diskreditierung des entsprechenden Journals und des Editors.
Als ich im Jahr 2016 die Position des Editor-in-Chiefs bei Naunyn-Schmiedeberg‘s Archives of Pharmacology (NSAP) übernahm, der ältesten existierenden pharmakologischen Fachzeitschrift, war für mich klar, dass ich nichts unternehmen würde, um den IF von NSAP künstlich zu pushen. Auch Negativergebnisse oder nicht ganz vollständige Studien sind in der Zeitschrift willkommen, vorausgesetzt die Daten werden kritisch diskutiert. Außerdem entschied ich, keine Arbeit abzulehnen, von der vermutet werden könnte, dass sie in der für die Berechnung der nächsten IF-relevanten Zeitperiode nur wenige Zitationen generieren würde (sogenannte low-priority-papers). Damit sollte auch Forschern auf „kleinen“ oder „randständigen“ Forschungsfeldern die Chance gegeben werden, ihre Ergebnisse zu publizieren. Wer weiß heute schon, welche Forschungsergebnisse in zehn oder zwanzig Jahren, weit jenseits der Berechnung des IF, wissenschaftlich und gesellschaftlich relevant sein werden? Solche Arbeiten werden auch als Sleeping Beauties bezeichnet [5].
NSAP genießt den Ruf einer sehr soliden, Autoren-freundlichen, fairen und konstruktiven Zeitschrift mit einem sehr qualifizierten Editorial Board. Unser IF lag in den letzten Jahren zwischen 2,0 und 2,5. Schon häufiger habe ich gehört: „Ja, wenn der IF vom Naunyn bei 4 läge, dann würde ich dem Journal auch mal wieder etwas schicken...“ Das Journal erfreut sich aber trotz solcher Äußerungen einer breiten internationalen Autorenschaft aus über 60 Ländern und wird weltweit gelesen. Insgesamt sind alle Stakeholder des Journals (Autoren, Editoren, Gutachter, Verlag und Leser) mit dem Journal rundum zufrieden.
Seit 2016, ein Jahr nach Vergabe des Nobelpreises für Medizin für die Entdeckung des Naturstoffs Artemisinin als Medikament gegen Malaria, bemerkten wir beim NSAP einen deutlichen Anstieg eingereichter Arbeiten über Naturstoffe – vor allem aus der Volksrepublik (VR) China, in der Artemisinin entwickelt wurde. In einem entsprechenden Editorial definierten wir, welche stringenten wissenschaftlichen Kriterien für Naturstoffarbeiten erfüllt sein müssen [6]. Zudem reagierten wir durch Expansion des Editorial Boards mit entsprechender Expertise auf die veränderten Einreichungen.
Der sorgfältig kontrollierte Begutachtungsprozess des NSAP sieht vor, dass jede Arbeit an einen Editor mit Fachexpertise gegeben wird, der sie dann von zwei Experten begutachten lässt – dennoch fiel nichts auf. Auch die Plagiatdetektions-Software iThenticate schlug nur in wenigen Fällen an. Letztlich lief der auf Vertrauen aufbauende Begutachtungsprozess beim NSAP unauffällig, und wir freuten uns, dass das Journal hinsichtlich der Einreichungszahlen stark im „natürlichen“ Wachsen begriffen war.
Parallel zur SARS-CoV-2-Pandemie platzte dann die Bombe. Im Februar 2020 wurde ich völlig überraschend durch Wissenschafts-Blogger darauf aufmerksam gemacht, dass in etlichen Arbeiten von Autoren aus der VR China Unregelmäßigkeiten bei Abbildungen aufgefallen seien: Offenbar wurden willkürlich Abbildungen collagiert und für ganz unterschiedliche „wissenschaftliche Inhalte“ verwendet [7]. Nach sorgfältiger Analyse der Abbildungen war klar, dass der Verdacht leider richtig war.
Ich war alles andere als amused: On top zu den vielfältigen Herausforderungen als Hochschullehrer in der SARS-CoV-2-Pandemie (vor allem der Realisierung von Online-Lehrangeboten innerhalb kürzester Zeit) jetzt auch noch Forschungsfälschungen aufklären? Wie sollte das gehen? Aber für mich war sofort klar, dass Nichtstun und Ignorieren der sehr substanziellen Fälschungsverdachtsmomente keine Alternative war. Langfristig stand die Existenz von NSAP auf dem Spiel. Also untersuchte ich jeden einzelnen Betrugsvorwurf und konnte dabei dankenswerterweise auf die Unterstützung des Editorial Boards und des Verlags Springer-Nature zurückgreifen.
Es gab aber auch Querschüsse. So wurde ich mit dem Vorwurf konfrontiert, rassistisch zu sein, weil mein Fokus der Untersuchungen auf Arbeiten aus der VR China lag. Tatsache ist jedoch, dass alle bisher detektierten Fälschungen im NSAP aus der VR China stammen. Insgesamt wurden von mir bislang zehn bereits publizierte Arbeiten aus der VR China zurückgezogen, und dreißig weitere kurz vor der Online-Publikation gestoppt: Ich erbat von den Autoren die Einreichung der Originaldaten von Abbildungen und Tabellen. Arbeiten von Autoren, die dieser Bitte nicht nachkommen konnten oder wollten, wurden nicht publiziert, obwohl sie eigentlich bereits akzeptiert waren. Interessanterweise gab es in keinem dieser dreißig Fälle irgendwelche Proteste der Autoren – nur beredtes Schweigen ohne Originaldaten.
Auf den ersten Blick war der gleichzeitige Beginn der Pandemie und der Paper Mill Crisis im NSAP zunächst nur eine zeitliche Koinzidenz. Aber 15 Monate später stellen sich auch inhaltliche Gemeinsamkeiten heraus: In gewisser Weise kann man die gefälschten Arbeiten mit einer Virusinfektion vergleichen. Wir sehen bis zum heutigen Tag, dass halbherzige Kontaktbeschränkungs-Maßnahmen und fehlende transparente Kommunikation unangenehmer wissenschaftlicher Tatsachen nur dazu führen, dass die Pandemie länger dauert und die Unzufriedenheit in der Bevölkerung wächst. Der Paper Mill Crisis bei NSAP wurde hingegen sofort mit großer Entschlossenheit begegnet. Auch mit unkonventionellen Maßnahmen wie der Last-second-Verhinderung der Veröffentlichung bereits akzeptierter Arbeiten – sowie ab April 2020 mit dem rigorosen Unterbrechen des Peer-Review-Prozesses aller Einreichungen durch die Bitte, Originaldaten vorzulegen sowie der raschen Verschärfung der Instructions for Authors. Die Konsequenzen dieser Maßnahmen waren sehr deutlich zu spüren: Insgesamt wurden weitere 320 (!) noch nicht veröffentlichte und im Peer-Review-Prozess befindliche Arbeiten von Autoren, wiederum zumeist aus der VR China, „zurückgezogen“ – stets ohne Angabe von Gründen. In aller Regel war es so, dass sich die Autoren nie mehr bei mir meldeten, und die Arbeiten nach bis zu zehn erfolglosen Kontaktversuchen administrativ von mir zurückgezogen wurden. Inzwischen ist die Anzahl der Einreichungen aus der VR China bei NSAP sehr stark rückläufig; der prozentuale Anteil publizierter Arbeiten aus der VR China geht ebenfalls zurück.
Es ist festzustellen, dass die rigorose Implementierung der Bereitstellung aller Originaldaten und vollständiger Immunoblots bereits bei der initialen Einreichung einen sehr guten Filter gegen die Publikation weiterer gefälschter Arbeiten darstellt. Hier bietet sich der Vergleich mit der Effektivität konsequenter Einhaltung der Kontaktbeschränkungs-Maßnahmen gegen die Ausbreitung der SARS-CoV-2-Infektion an.
Wie funktionieren Paper Mills? Ein essenzieller Teil ihres Geschäftsmodells besteht darin, möglichst wenig von sich preiszugeben, um effizient und erfolgreich arbeiten zu können. Aus der Tatsache, dass bei keinem der Paper-Mill-Fälle im regulären Peer-Review-Prozess Auffälligkeiten aufgetreten waren, kann man sicher schlussfolgern, dass Paper Mills gut ausgebildete Wissenschaftler (genauer gesagt, fehlgeleitete Ex-Wissenschaftler) beschäftigen, um ihre Produkte erfolgreich auf den Markt zu bringen. Da auch hinsichtlich der Qualität des Englisch in den Paper-Mill-Publikationen keine fundamentalen Probleme aufgefallen waren, darf man ferner davon ausgehen, dass viele Paper-Mill-Akteure Auslandserfahrung haben. Sie müssen sich gut mit der üblichen Plagiat-Software auskennen, da diesbezüglich keine Auffälligkeiten registriert wurden. Ebenso unauffällig verlief die Korrespondenz mit den Autoren im Peer-Review-Prozess. All dies spricht für hohe „Professionalität“ der Akteure. Es ist offensichtlich, dass sie die Interna des Peer-Review- und Publikationsprozesses in Zeitschriften sehr gut kennen und dieses System effizient für ihre Zwecke ausnutzen.
Illustr.: AdobeStock / fran_kie
Die Grundannahme des Publizierens ist, dass die einer Arbeit zu Grunde liegenden Daten korrekt sind und nicht prinzipiell in Frage gestellt werden müssen. Das nutzen Paper Mills schamlos aus. Paper-Mill-Akteure wissen auch sehr gut, dass Gutachter und Editoren ihrer Journal-Arbeit parallel zu vielen anderen Verpflichtungen nachgehen (oft abends oder am Wochenende) und nicht die Zeit haben, weitergehende Recherchen, etwa zu weiteren Publikationen der Autorengruppe, anzustellen. Ihnen ist auch bewusst, wie schwierig es häufig für Editoren ist, Gutachter zu finden. Diese Systemschwäche nutzen Paper-Mill-Autoren aus, indem sie Fake-Gutachter vorschlagen, die sehr positive Gutachten schreiben. Schließlich überfluten die Paper Mills Journale (wie bei NSAP geschehen) mit vielen Einreichungen, um so die Wahrscheinlichkeit zu erhöhen, dass ein Paper-Mill-Produkt zur Publikation angenommen wird. Hier bietet sich der Vergleich mit einem Virus-Superspreader-Ereignis an.
Warum ist NSAP ein so attraktives Target für Forschungsfälscher? Letztlich kann man hier nur Vermutungen anstellen, da keiner der Forschungsfälscher sein Motiv offen zugegeben hat. Es ist in der VR China jedoch politisch sehr erwünscht, dass Forscher Publikationen über die pharmakologischen Wirkungen von Naturstoffen in anerkannten westlichen Journalen publizieren. Da NSAP traditionell viele Arbeiten über definierte Naturstoffe publiziert, ist das Journal aus inhaltlicher Sicht ein „logisches“ Target der Paper Mills.
Es fällt zudem auf, dass besonders viele Paper-Mill-Fälle in Zeitschriften mit einem IF von zwei bis fünf auftauchen [1-4]. Es ist nicht klar, warum dies der Fall ist. Möglicherweise vermuten die Kunden von Paper-Mill-Produkten, dass die Akzeptanzwahrscheinlichkeit in dieser Zeitschriften-Kategorie höher ist als in High-IF-Journals. In jedem Fall geht es den Kunden nicht um wissenschaftliche Erkenntnis oder wissenschaftlichen Fortschritt, sondern lediglich darum, eine Publikation (egal welchen Inhalts) als karrierefördernde Trophäe in den Händen zu halten.
Leider sind auch viele andere Journale von Paper Mills betroffen [1, 4, 7]. Das genaue Ausmaß der Kontamination wissenschaftlicher Literatur durch Paper Mills ist nicht bekannt, weil nicht alle Journale gleich gut untersucht werden und zudem die Aufklärungskultur der einzelnen Journale über Paper Mills sehr unterschiedlich ist.
Warum sind Paper Mills so schwer zu fassen? Ein wichtiger Grund dürfte sein, dass die einschlägigen Paper-Mill-Werkstätten ihren „Service“ in chinesischer Schrift anbieten, die für westliche Wissenschaftler in aller Regel nicht dekodierbar ist.
Die COPE-Regeln wissenschaftlicher Zeitschriften sind so formuliert, dass man davon ausgeht, dass beide Seiten (das Journal und der unter Verdacht geratene Wissenschaftler) professionell handeln [8]. Aber gerade dies ist ja bei den Paper Mills überhaupt nicht der Fall. Nie gab es in der Paper Mill Crisis bei NSAP eine professionelle E-Mail-Signatur der Autoren, geschweige denn eine verwertbare Webseite.
Auffällig war außerdem, dass die Paper-Mill-Akteure bei der Aufklärung von Fälschungsvorwürfen oft in einem extrem schlechten Englisch kommunizierten und die Kommunikation sehr schleppend lief. Es stellte sich die Frage: Können oder wollen die „Autoren“ nicht verstehen, worum es geht? Die Kommunikationsprobleme im Rahmen der Aufarbeitung von Betrugsfällen stehen in deutlichem Kontrast zur ordentlichen Kommunikationsqualität im eigentlichen Peer-Review-Prozess. Auch dies spricht dafür, dass die Paper Mills geltende Regeln bewusst verletzten, um eine rasche Aufklärung zu verhindern. In den meisten Fällen dauerte es durch die von den „Autoren“ bewusst verschleppte Kommunikation Monate, ehe ein Betrugsfall abschließend aufgearbeitet werden konnte. Dies war sehr ärgerlich, weil die Arbeiten solange weiter als „sauber“ in der Literatur standen. Wir haben dem bei NSAP allerdings sofort entgegengewirkt, indem wir vor der Retraktion eines Artikels so bald wie möglich „Notes of Concern“ publizierten, in denen wir unsere vorläufigen Zweifel an der Integrität der Daten äußerten.
Was muss sich ändern? Auch immer besser werdende Textplagiat- und Bildfälschungsdetektions-Software sowie der Zwang zur Einreichung von Originaldaten werden Paper Mills nicht verhindern können. Im Gegenteil. Die Möglichkeit, künstliche Intelligenz (KI) für ihre Zwecke zu missbrauchen, wird eher dazu führen, dass die Produkte der Paper Mills immer raffinierter werden. Solange Incentive-Systeme exisitieren, die einen „Erfolg“ in der Wissenschaft, etwa die Publikation in einem bestimmten Journal, finanziell und karrieretechnisch belohnen, wird es immer Menschen geben, die versuchen, dieses System zu ihrem persönlichen Vorteil auszunutzen. Wenn sich nichts Grundsätzliches ändert, wird es weiterhin ein Katz-und-Maus-Spiel mit den Paper Mills geben. Es mehren sich leider die Hinweise, dass Regular Paper Mills durch die jetzt stattfindende Demaskierung zu Advanced Paper Mills mutieren, die auch „Originaldaten“ anbieten.
Letztlich kann man zukünftige Forschungsfälschungen (mit all ihren negativen Konsequenzen für die gesamte Scientific Community, das Vertrauen in die Wissenschaft allgemein und den gesellschaftlichen Fortschritt) nur verhindern, wenn man sämtliche manipulierbaren Incentives aus dem Wissenschaftssystem konsequent herausnimmt. Das mag für viele Forscher, Dekane, Universitätspräsidenten, Politiker, Geldgeber, Ranking-Agenturen, Verlage und Journal-Editoren eine erschreckende Vorstellung sein, weil dann die ganze schöne Zahlen-Objektivität der Wissenschaftsvermessung verlorengeht. Aber eines ist auch klar: Solange es Incentive-Systeme gibt, wird gefälscht werden, so oder so. Und der dadurch entstehende Kollateralschaden ist immens. Ich wünsche es keinem Kollegen, ein wissenschaftliches Journal von Fälschungen zu dekontaminieren. Der Zeitaufwand ist sehr groß, und es macht wirklich keinen Spaß. Die Zeit hätte ich viel lieber in innovative akademische Projekte gesteckt.
Zwar wird man Wissenschaftssysteme nicht von einem Tag auf den anderen ändern können, weil es sich um kulturell geprägte Entitäten mit großem Beharrungsvermögen handelt, aber man kann an der Basis beginnen: Der Autor dieses Beitrages behandelt jetzt explizit in einem Wissenschaftsethik-Modul für Doktoranden im Studiengang biomedizinische Datenwissenschaften (biomedas) an der MHH die Problematik der Paper Mills und sensibilisiert die nächste Generation von Wissenschaftlern für die Gefahr manipulierbarer Incentive-Systeme. Ethik-Lehrveranstaltungen, die sich mit Forschungsfälschung beschäftigen, gibt es inzwischen an etlichen Universitäten. Das ist schon ein großer Fortschritt, wenn man bedenkt, dass die jetzige Generation „etablierter“ Wissenschaftler im Alter von 50-Plus, einschließlich meiner Person, niemals eine Ausbildung in diesem Bereich erhalten hatte.
Ganz entscheidend wird es auch sein, dass alle seriösen wissenschaftlichen Zeitschriften bei der Aufklärung gefälschter Arbeiten mitmachen. Einige Journale gehen ebenso rigoros vor wie NSAP, andere jedoch nur sehr zögerlich. Durch meine eigene Tätigkeit als Gutachter für die verschiedensten internationalen Zeitschriften habe ich den Eindruck gewonnen, dass keine Zeitschrift davor gefeit ist, ein Target von Paper Mills zu werden. Manche Advanced Paper Mills sind nur geschickter (teurer) als andere.
Paper Mills entfalten ein immenses zerstörerisches Potenzial für die Integrität wissenschaftlicher Zeitschriften und die Glaubwürdigkeit der Wissenschaft insgesamt. Die Zahlen aus NSAP zeigen leider, dass sie ein echtes Massenphänomen sind und keine Petitesse. Während man früher in aller Regel davon ausgehen konnte, dass die Daten in einer Arbeit korrekt sind, beschleichen viele Wissenschaftler jetzt Zweifel (offen oder hinter der Nasen-Mund-Maske geäußert), insbesondere bei Arbeiten aus der VR China. Die Scientific Community wartet daher dringend auf klare Signale aus der VR China, die Paper Mills konsequent zu bekämpfen. Ein erster Schritt zurück zur Glaubwürdigkeit wäre die Aufhebung der obligatorischen Verbindung von Publikationen in bestimmten Journalen mit Karrierevorteilen. Eigentlich ist dies kein schwerer Schritt und bestens mit den Prinzipien des Kommunismus vereinbar.
Last but not least: Zwar war NSAP bisher ausschließlich von chinesischen Paper Mills betroffen, aber ich gehe davon aus, dass es nur eine Frage der Zeit ist, bis Paper Mills aus anderen Ländern NSAP ins Visier nehmen werden. Wie in der SARS-CoV-2-Pandemie wird es auch bei den Paper Mills „Varianten“ geben.
[1] Seifert R (2021) How Naunyn-Schmiedeberg’s Archives of Pharmacology deals with fraudulent papers from paper mills. Naunyn-Schmiedebergs Arch Pharmacol 394:431-436
[2] Teixeira da Silva JA (2021) Paper mills and on-demand publishing: Risks to the integrity of journal indexing and metrics. Med J Armed Forces India 77:119-120
[3] Else H, Van Noorden R (2021) The battle against paper mills. Nature 591:516-519
[4] Heck S, Bianchini F, Souren NY, Wilhelm C, Ohi Y, Plass C (2021) Fake data, paper mills and their authors: The International Journal of Cancer reacts to this threat to scientific integrity. Int J Cancer. Doi 10.1002/ijc.33604
[5] Hou J, Li H, Zhang Y (2020) Identifying the princes base on Altmetrics: An awakening mechanism of sleeping beauties from the perspective of social media. PLoS One 15:e0241772
[6] Merfort I, Michel MC, Seifert R (2017) Revised editorial guidelines for manuscripts on the pharmacology of plant extracts. Naunyn-Schmiedebergs Arch Pharmacol 390:765-766
[7] https://forbetterscience.com/2020/02/27/dark-satanic-papermills/ (abgerufen am 10. 5. 2021)