(12.10.2020) Der Peer-Review-Prozess ist kaum noch zeitgemäß, keine Frage. Nicht zuletzt deshalb findet insbesondere die Qualitätskontrolle von COVID-19-Preprints gerade verstärkt in sozialen Medien statt. Für eine echte Reform des Peer Review müssen wir Wissenschaftler indes auch bei uns selbst Dinge verändern.
Wir alle kennen das: Nach langem Warten und steigender Anspannung trifft endlich eine Antwort des Journals ein. Mit zittrigem Klick öffnet man die E-Mail und liest dort, dass man es sich nicht leicht gemacht habe. Aber angesichts der substantiellen Kritik der Reviewer sehe man sich nicht in der Lage, den Artikel zu veröffentlichen. Dies dürfe man bitte nicht als prinzipielles Urteil über die darin enthaltene Wissenschaft verstehen, aber man erhalte zu viele Manuskripte und müsse deshalb priorisieren. Man wünscht weiterhin frohes Forschen und hofft, dass man dem Journal gewogen bleibe!
Nach dem ersten Schock dann ein Blick auf die Reviews im Anhang. Reviewer 1 fand die Arbeit wohl ganz gut – hier eine kleine Beanstandung, dort ein paar wohlmeinende Vorschläge. Aber Reviewer 2! Hat er den Artikel denn überhaupt gelesen? War es vielleicht eine andere Arbeit, und er hat die Reviews verwechselt? In jedem Fall hatte der oder die Unbekannte überhaupt keine Ahnung – und erdreistete sich dennoch, mehrere Seiten lang Gülle über drei Jahre unserer harten Arbeit und deren hochrelevante Resultate zu schütten.
Andererseits haben wir auch dies schon erlebt: Durchaus harte, aber konstruktive Kritik von Reviewern, da sie tatsächlich die eine oder andere Problemstelle identifiziert hatten, die man selbst übersehen hatte oder nicht wahrhaben wollte. Und dann gute Hinweise gaben, wie man nach ein paar zusätzlichen Experimenten und einer textlichen Revision einen viel besseren Artikel daraus machen könnte!
Wir alle haben also vermutlich recht gemischte Erfahrungen mit dem Peer Review, akzeptieren ihn aber dennoch klaglos de facto als Eintrittspforte zu jeglicher wissenschaftlichen Veröffentlichung, die unser Ansehen unter Kollegen steigert oder uns gar einer Entfristung oder Professur näherbringt. Zwar ist sich die Mehrzahl der Wissenschaftler der vielen Schwächen des Peer-Review-Systems bewusst. Aber wer sich von Wissenschaft ernähren will, muss damit leben. Und konzentriert sich daher lieber auf die Experimente und das Schreiben der Paper als auf vertiefte Reflexionen zu möglichen Alternativen der wissenschaftlichen Qualitätskontrolle.
Doch Hand aufs Herz: Würden Sie die Option „Send out for Review“ wählen, wenn Sie bei Einreichung Ihres Papers auch „Publish immediately“ ankreuzen könnten? Momentan kommt jedenfalls tatsächlich etwas Bewegung in die Diskussion. Denn in gewisser Weise bieten die derzeit so populären Preprints genau diese Option. Corona und die damit verbundene Volks- und Wissenschaftler-Aufklärungskampagne in Sachen „Wie funktioniert eigentlich Wissenschaft“ hat das Publizieren ohne Review-Prozess nicht nur den Corona-Forschern, sondern allen Wissenschaftlern und sogar Laien nahegebracht. Und die Frage, ob der Peer Review notwendig, überflüssig oder sogar schädlich ist, kam damit erstmals so richtig aufs Tablett.
Weil es an dieser Stelle schon häufiger Thema war und weil es letztlich auch im (Unter-)Bewusstsein fast aller Akteure innerhalb des Systems präsent ist, hier nur noch einmal eine kurze und unvollständige Auflistung der Schwächen des Peer Reviews:
Die Liste der Probleme des Review-Prozesses ließe sich noch lange fortsetzen. Und für alle Punkte gibt es solide wissenschaftliche Evidenz.
Zusammengenommen hat dies dazu geführt, dass heutzutage ein nicht unbeträchtlicher Teil der Arbeit an einem Paper oftmals darin besteht, den Peer-Review-Prozess zu beeinflussen oder sogar zu manipulieren. Da werden Arbeiten zitiert und Formulierungen benutzt, die einem erhofften Reviewer schmeicheln, es wird endlos debattiert, welche Reviewer man vorschlagen oder besser ausschließen sollte, Journale werden nach „guten Bekannten“ in den Editorial Boards ausgewählt und so weiter. Wer diese Klaviatur beherrscht, hat einen klaren Karrierevorteil. Nicht zuletzt deshalb gehören „Meet-the-Editor“-Sessions zu den bestbesuchten Veranstaltungen auf Kongressen, da man hofft, dort Tipps und Tricks zu erhaschen, wie ich mit dem nächsten Manuskript am ehesten im betreffenden Journal akzeptiert werde.
Wer das alles für normal hält, ist bereits voll im Wissenschaftsbetrieb sozialisert. Alle anderen sollten sich allerdings die Frage stellen, was diese Umtriebe letztlich noch mit Wissenschaft zu tun haben. Und warum es trotz all seiner Probleme den Peer Review in der jetzigen Form überhaupt (noch) gibt.
Gerüchte besagen, dass er so alt sei wie die moderne Wissenschaft selbst, also quasi in der DNA der wissenschaftlichen Methode angelegt ist. Was aber nicht stimmt. Der Peer Review der Gentleman Scientists des 17. Jahrhunderts, der Boyles und Hookes also, hatte sehr wenig zu tun mit dem heutigen Prozedere. Oder glauben Sie etwa, dass „The Molecular Structure of Nucleic Acids“ von Watson und Crick 1953 bei Nature durch einen Review-Prozess gegangen ist? Natürlich nicht, denn das gab es damals noch nicht.
Der Peer Review hat sich in seiner heutigen Form erst zwanzig bis dreißig Jahre später richtig entwickelt. Und zwar in Zeiten, in denen viel weniger publiziert wurde, in denen die verwendete Methodik lange nicht so komplex war wie heute – und in denen „das System“ weniger kompetitiv war als heute. „Koryphäen“ ihrer Felder publizierten häufig wenig – und wenn, dann in den Journalen ihrer Fachgesellschaften. Jeder kannte jeden. Exzellenz maß sich nicht an der Zahl von Nature-Papern. Wissenschaftliche Fehden wurden mit offenem Visier und häufig auch mit harten Bandagen ausgetragen.
Vordergründig gilt Peer Review heute als Schlüsselelement der wissenschaftlichen Qualitätskontrolle. Wenn wieder einmal spektakuläre Betrugsfälle sogar die Laienpresse beschäftigen, reibt man sich zwar ab und an die Augen, beruhigt sich dann aber gleich wieder damit, dass dies ja nur eine Ausnahme gewesen sei und damit die Regel bestätige. Obwohl Peer Review also ganz offensichtlich eine Schlüsselrolle im wissenschaftlichen Prozess zugeschrieben wird, gibt man sich keine Mühe, ihn zu professionalisieren. Obwohl es hier viel zu beachten und noch mehr falsch zu machen gibt, wird gutes Reviewen nicht gelehrt. Man reviewt einfach munter drauf los, sobald die Anfrage eines Journals kommt.
In Wirklichkeit besteht die wesentlichste Aufgabe des Peer Reviews jedoch heute nicht mehr in der Qualitätskontrolle, sondern vielmehr in der Operationalisierung und Quasi-Objektivierung der Hierarchie von wissenschaftlichen Journalen – und zwar durch die Aufrechterhaltung der für diese Hierarchie notwendigen Selektivität. Aufgrund der immens gewachsenen Komplexität von Themen und Methoden haben die Proliferation und Quasi-Industrialisierung der Wissensproduktion samt deren Verbreitung in Form von wissenschaftlichen Artikeln zu einer Überwältigung von Editoren, Reviewern und Autoren geführt. Die Zeiten der Generalisten sind vorbei. Reviewer können nur noch Teilaspekte der ihnen vorgelegten Arbeiten beurteilen. Um die Qualität der Daten zu überprüfen, sofern diese ihnen überhaupt zugänglich gemacht werden, müssten Reviewer sich tagelang mit einem Manuskript herumschlagen. Vor einiger Zeit las ich etwa ein Cell-Paper, bei dem allein im Supplement Daten auf 15 Abbildungen verstreut waren – davon hatten einige 26 Briefmarken-große Panels, welche von A bis Z gelabelt waren! Wer will sich anmaßen, so etwas zu beurteilen?
Die Idee vom Peer Review als inhaltlichen Diskurs unter Wissenschaftlern über konkrete Forschungsergebnisse ist edel und plausibel – und hat sich für ein paar Jahrzehnte durchaus bewährt. Damals hat sich Peer Review zum Standard entwickelt und sich den Nimbus „Qualitätskontrollinstrument“ verdient.
Heute aber ist er überfordert. Dies auch wegen der mittlerweile im Wissenschaftsbetrieb vorherrschenden Hyperkompetition und der Quantifizierbarkeit des Prestiges der Journale durch den Impact Factor – was letztlich vollends zur Kommerzialisierung des Produkts „Wissenschaftlicher Artikel“ geführt hat. Fachartikel sind zur wichtigsten Währung im Wettbewerb der Wissenschaftler geworden. Die Verlage leben davon, indem sie in ihrer Konkurrenz untereinander den Wechselkurs dieser Währung festlegen. Es kommt also nicht mehr so sehr darauf an, was in einem Artikel steht – sondern vielmehr darauf, wo er erschienen ist. Das Prestige des Journals adelt den Inhalt und bürgt gleichzeitig unabhängig von diesem für seine Qualität. Der Peer Review hat in diesem Prozess die Funktion eines quasi-objektiven Steuerungs- und Selektionsinstruments.
Dass da auch mal ein Paper verbessert oder großer Mist aussortiert wird, ist zur Nebensache geworden. Aber klar, wenn ein Artikel zur Begutachtung in die richtigen Hände gerät, gibt es oft genug auch konstruktive Hinweise. Und man wird davor geschützt, sich – benebelt von den vermeintlich sensationellen eigenen Ergebnissen – durch Publikation von methodischen Fehlern oder überzogenen Schlussfolgerungen vor der Fachwelt zum Idioten zu machen. Peer Review kann nämlich tatsächlich wissenschaftlicher Diskurs vom Feinsten sein!
Wäre es daher also möglich, sich der Stärken des Peer Reviews zu bedienen, seine Schwächen aber zu vermeiden? Also den Pelz zu waschen, ohne sich nass zu machen? Ich denke schon! Ein einfacher aber hochwirksamer Ansatz ist es, den Review-Prozess vor den Studienbeginn zu verlegen. Also als „Registered Report“, der Narr hat an dieser Stelle bereits ausführlich darüber berichtet (LJ 4/2020: 22-24). Sowohl damit aber auch mit klassischem Peer Review kombinierbar wäre die Offenlegung der gesamten Korrespondenz des Journals mit den Reviewern, um damit Transparenz zu schaffen. Dies kann man weiter treiben bis hin zum „Offenen Review“, also Reviews gänzlich ohne den Schutz der Anonymität.
Sie werden sich fragen, ob das nicht zu Gefälligkeitsgutachten und Seilschaften führt? Wohl eher nicht, denn die Korrespondenz läge ja für jedermann sichtbar offen! Auch würden wahrscheinlich Argumentationen unter der Gürtellinie sowie offensichtlich inkompetente Kommentare seltener, da sie ja den jeweiligen Gutachter in den mitveröffentlichten Reviews kompromittieren würden.
Ein potenzieller Nachteil von offenen Reviews kann es jedoch sein, dass insbesondere junge Wissenschaftlerinnen und Wissenschaftler fürchten müssten, dass kritische Kommentare ihre Karriere gefährden könnten. Abgesehen davon, dass dies kein gutes Licht auf das System werfen würde, gäbe es auch hierfür Abhilfe – zum Beispiel durch Co-Review mit etablierteren Wissenschaftlern. Deren Name würde dann veröffentlicht, natürlich mit dem Hinweis auf die Kollaboration – und die jungen Wissenschaftler könnten über Angebote wie Publons (https://publons.com) trotzdem Anerkennung für ihre Arbeit bekommen.
Die spannendsten und besten Reviews finden sich aber derzeit ohnehin erst nach der betreffenden Publikation – seien es Preprints oder reguläre Artikel. Und diese finden inzwischen vor allem in den sozialen Medien statt. Auf gewisse Weise wurde mittlerweile auch die gründliche Qualitätskontrolle dorthin ausgelagert: Fast alle manipulierten oder sonstwie betrügerischen Arbeiten wurden zuletzt von skeptischen Lesern exponiert und dann via Twitter, PubPeer oder Blogs in den internationalen Diskurs gebracht. Und insbesondere wurden auch viele der COVID-19-Preprints letztlich auf diese Weise vom „Schwarm“ ge-reviewt. Häufig haben die jeweiligen Autoren dann die relevantesten Kommentare in den Revisionen ihrer Preprints berücksichtigt oder gleich mit in die reguläre Submission bei einem Peer-Review-Journal eingebracht.
Einige Journale praktizieren bereits erfolgreich einige oder sogar alle der oben genannten Modifikationen des Peer Reviews. Dazu zählen unter anderem Elife, F1000Research, das EMBO Journal, die PLoS-Journals, das British Medical Journal und PeerJ. Mir würden auch noch weitere Verbesserungen einfallen, davon vielleicht später mal mehr auf diesen Seiten.
Allerdings: Damit dies alles richtig durchschlägt und der Peer Review wieder Instrument des kritisch-konstruktiven Austausches zwischen Wissenschaftlern wird, müssen sich gleichzeitig noch andere Dinge bei uns selbst verändern. Vor allem müssen wir weniger, dafür aber bessere Artikel schreiben. Deren Inhalt und Qualität müssen wichtigere Kriterien in der Beurteilung von Wissenschaftlern und deren Œuvres werden als die Namen der Journale, in denen sie veröffentlichen. Und dann könnte durchaus gelten: Lang lebe der Peer Review!
Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj