Über eine Reform des Peer Review-Systems lässt sich trefflich streiten. Ein immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht ganz fair: Dass die Zunahme getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert. Beispielsweise in diesem Blog-Beitrag zu lesen.
Zum Glück findet man deutlich mehr Beiträge im Internet, die klar sagen, dass dies gar nicht die Aufgabe des klassischen Peer Review ist. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte – sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Peer Review würde unter einem solchen Generalverdacht wohl kaum vernünftig funktionieren – weder in der Prä-Publikations- noch in der Post-Publikations-Variante.
Denn was Peer Review leisten soll, ist doch vielmehr folgendes:
» das Manuskript auf Schlüssigkeit prüfen – vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“;
» den tatsächlichen Erkenntniswert einschätzen und einordnen – also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird;
» und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen – um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur möglich zu machen.
Keine Frage, Peer Review kann auf verschiedene Weise missbraucht werden. Das darf aber nicht überdecken, dass Gutachter idealerweise die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen – und eben nicht jeden Autoren von Vornherein des potenziellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert mehrheitlich – und wird auf genau diese Weise auch weiterhin gebraucht.
Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten dies vor einigen Jahren folgendermaßen zusammen:
„Wir glauben, dass der Peer Review gut geeignet ist, um zu erkennen, wenn Wissenschaftler aufgrund von Fehlern im Studiendesign oder in der Analyse falsche Schlussfolgerungen aus empirischen Daten ziehen. Der Gutachter geht von der Annahme aus, dass er nicht belogen wird, und seine Aufgabe ist eher die eines Schiedsrichters als die eines Detektivs. Die Frage "Unterstützen die Daten die Schlussfolgerungen?" ist einfach immanenter als die Frage „Hat der Typ sich das einfach ausgedacht?“. Auf diese Weise sind die Fachkollegen oftmals sehr hilfreich, wenn es darum geht, Mängel in der Versuchsplanung oder der Datenanalyse aufzudecken – ebenso wie redliche Fehler oder einfach Versehen seitens des Forschers. Wissenschaftlicher Betrug, der etwa bewusste Fälschung von Daten oder eine selektive Berichterstattung umfasst, ist für die Herausgeber von Zeitschriften oder die Gutachter dagegen kaum zu erkennen.“
Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?
Dennoch könnte man es als es Aufgabe der Journals ansehen, die Manuskripte vor dem Peer Review auf mögliche Unregelmäßigkeiten zu prüfen. Demnach sollte ein Journal dem potenziellen Reviewer garantieren, dass das vorgelegte Manuskript vorab sorgfältig auf mögliche Manipulationen überprüft wurde.
Aber auch dieser Weg zeigt: Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, müssen andere übernehmen – nicht die Reviewer! Insbesondere, weil man mit dieser Aufgabe das Ideal des wohlwollend helfenden und verbessernden Peer Review zugleich mit opfern würde.
Ralf Neumann
(Illustr.: Anand Damani)
- Der Peer Review ist tot, ...
... lange lebe der Peer Review! Für eine echte Reform des Peer-Review-Prozesses müssen wir Wissenschaftler auch bei uns selbst Dinge verändern. Aus unserer Reihe "Einsichten eines Wissenschaftsnarren" ...
- Die Geschichte eines idealen Peer Review
Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Langsam, intransparent und unzuverlässig sei das klassische Peer-Review-Verfahren, meinen sie ...
- Künstlich-intelligente Begutachtung
Maschinelle Sprachverarbeitung und neuronale Netzwerke versprechen, Peer Review zu beflügeln und von menschlichen Schwächen zu befreien ...