Über eine Reform des Peer-Review-Systems lässt sich trefflich streiten. Zumal dessen Mängel nicht erst seit gestern offen zutage liegen. Ein ganz bestimmtes und auch immer wieder ins Feld geführtes Argument gegen den klassischen Peer Review ist jedoch nicht wirklich fair: Dass die deutliche Zunahme bewusst getürkter Paper in der Forschungsliteratur doch zeige, wie unzulänglich die Begutachtung funktioniert.
Glücklicherweise findet man ähnlich viele Beiträge im Internet, in denen die Autoren klarmachen, dass dies gar nicht die Aufgabe des klassischen Peer Review sei. Schließlich begutachten nicht irgendwelche FBI-Spezialisten oder Magier mit „sehenden Augen“ die Manuskripte – sondern ganz normale Forscherkollegen. Und die gehen zu Recht erst einmal davon aus, dass die Autoren eines Manuskripts sie weder belügen noch betrügen wollen. Schließlich würde Peer Review unter einem gegenteiligen Generalverdacht wohl kaum vernünftig funktionieren – weder in der Prä-Publikations- noch in der Post-Publikations-Variante.
Kritisch, aber wohlwollend
Denn was Peer Review leisten soll, ist doch vielmehr folgendes:
>>> Das Manuskript auf Schlüssigkeit prüfen. Vor allem hinsichtlich der Fragen „Unterstützen die Daten tatsächlich die Schlussfolgerungen?“ oder „Sind womöglich noch andere Interpretationen der Daten möglich?“
>>> Den tatsächlichen Erkenntniswert einschätzen und einordnen. Also etwa beurteilen, ob die Arbeit dem Feld tatsächlich etwas Neues hinzufügt oder ob lediglich „alter Wein in neuen Schläuchen“ präsentiert wird.
>>> Und natürlich die Autoren auf mögliche gedankliche und handwerkliche Fehler hinweisen – um das finale Paper mit Hilfe dieser Tipps und Hinweise so gut wie nur irgend möglich zu machen.
Peer Review kann auf verschiedene Weise missbraucht werden, keine Frage. Das darf aber nicht überdecken, dass Gutachter idealerweise (!) die Aufgabe haben, die Arbeiten der Kollegen zwar kritisch, aber möglichst wohlwollend zu beurteilen – und eben nicht jeden Autoren von Vornherein des potentiellen Betrugs zu verdächtigen. Diese „Vor-Einstellung“ ist gut so, funktioniert offenbar mehrheitlich – und wird auf genau diese Weise auch weiterhin gebraucht.
Schiedsrichter statt Spürhund
Die damaligen Editoren des Journal of Laboratory Clinical Medicine, Dale Hammerschmidt und Michael Franklin, fassten diese Punkte vor einigen Jahren einmal folgendermaßen zusammen:
„Wir glauben, dass Peer Review tatsächlich gut darin ist, zu erkennen, wenn Wissenschaftler aufgrund von Fehlern in Studiendesign oder Analyse falsche Schlussfolgerungen aus empirischen Daten ziehen. Der Peer Reviewer startet seinen Job in der Annahme, dass er nicht belogen wird, und sein Auftrag ist eher der eines Schiedsrichters als der eines Spürhundes. Die Frage „Unterstützen die Daten die Schlussfolgerungen?“ ist hierbei deutlich naheliegender als etwa „Hat sich dieser Typ das einfach nur ausgedacht?“. Auf diese Weise sind die jeweiligen Peers oft ziemlich hilfreich, um insbesondere Fehler in der Versuchsplanung oder Datenanalyse zu erkennen – und zwar ehrliche Fehler oder Versäumnisse seitens des Forschers. Wissenschaftlicher Betrug von der Art, dass Daten absichtlich fabriziert oder selektiv präsentiert werden, ist für Journal-Editoren oder Peer Reviewer vor diesem Hintergrund dagegen nicht so leicht zu erkennen.“
Es kommt also noch dazu, dass man geplante Fälschung in aller Regel sowieso viel schwerer erkennt als unabsichtliche Fehler oder Irrtümer. Liegt auf der Hand, oder?
Wer falsche Daten unterschieben will, der schafft das!
Als der Autor dieser Zeilen vor nunmehr ziemlich langer Zeit den damaligen Chef der Ulmer Uniklinik, Vinzenz Hombach, im Zusammenhang mit der Fälschungsaffäre um Friedhelm Herrmann auf dieses Dilemma ansprach, antwortete er nur lapidar:
„Wissen Sie, wenn mir ein Mitarbeiter oder ein Kollege manipulierte Daten unterschieben will – dann schafft er das! Ohne dass ich die geringste Chance habe, es zu merken.“
Die sicherlich dringend notwendige Aufgabe, manipulierte Daten in eingereichten Manuskripten aufzuspüren, muss folglich eine andere Instanz als der Peer Review übernehmen. Auch, weil man sonst das Ideal des wohlwollend helfenden und verbessernden Peer Review gleich mit auskippt.
Ralf Neumann
(Foto: Pixabay / Tumisu)
- „Fälschungen sind immer schlimm, aber seinen Daten haben wir schon länger nicht getraut“
- Was interessiert den Ex-Postdoc sein altes Geschwätz?