Gewöhnlich geben Naturwissenschaftler nicht viel auf Ergebnisse, die mit Fragebögen erhoben sind. Objektive Ergebnisse seien damit nicht möglich, ist deren klares Urteil. Zu befangen (biased) seien die „Versuchsobjekte“, zu viele nicht-messbare Faktoren gingen in die Antworten ein. Mit ein Hauptgrund, weswegen „echte“ Wissenschaftler klassischen Fragebogen-Disziplinen wie Psychologie oder Soziologie allenfalls mit Argwohn begegnen. Trotz aller robuster statistischer Verfahren darum herum.
Komisch ist allerdings, dass sie derlei Kritik offenbar komplett ausblenden, wenn ihnen die Ergebnisse solcher Umfragen gut in den Kram passen. Dann zeigt sich wie kaum irgendwo sonst, dass Naturwissenschaftler letzten Endes „auch nur Menschen sind“. „Seht ihr, hab’ ich doch schon immer gesagt“, heißt es dann aus deren Mündern. „Hier habt ihr es jetzt schwarz auf weiß“.
Gut zu beobachten war dieses Phänomen beispielsweise schon vor längerer Zeit anlässlich einer Umfrage zum Thema Gutachtertum (Sci. Eng. Ethics 14, S. 305). Drei US-Autoren hatten eine ordentliche Anzahl Life-Science-Forscherinnen und -Forscher über ihre Erfahrungen mit dem Peer Review befragt. Die Ergebnisse:
>> Mindestens ein Reviewer war inkompetent, erklärten 61,8 Prozent der Befragten.
>> Mindestens ein Reviewer war voreingenommen (biased!), bemängelten 50,5 Prozent.
>> Gutachter verlangten, unnötige Referenzen in die Publikation aufzunehmen – 22,7 Prozent.
>> Kommentare der Gutachter enthielten persönliche Angriffe – 17,7 Prozent …
>>… Bis hin zu Vertraulichkeitsbruch der Gutachter (6,8 Prozent) beziehungsweise unerlaubter Übernahme von Ideen, Daten oder Methoden aus dem Manuskript (5 Prozent).
Alles das also, worüber so gut wie jede Forscherin und jeder Forscher immer wieder wettern – jetzt mit fetten Zahlen dahinter. Solche Umfragen zählen natürlich.
Zumal es ja auch bei der Begutachtung von Förderanträgen genügend anekdotische „Evidenz“ für die Unzulänglichkeiten des Peer Review gibt. Denn wie war das noch mit dem Kollegen Müller, der kürzlich ins Ausland gewechselt war? Mit dem gleichen Antrag, den die DFG vor zwei Jahren komplett abgelehnt hatte, bekam er jetzt dort die höchste Zuwendung der aktuellen Förderperiode.
Oder der Sonderforschungsbereich (SFB), koordiniert von Kollegin Schacht? Wurde damals ebenfalls abgelehnt. Gut ein Jahr später waren dann sämtliche Einzelprojekte des einstmals erfolglosen SFB über das Normalverfahren bewilligt.
Oder Nachwuchsmann Starz. Bekam mit seinem Projektantrag von der DFG kein Stipendium und wurde dann – glücklicherweise, muss man im Nachhinein sagen – über EU-Töpfe finanziert. Jetzt ziert sein Paper die Titelseite von Current Biology und wurde breit in der internationalen Presse vorgestellt.
Doch halt, das sind ja quasi Einzelfallstudien (Case Studies)! Und die zählen bei „echten“ Naturwissenschaftlern schließlich auch nicht gerade viel.
Ralf Neumann
(Illustr.: mohamed_hassan / Pixabay)
- Der Peer Review ist tot, lang lebe der Peer Review!
Aus den "Einsichten eines Wissenschaftsnarren": Für eine echte Reform des Peer Review müssen wir Wissenschaftler vor allem bei uns selbst Dinge verändern ...
- Die Geschichte eines idealen Peer Review
Ist das Gutachterwesen via Peer Review am Ende? Viele sehen es so. Dabei kann er durchaus konstruktiv sein ...
- Einstein und der Peer Review
Auch Albert Einstein hielt anfangs nicht viel von Peer Review ...
