Nicht nur Nature bringt wöchentlich seine „News & Views“, oder Science seine „Perspectives“ – nein, inzwischen präsentieren auch viele, viele andere Journals unter jeweils eigenen Rubriknamen sogenannte „Invited Commentaries“. Kurz gesagt, schicken dafür die Editoren die ihrer Meinung nach heißesten Originalpaper jeder einzelnen Ausgabe vorab an ausgewählte „Experten“ – und bitten diese die darin vorgestellten Ergebnisse hinsichtlich ihrer Bedeutung für das gesamte Feld zu kommentieren.
Diese Kommentare sind meist durchaus nett und gewinnbringend zu lesen – insbesondere auch für diejenigen Forscher, die gerne mal ein wenig über den eigenen Tellerrand schauen. Schließlich liefert solch ein Kommentar in der Regel einen knackigen und kompetenten Überblick über das gesamte Feld, präsentiert dazu die aktuell offenen Fragen und Probleme, ordnet die frischen Ergebnisse des neuen Papers samt Bewertung in diesen Rahmen ein – und wagt bisweilen noch einen Ausblick, welche weiteren Fragen durch die neuen Erkenntnisse nun womöglich leichter angegangen werden könnten.
Eigentlich ein „Ritterschlag“
Viele Autoren werten es daher als eine Art „Ritterschlag“ ihres Papers, wenn dieses durch einen „Eingeladenen Kommentar“ quasi geadelt wird. Allerdings sind solche „Invited Commentaries“ offenbar manchmal doch eher ein Quell des Ärgernisses für die Autoren des kommentierten Papers. Schon mehrfach erzählten uns die Autoren gewisser Nature- oder Science-Paper, dass die Kommentatoren deren Ergebnisse in den „News & Views“ oder den „Perspectives“ ziemlich falsch dargestellt und bewertet hätten – obwohl sie eigentlich aus derselben thematischen Ecke stammten.
Einer machte gar kürzlich genau dies als Problem aus. „Die Editoren müssen für die Kommentare natürlich Leute auswählen, die selbst an dem gleichen Thema arbeiten, meist sogar ganz eng an derselben Fragestellung“, gab er uns zu bedenken. „Tja, und nicht selten sind das dann genau die ärgsten Konkurrenten“.
Was dann zuweilen passieren kann, erzählte uns der zitierte Forscher am eigenen Beispiel: In dem eingeladenen Kommentar wurden die Ergebnisse seines Papers zunächst zwar milde gelobt, dann aber in ihrer Bedeutung und ihrem Einfluss auf das gesamte Feld krass abgewertet.
Dieses Gespräch erinnerte uns an einen Beitrag, den der US-Psychiater James Coyne bereits vor etwa fünf Jahren in dem PLoS-Blog Mind the Brain unter der Überschrift „Whomp! Using invited editorial commentary to neutralize negative findings” beschrieb. Kurz zusammengefasst präsentierte er darin ein Paper, das die Effektivität eines bestimmten klinischen Screenings überprüfte, welches bereits weithin praktiziert wurde. Das Ergebnis war negativ, das Screening stellte sich demnach also als nutzlos heraus! Und obwohl es ja bekanntermaßen nicht ganz leicht ist, negative Resultate zu veröffentlichen, gab es in diesem Fall offenbar kein Problem damit: Das Journal of Clinical Oncology druckte das Paper.
Allerdings brachte das Journal of Clinical Oncology in derselben Ausgabe auch einen „Invited Editorial Commentary“ zu dem Paper. Und den schrieb ausgerechnet eine der Hauptverfechterinnen des besagten Screenings.
Peer Review geschafft, doch dann...
James Coyne beschreibt in seinem Blog-Artikel detailliert, wie Letztere die negativen Resultate des Papers in dem Kommentar bewusst herunterspielt – teilweise mit grenzwertigen Methoden, wie etwa klar selektivem Zitieren. Ebenso ausführlich schlüsselt Coyne auf, wie valide die Ergebnisse des Papers tatsächlich sind – sowohl hinsichtlich der verwendeten Methodik, wie auch im Abgleich mit den richtigen Referenz-Veröffentlichungen.
Kein Wunder, dass Coyne sich am Ende darüber aufregt, wie es sein kann, dass man die Einladung zu einem nicht-begutachteten (!) Kommentar dazu nutzen darf, das entsprechende Paper derart zu diskreditieren. Er schreibt unter anderem:
„Die Autoren waren sicherlich mehr als enttäuscht, als sie entdeckten, dass ihr Artikel durch einen derart negativen Kommentar flankiert wurde. Schließlich wurden sie vorab nicht darüber informiert – geschweige denn, dass sie Gelegenheit zu einer Widerlegung bekamen. Ihr Manuskript schaffte es folglich durch den Peer Review, nur um es dann von einem Screening-Verfechter um die Ohren geschlagen zu bekommen.“
Eine durchaus ernste Sache. Schließlich werden die eingeladenen Kommentare á la Natures „News & Views“ sicher deutlich öfter gelesen als das Original-Paper. Insbesondere wenn – wie in dem vorliegenden Fall – das Paper zuerst einmal nur kostenpflichtig online eingesehen werden konnte, während der Kommentar sofort frei zugänglich war.
Nicht überraschend daher, dass Coyne den Lesern am Ende riet:
„Seid kritisch mit 'Invited Commentaries', gerade weil sie nicht oder nur sehr lasch begutachtet werden! Und schaut Euch die zugehörigen Originalartikel tatsächlich an! Und wenn Ihr in der Tat Falsches oder Dubioses in solchen Kommentaren entdeckt – schreibt darüber in den Post-Publication-Peer-Review-Plattformen wie PubPeer oder PubMed Commons.“
Ralf Neumann