Info

Heilsbringer oder apokalyptische Reiter

(07.12.2021) Preprints könnten Wissen­schafts­verlage überflüssig zu machen. Jetzt müsste nur noch jemand das akademische Reputations­system ändern.
editorial_bild

Info

Info

Nutzen Sie die isothermale Amplifikation als clevere Alternative zur PCR – mit NEBs Multipurpose LAMP Kits. mehr

Am 24. November wurde dem Physiker Paul Ginsparg von der Cornell University die mit 200.000 Euro dotierte Individual-Auszeichnung des „Einstein Award for the Improve­ment of Research Quality“ verliehen. Mit diesem Preis, der mit insgesamt 500.000 Euro dotiert ist und in diesem Jahr erstmals von der Damp-Stiftung und dem Land Berlin verliehen wurde, werden von nun an Forsche­rinnen und Forscher, Nachwuchs­wissenschaftlerinnen und Nachwuchs­wissenschaftler sowie Institu­tionen aus der ganzen Welt ausgezeichnet, die einen wesentlichen Beitrag zur Verbesserung der Qualität und Robustheit von Forschungs­ergebnissen geleistet haben.

Aber wer zum Teufel ist Paul Ginsparg, und warum hat ihn eine hochkarätig besetzte internationale Jury ausgewählt? Nur wenigen ist bekannt, dass Ginsparg die Welt des wissen­schaftlichen Publizierens revolutioniert hat. Er war es nämlich, der 1993 den Preprint-Server ArXiv gegründet hat – als elektronisches Austausch­forum einer kleinen Community von Theoretischen Physikern. Der Rest ist Geschichte, denn spätestens seit Corona werden auch in den Lebens­wissenschaften immer mehr Artikel vor Einreichung bei einem Peer-Review-Journal zunächst als Preprint gepostet, beispiels­weise bei BioRxiv oder MedRxiv. Das heißt: ohne formalen Review, für jedermann zugänglich, inklusive der nicht-wissen­schaftlichen Öffentlichkeit. Gerade jetzt liest man deshalb auf den Wissenschafts­seiten der Tageszeitungen umso häufiger die Formulierung: „In einer noch nicht begut­achteten Studie haben Wissenschaftler …“

Info

Info

Info

Mit Preprints publizieren Wissen­schaftler selbst, also ganz ohne Verlage. Sozusagen ein YouPublish – eine Art YouTube für Wissen­schaftler! Aber hoppla, schafft das nicht ein Riesen­problem? Und wieso wird jemand für eine derart offensichtliche Narretei mit einem der höchst­dotierten Wissen­schaftspreise ausgezeichnet – noch dazu mit einem für die Verbesserung von Qualität? Öffnen solche Preprints denn nicht das Tor zur Hölle der Pseudo­wissenschaften? Oder zumindest zur Vorhölle der nicht durch die Fachwelt begutachteten und deshalb potenziell fehler­behafteten Studien?

Zunächst mal das offensichtlich Positive an Preprints: Sie beschleunigen den wissen­schaftlichen Austausch absolut. Das ist nicht nur, aber gerade in einer Pandemie besonders wichtig. Ein Beispiel: Britische Forscher veröffentlichten im Juni 2020 einen Preprint, in dem sie hinsichtlich der Wirkung von Kortiko­steroiden auf COVID-19 zeigen konnten, dass sie die Mortalität von hospita­lisierten COVID-19-Patienten senken. Unmittelbar nach der Veröffent­lichung stieg der Kortikosteroid-Einsatz bei solchen Patienten von 30 auf 92 Prozent.

Auf diese Weise konnten unzählige Menschen­leben in dem Intervall, das bis zur Veröffent­lichung des Peer-Review-Artikels vergangen wäre, gerettet werden. Bis zur Publikation eines Artikels im Peer-Review-Verfahren dauert es nämlich fast immer mehr als ein Jahr – in der Pandemie oft auch etwas kürzer, ansonsten aber häufig auch viel länger. Schließlich versuchen wir doch als Autoren, mit jedem Artikel so viel Renommee – will heißen: Journal-Impact-Punkte – zu schürfen wie möglich. Was in der Regel bedeutet, das Manuskript zunächst bei einem Journal einzureichen, bei dem man schon rein stochastisch wenig Chancen auf Annahme hat. Und dann versucht man es in einer Kaskade von Zeitschriften mit abnehmenden Impact-Faktoren so lange mit Wieder­einreichungen, bis sich endlich ein Journal erbarmt. Jedes Mal mit neuer Formatierung, neuen Reviews, neuen Über­arbeitungen und so weiter.

Info

Ein Preprint dagegen ist sofort auf dem Markt des wissen­schaftlichen Diskurses – um das Renommee kann man sich danach ja immer noch bemühen. Dafür bekommt man auf den Preprint womöglich hilfreiche Kommentare – über die Kommentier­funktion des Servers, via Twitter, E-Mail et cetera. Dies kann zu neuen und besseren Versionen des Manuskripts führen, die dann gleich wieder überarbeitet auf dem Preprint-Server erscheinen können. Und den Schutz vor dem Überholt­werden durch Scooping gibt es gratis dazu, denn man bekommt den Credit für sein Werk ja sofort nach Fertig­stellung des Manuskripts. Zudem ermöglichen Preprints auch, problemlos Null-Resultate zu publizieren – also etwa Studien, in denen man die eigene Hypothese nicht bestätigen konnte, oder in denen es andere Überraschungen gab, die eine reguläre Publikation zumindest erschweren würden.

Wo aber viel Licht ist, muss da nicht zwangsläufig auch viel Schatten sein? Zweifellos wird auch etliches auf die Server hoch­geladen, was wissen­schaftlich fragwürdig, wenn nicht sogar unsinnig oder betrügerisch ist. Dinge, die Obskuranten dann als Beleg für ihre abstrusen Theorien nutzen – wie gerade in der Pandemie tatsächlich geschehen. Da gab es beispielsweise ein Preprint, in dem behauptet wurde, dass die Struktur von SARS-CoV-2 „unheimliche“ Ähnlichkeiten mit HIV aufweise.

Ähnlich lief es mit Studien zu möglichen Neben­wirkungen der lange gehypten Chloroquin-Derivate oder zum vermeintlichen Risiko der Behandlung von COVID-19-Patienten mit Medikamenten, die am Angiotensin-System ansetzen. Nur überstanden diese beiden Preprints unbeschadet den Review-Prozess von Lancet und dem New England Journal of Medicine – und mussten schließlich zurückgezogen werden.

Sicher, das sind Anekdoten. Allerdings gibt es inzwischen eine Reihe von Studien, die konkret das Schicksal von Preprints verfolgt haben. Resultat: Mindestens 70 Prozent davon werden nachfolgend in Peer-Review-Zeitschriften veröffentlicht. Und besonders bemerkenswert daran: Preprint und finaler Artikel unterscheiden sich in der Regel kaum. Manchmal verändern sich zwar Tabellen und Abbildungen ein wenig, manchmal auch etwas der Spin – aber die Kerndaten und Aussagen bleiben bestehen.

Mit anderen Worten: Der Peer Review ist keineswegs der Qualitäts-Filter, für den man ihn immer hält. Am schönsten hat dies Drummond Rennie, einer der Editoren des Journal of the American Medical Association (JAMA), bereits 1986 formuliert: „Trotz [des Begutach­tungssystems] muss jeder, der die Fachzeit­schriften aufmerksam und kritisch liest, feststellen, dass es kaum Hindernisse für eine Veröffent­lichung gibt. Keine Studie scheint zu bruch­stückhaft, keine Hypothese zu trivial, keine Literatur zu einseitig oder zu partikulär, kein Design zu verzerrt, keine Methodik zu stümperhaft, keine Ergebnis­darstellung zu ungenau, zu obskur oder zu wider­sprüchlich, keine Analyse zu vorein­genommen (‚biased‘), kein Argument zu trivial oder zu ungerecht­fertigt und keine Grammatik und Syntax zu anstößig zu sein, als dass eine Arbeit nicht in Druck gehen könnte. Die Funktion des Peer Review kann also nicht darin bestehen, zu entscheiden, ob – sondern lediglich, wo eine Arbeit veröffentlicht wird.“

Daran hat sich offenbar nichts geändert.

Dass in der Pandemie schlechte Studien, die nur als Preprint veröffentlicht wurden, die öffentliche Gesundheit mehr gefährden als Peer-Review-Artikel, ist deshalb nicht haltbar. Im Gegenteil: Solange Preprints immer den Disclaimer „Achtung: Nicht begutachtet“ tragen, sind sie weniger gefährlich, als wenn sie fast wortgleich in „richtigen“ Journalen erscheinen und damit das vermeintliche Gütesiegel des „Peer Review“ bekommen haben.

Zwar ergab eine Studie, dass gut 40 Prozent der Artikel in der Laienpresse, die über in Preprints publizierte Forschung berichten, die Ergebnisse nicht korrekt als wissen­schaftlich unsicher oder bislang unbegut­achtet darstellen. Allerdings sind medizinische Fachartikel, ob nun als Preprint oder normaler Journal-Artikel, sowieso nie dazu angetan, Laien Hand­reichungen zu deren persönlicher Gesundheits­vorsorge oder Therapie­empfehlungen zu geben. Dies passiert nur, wenn Journalisten ihr Handwerk nicht verstehen und ihnen die nötige Grundskepsis gegenüber publizierter Evidenz fehlt. Dem Format „Preprint“ ist das jedenfalls nicht anzulasten.

Aber wie ist das eigentlich überhaupt mit Preprints und dem Peer Review? Per definitionem handelt es sich ja um nicht ge-reviewtes Material. Allerdings stimmt auch dies häufig nicht mehr so recht. Zum einen schalten biomedi­zinische Preprint-Server einen Qualitäts-Check vor, der verhindern soll, dass totaler Nonsens oder offensichtlich Gefährliches hochgeladen wird. Noch wichtiger aber: Die wissen­schaftliche Community nimmt die Preprints wahr – und diskutiert sie, sofern Fragestellung und Ergebnisse eine Relevanz für das Feld haben. Darin besteht doch der ganze Sinn des Preprints. Deshalb haben sie sich ja in der Physik derart durchgesetzt. Dort sind Preprints in einigen Feldern sogar das Hauptmedium des wissen­schaftlichen Diskurses. Entsprechend füllen sie dann auch die Lebensläufe und Anträge – und sind wegen ihrer Inhalte und deren Rezeption absolut Reputations-relevant in der Community.

Und genau hier geht in den Lebens­wissenschaften derzeit die publika­torische Post ab! eLife, mittlerweile eines der renom­miertesten Journale in der Biomedizin, begutachtet etwa nur noch, was vorher als Preprint publiziert wurde.

Mit „Review Commons“ haben ASAPbio und die European Molecular Biology Organisation (EMBO) eine Plattform geschaffen, über die man Preprints zum Review einreichen kann, ohne sich für eines von deren bislang 17 teilweise hoch­renom­mierten Journale entschieden zu haben. Erst nach dem Review und einer möglichen Revision wählen die Autoren dann eines der Journale. Die Artikel werden also Journal-agnostisch nur nach wissen­schaftlichen Meriten bewertet, während sie schon als Preprint für die Community verfügbar sind. Wird der Artikel von dem ausgewählten Journal dann doch nicht angenommen, kann er inklusive der Reviews bei einem der anderen beteiligten Journale eingereicht werden – und muss nicht nochmals begutachtet werden. Die Reviews werden übrigens, wenn die Autoren zustimmen, zusammen mit dem Preprint veröffentlicht. Der ganze Prozess wird dabei von Review Commons koordiniert.

Eine andere, ebenfalls spannende Initiative ist „Sciety“, das die offene Evaluation und Kuratierung von Preprints innerhalb eines wachsenden Netzwerks von Wissen­schaftlern strukturiert organisiert.

Manches von all dem mag noch im Erprobungs­stadium sein oder gerade erst an der Schwelle zur vollen Funktionalität und Nützlichkeit stehen. Auch hängen viele dieser Initiativen noch am Tropf von Förder­gebern wie dem Howard Hughes Medical Institute (USA) und dem Medical Research Council (UK), oder werden von Stiftungen unterstützt wie der Chan-Zuckerberg-Initiative, dem Helmsley Charitable Trust oder den Arnold Ventures. Sie müssen also erst noch nachhaltige Geschäfts­modelle etablieren. Die eingeschlagene Richtung scheint aber schon jetzt unumkehrbar: Preprints als primäres Verbreitungs­medium wissen­schaftlicher Erkenntnis – und damit als Dreh- und Angelpunkt einer aktuellen Umwälzung des Publika­tionswesens.

Was dabei leider nicht wirklich überrascht: Die meisten deutschen Förder­geber und Institu­tionen verschlafen diese Entwicklungen mal wieder – die Musik spielt wie so häufig anderswo.

Wie auch immer: Die Tatsache, dass die Filter­funktion des Review-Prozesses ein unerreichtes Ideal ist und die Preprints gleichsam den Erkenntnis­austausch stark beschleunigen sowie Ressourcen schonen, wirft natürlich eine Menge Fragen auf – bis hin zu der, wozu man dann überhaupt noch Journale braucht.

Dass es diese in der gegen­wärtigen Form noch gibt, liegt nicht unwesentlich daran, dass dem derzeitigen wissen­schaftlichen Publikations­system eine Schlüsselrolle in der akademischen Reputations-Ökonomie zukommt. In der Publikation geht es schließlich nur teilweise darum, wissenschaftliche Evidenz unter die Leute zu bringen. Mindestens ebenso wichtig ist es, mittels der Publikation eigenes Renommee zu erwirtschaften. Und es sind gerade die Journals, die uns dieses Renommee verkaufen, das wiederum in seiner abstraktesten Form aus den Journal-Impact-Factor-Punkten besteht. Diese kaufen die Wissen­schaftler – beziehungsweise die institutionellen Bibliotheken, und damit der Steuerzahler – bei den Verlagen und tauschen sie dann gegen Drittmittel, Verstetigung oder Professuren ein.

Preprints führen uns derzeit jedoch vor Augen, dass es offensichtlich möglich ist, den Mittelsmann – also die Verlage – aus der Gleichung heraus­zunehmen. Der einzige Haken dabei: Solange Preprints nicht Reputations-wirksam sind, muss auf jeden Fall weiter eine klassische Publikation angestrebt werden.

Dennoch haben Preprints durchaus revolutionäres Potenzial, weshalb der Einstein-Preis für Ginsparg absolut verdient ist. Und diejenigen, denen es jetzt gelingt, noch das akademische Reputationss­ystem so zu verändern, dass Preprints ihre volle Kraft entfalten können, sollten gleich für einen der nächsten Einstein-Preise nominiert werden.

Ulrich Dirnagl

Ulrich Dirnagl ist Wissenschaftlicher Sekretär des Einstein Award for the Improvement of Quality in Research. Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj.


Weitere Einsichten unseres Wissenschaftsnarren


- Vom professoralen Herrschaftsinstrument zum Jodeldiplom für Chefärzte

Die medizinische Habilitation ist eine große Zeit- und Ressourcenverschwendung. Und noch schlimmer: Sie gaukelt wissenschaftlichen Professionalismus vor, wo keiner ist.

- Wer‘s glaubt, wird selig!

Heute soll es um den Placebo-Effekt gehen. Wobei wir uns hierbei auch einem weithin unbekannten Phänomen zuwenden werden: der Regression zum Mittelwert. Und die ist auch für Experimentatoren wichtig.

- Von den Gefahren allzu schöner Geschichten

Jeder Narr weiß, dass wissenschaftliche Entdeckungen kaum jemals „glatt und geradeaus“ verlaufen. Trotzdem werden sie zur Publikation oftmals genau so hingebogen. Doch das ist nicht ungefährlich.

 



Letzte Änderungen: 07.12.2021