Am 24. November wurde dem Physiker Paul Ginsparg von der Cornell University die mit 200.000 Euro dotierte Individual-Auszeichnung des „Einstein Award for the Improvement of Research Quality“ verliehen. Mit diesem Preis, der mit insgesamt 500.000 Euro dotiert ist und in diesem Jahr erstmals von der Damp-Stiftung und dem Land Berlin verliehen wurde, werden von nun an Forscherinnen und Forscher, Nachwuchswissenschaftlerinnen und Nachwuchswissenschaftler sowie Institutionen aus der ganzen Welt ausgezeichnet, die einen wesentlichen Beitrag zur Verbesserung der Qualität und Robustheit von Forschungsergebnissen geleistet haben.
Aber wer zum Teufel ist Paul Ginsparg, und warum hat ihn eine hochkarätig besetzte internationale Jury ausgewählt? Nur wenigen ist bekannt, dass Ginsparg die Welt des wissenschaftlichen Publizierens revolutioniert hat. Er war es nämlich, der 1993 den Preprint-Server ArXiv gegründet hat – als elektronisches Austauschforum einer kleinen Community von Theoretischen Physikern. Der Rest ist Geschichte, denn spätestens seit Corona werden auch in den Lebenswissenschaften immer mehr Artikel vor Einreichung bei einem Peer-Review-Journal zunächst als Preprint gepostet, beispielsweise bei BioRxiv oder MedRxiv. Das heißt: ohne formalen Review, für jedermann zugänglich, inklusive der nicht-wissenschaftlichen Öffentlichkeit. Gerade jetzt liest man deshalb auf den Wissenschaftsseiten der Tageszeitungen umso häufiger die Formulierung: „In einer noch nicht begutachteten Studie haben Wissenschaftler …“
Mit Preprints publizieren Wissenschaftler selbst, also ganz ohne Verlage. Sozusagen ein YouPublish – eine Art YouTube für Wissenschaftler! Aber hoppla, schafft das nicht ein Riesenproblem? Und wieso wird jemand für eine derart offensichtliche Narretei mit einem der höchstdotierten Wissenschaftspreise ausgezeichnet – noch dazu mit einem für die Verbesserung von Qualität? Öffnen solche Preprints denn nicht das Tor zur Hölle der Pseudowissenschaften? Oder zumindest zur Vorhölle der nicht durch die Fachwelt begutachteten und deshalb potenziell fehlerbehafteten Studien?
Zunächst mal das offensichtlich Positive an Preprints: Sie beschleunigen den wissenschaftlichen Austausch absolut. Das ist nicht nur, aber gerade in einer Pandemie besonders wichtig. Ein Beispiel: Britische Forscher veröffentlichten im Juni 2020 einen Preprint, in dem sie hinsichtlich der Wirkung von Kortikosteroiden auf COVID-19 zeigen konnten, dass sie die Mortalität von hospitalisierten COVID-19-Patienten senken. Unmittelbar nach der Veröffentlichung stieg der Kortikosteroid-Einsatz bei solchen Patienten von 30 auf 92 Prozent.
Auf diese Weise konnten unzählige Menschenleben in dem Intervall, das bis zur Veröffentlichung des Peer-Review-Artikels vergangen wäre, gerettet werden. Bis zur Publikation eines Artikels im Peer-Review-Verfahren dauert es nämlich fast immer mehr als ein Jahr – in der Pandemie oft auch etwas kürzer, ansonsten aber häufig auch viel länger. Schließlich versuchen wir doch als Autoren, mit jedem Artikel so viel Renommee – will heißen: Journal-Impact-Punkte – zu schürfen wie möglich. Was in der Regel bedeutet, das Manuskript zunächst bei einem Journal einzureichen, bei dem man schon rein stochastisch wenig Chancen auf Annahme hat. Und dann versucht man es in einer Kaskade von Zeitschriften mit abnehmenden Impact-Faktoren so lange mit Wiedereinreichungen, bis sich endlich ein Journal erbarmt. Jedes Mal mit neuer Formatierung, neuen Reviews, neuen Überarbeitungen und so weiter.
Ein Preprint dagegen ist sofort auf dem Markt des wissenschaftlichen Diskurses – um das Renommee kann man sich danach ja immer noch bemühen. Dafür bekommt man auf den Preprint womöglich hilfreiche Kommentare – über die Kommentierfunktion des Servers, via Twitter, E-Mail et cetera. Dies kann zu neuen und besseren Versionen des Manuskripts führen, die dann gleich wieder überarbeitet auf dem Preprint-Server erscheinen können. Und den Schutz vor dem Überholtwerden durch Scooping gibt es gratis dazu, denn man bekommt den Credit für sein Werk ja sofort nach Fertigstellung des Manuskripts. Zudem ermöglichen Preprints auch, problemlos Null-Resultate zu publizieren – also etwa Studien, in denen man die eigene Hypothese nicht bestätigen konnte, oder in denen es andere Überraschungen gab, die eine reguläre Publikation zumindest erschweren würden.
Wo aber viel Licht ist, muss da nicht zwangsläufig auch viel Schatten sein? Zweifellos wird auch etliches auf die Server hochgeladen, was wissenschaftlich fragwürdig, wenn nicht sogar unsinnig oder betrügerisch ist. Dinge, die Obskuranten dann als Beleg für ihre abstrusen Theorien nutzen – wie gerade in der Pandemie tatsächlich geschehen. Da gab es beispielsweise ein Preprint, in dem behauptet wurde, dass die Struktur von SARS-CoV-2 „unheimliche“ Ähnlichkeiten mit HIV aufweise.
Ähnlich lief es mit Studien zu möglichen Nebenwirkungen der lange gehypten Chloroquin-Derivate oder zum vermeintlichen Risiko der Behandlung von COVID-19-Patienten mit Medikamenten, die am Angiotensin-System ansetzen. Nur überstanden diese beiden Preprints unbeschadet den Review-Prozess von Lancet und dem New England Journal of Medicine – und mussten schließlich zurückgezogen werden.
Sicher, das sind Anekdoten. Allerdings gibt es inzwischen eine Reihe von Studien, die konkret das Schicksal von Preprints verfolgt haben. Resultat: Mindestens 70 Prozent davon werden nachfolgend in Peer-Review-Zeitschriften veröffentlicht. Und besonders bemerkenswert daran: Preprint und finaler Artikel unterscheiden sich in der Regel kaum. Manchmal verändern sich zwar Tabellen und Abbildungen ein wenig, manchmal auch etwas der Spin – aber die Kerndaten und Aussagen bleiben bestehen.
Mit anderen Worten: Der Peer Review ist keineswegs der Qualitäts-Filter, für den man ihn immer hält. Am schönsten hat dies Drummond Rennie, einer der Editoren des Journal of the American Medical Association (JAMA), bereits 1986 formuliert: „Trotz [des Begutachtungssystems] muss jeder, der die Fachzeitschriften aufmerksam und kritisch liest, feststellen, dass es kaum Hindernisse für eine Veröffentlichung gibt. Keine Studie scheint zu bruchstückhaft, keine Hypothese zu trivial, keine Literatur zu einseitig oder zu partikulär, kein Design zu verzerrt, keine Methodik zu stümperhaft, keine Ergebnisdarstellung zu ungenau, zu obskur oder zu widersprüchlich, keine Analyse zu voreingenommen (‚biased‘), kein Argument zu trivial oder zu ungerechtfertigt und keine Grammatik und Syntax zu anstößig zu sein, als dass eine Arbeit nicht in Druck gehen könnte. Die Funktion des Peer Review kann also nicht darin bestehen, zu entscheiden, ob – sondern lediglich, wo eine Arbeit veröffentlicht wird.“
Daran hat sich offenbar nichts geändert.
Dass in der Pandemie schlechte Studien, die nur als Preprint veröffentlicht wurden, die öffentliche Gesundheit mehr gefährden als Peer-Review-Artikel, ist deshalb nicht haltbar. Im Gegenteil: Solange Preprints immer den Disclaimer „Achtung: Nicht begutachtet“ tragen, sind sie weniger gefährlich, als wenn sie fast wortgleich in „richtigen“ Journalen erscheinen und damit das vermeintliche Gütesiegel des „Peer Review“ bekommen haben.
Zwar ergab eine Studie, dass gut 40 Prozent der Artikel in der Laienpresse, die über in Preprints publizierte Forschung berichten, die Ergebnisse nicht korrekt als wissenschaftlich unsicher oder bislang unbegutachtet darstellen. Allerdings sind medizinische Fachartikel, ob nun als Preprint oder normaler Journal-Artikel, sowieso nie dazu angetan, Laien Handreichungen zu deren persönlicher Gesundheitsvorsorge oder Therapieempfehlungen zu geben. Dies passiert nur, wenn Journalisten ihr Handwerk nicht verstehen und ihnen die nötige Grundskepsis gegenüber publizierter Evidenz fehlt. Dem Format „Preprint“ ist das jedenfalls nicht anzulasten.
Aber wie ist das eigentlich überhaupt mit Preprints und dem Peer Review? Per definitionem handelt es sich ja um nicht ge-reviewtes Material. Allerdings stimmt auch dies häufig nicht mehr so recht. Zum einen schalten biomedizinische Preprint-Server einen Qualitäts-Check vor, der verhindern soll, dass totaler Nonsens oder offensichtlich Gefährliches hochgeladen wird. Noch wichtiger aber: Die wissenschaftliche Community nimmt die Preprints wahr – und diskutiert sie, sofern Fragestellung und Ergebnisse eine Relevanz für das Feld haben. Darin besteht doch der ganze Sinn des Preprints. Deshalb haben sie sich ja in der Physik derart durchgesetzt. Dort sind Preprints in einigen Feldern sogar das Hauptmedium des wissenschaftlichen Diskurses. Entsprechend füllen sie dann auch die Lebensläufe und Anträge – und sind wegen ihrer Inhalte und deren Rezeption absolut Reputations-relevant in der Community.
Und genau hier geht in den Lebenswissenschaften derzeit die publikatorische Post ab! eLife, mittlerweile eines der renommiertesten Journale in der Biomedizin, begutachtet etwa nur noch, was vorher als Preprint publiziert wurde.
Mit „Review Commons“ haben ASAPbio und die European Molecular Biology Organisation (EMBO) eine Plattform geschaffen, über die man Preprints zum Review einreichen kann, ohne sich für eines von deren bislang 17 teilweise hochrenommierten Journale entschieden zu haben. Erst nach dem Review und einer möglichen Revision wählen die Autoren dann eines der Journale. Die Artikel werden also Journal-agnostisch nur nach wissenschaftlichen Meriten bewertet, während sie schon als Preprint für die Community verfügbar sind. Wird der Artikel von dem ausgewählten Journal dann doch nicht angenommen, kann er inklusive der Reviews bei einem der anderen beteiligten Journale eingereicht werden – und muss nicht nochmals begutachtet werden. Die Reviews werden übrigens, wenn die Autoren zustimmen, zusammen mit dem Preprint veröffentlicht. Der ganze Prozess wird dabei von Review Commons koordiniert.
Eine andere, ebenfalls spannende Initiative ist „Sciety“, das die offene Evaluation und Kuratierung von Preprints innerhalb eines wachsenden Netzwerks von Wissenschaftlern strukturiert organisiert.
Manches von all dem mag noch im Erprobungsstadium sein oder gerade erst an der Schwelle zur vollen Funktionalität und Nützlichkeit stehen. Auch hängen viele dieser Initiativen noch am Tropf von Fördergebern wie dem Howard Hughes Medical Institute (USA) und dem Medical Research Council (UK), oder werden von Stiftungen unterstützt wie der Chan-Zuckerberg-Initiative, dem Helmsley Charitable Trust oder den Arnold Ventures. Sie müssen also erst noch nachhaltige Geschäftsmodelle etablieren. Die eingeschlagene Richtung scheint aber schon jetzt unumkehrbar: Preprints als primäres Verbreitungsmedium wissenschaftlicher Erkenntnis – und damit als Dreh- und Angelpunkt einer aktuellen Umwälzung des Publikationswesens.
Was dabei leider nicht wirklich überrascht: Die meisten deutschen Fördergeber und Institutionen verschlafen diese Entwicklungen mal wieder – die Musik spielt wie so häufig anderswo.
Wie auch immer: Die Tatsache, dass die Filterfunktion des Review-Prozesses ein unerreichtes Ideal ist und die Preprints gleichsam den Erkenntnisaustausch stark beschleunigen sowie Ressourcen schonen, wirft natürlich eine Menge Fragen auf – bis hin zu der, wozu man dann überhaupt noch Journale braucht.
Dass es diese in der gegenwärtigen Form noch gibt, liegt nicht unwesentlich daran, dass dem derzeitigen wissenschaftlichen Publikationssystem eine Schlüsselrolle in der akademischen Reputations-Ökonomie zukommt. In der Publikation geht es schließlich nur teilweise darum, wissenschaftliche Evidenz unter die Leute zu bringen. Mindestens ebenso wichtig ist es, mittels der Publikation eigenes Renommee zu erwirtschaften. Und es sind gerade die Journals, die uns dieses Renommee verkaufen, das wiederum in seiner abstraktesten Form aus den Journal-Impact-Factor-Punkten besteht. Diese kaufen die Wissenschaftler – beziehungsweise die institutionellen Bibliotheken, und damit der Steuerzahler – bei den Verlagen und tauschen sie dann gegen Drittmittel, Verstetigung oder Professuren ein.
Preprints führen uns derzeit jedoch vor Augen, dass es offensichtlich möglich ist, den Mittelsmann – also die Verlage – aus der Gleichung herauszunehmen. Der einzige Haken dabei: Solange Preprints nicht Reputations-wirksam sind, muss auf jeden Fall weiter eine klassische Publikation angestrebt werden.
Dennoch haben Preprints durchaus revolutionäres Potenzial, weshalb der Einstein-Preis für Ginsparg absolut verdient ist. Und diejenigen, denen es jetzt gelingt, noch das akademische Reputationssystem so zu verändern, dass Preprints ihre volle Kraft entfalten können, sollten gleich für einen der nächsten Einstein-Preise nominiert werden.
Ulrich Dirnagl
Ulrich Dirnagl ist Wissenschaftlicher Sekretär des Einstein Award for the Improvement of Quality in Research. Weiterführende Literatur und Links finden sich wie immer unter: http://dirnagl.com/lj.
- Vom professoralen Herrschaftsinstrument zum Jodeldiplom für Chefärzte
Die medizinische Habilitation ist eine große Zeit- und Ressourcenverschwendung. Und noch schlimmer: Sie gaukelt wissenschaftlichen Professionalismus vor, wo keiner ist.
- Wer‘s glaubt, wird selig!
Heute soll es um den Placebo-Effekt gehen. Wobei wir uns hierbei auch einem weithin unbekannten Phänomen zuwenden werden: der Regression zum Mittelwert. Und die ist auch für Experimentatoren wichtig.
- Von den Gefahren allzu schöner Geschichten
Jeder Narr weiß, dass wissenschaftliche Entdeckungen kaum jemals „glatt und geradeaus“ verlaufen. Trotzdem werden sie zur Publikation oftmals genau so hingebogen. Doch das ist nicht ungefährlich.