(06.04.2020) Das Artikelformat des registrierten Berichts (Registered Report) würde einige Schwächen des wissenschaftlichen Publikationssystems ausmerzen. Aber eignet es sich überhaupt für exploratorische Forschung?
Es rauscht im Blätterwald! Nach Jahrzehnten relativer Stabilität erlebt das akademische Verlagswesen einen dramatischen Wandel. Die Geschäftsmodelle der Verlage, aber auch Schlüsselelemente des Publikationsprozesses wie zum Beispiel der Peer-Review-Prozess stehen auf dem Prüfstand. Darüber hinaus stellen Forscher und Fördergeber die Rechtfertigung der hohen Verlagsgewinne in Frage. Der technische Fortschritt und das Internet haben die Formatierung und Verbreitung von Forschungsergebnissen erleichtert – was die Frage aufwirft, ob wir überhaupt noch Verlage brauchen.
Interessanterweise sind neben einigen wenigen Aktivisten nicht wir Wissenschaftler die Treiber dieses Wandels. Wir sind wohl zu sehr mit unserer Forschung beschäftigt – und Gefangene eines Systems, in dem unser Verbleiben und Fortkommen immer noch ganz wesentlich und sogar oft ausschließlich an die Veröffentlichung hochrangiger Publikationen geknüpft ist. Tatsächlich ist das akademische Anreizsystem – mit dem Impact Factor oder dem Renommee eines Journals – das stärkste verbleibende Bollwerk, welches die Verlagsindustrie und ihre Zeitschriften-Hierarchien, wie wir sie kennen, am Leben hält.
Nein, es sind die Fördergeber, die Fachgesellschaften und sogar einige Verlagshäuser selbst, die auf Veränderung setzen. Motiviert durch die aktuellen Zweifel an der Robustheit und Werthaltigkeit unserer Forschung entwickeln sie neuartige Publikationsformate, um die Qualität und Zugänglichkeit der Forschungsergebnisse zu verbessern. Hierzu zählen der barrierefreie Zugang (Open Access) zu allen öffentlich finanzierten Forschungsergebnissen wie auch die Veröffentlichung von Artikeln vor deren Peer-Review-Prüfung als Preprints. Mathematik und Physik haben es mit dem Preprint-Server arXiv vorgemacht, bioRxiv macht es nun sehr erfolgreich in den biologisch-medizinischen Disziplinen nach.
Aber es gibt auch ganz neue, spannende Artikelformate, die sich derzeit verbreiten. Das Standardmodell des Publikationsprozesses – nämlich Studie durchführen, Artikel schreiben und einreichen, Peer Review und dann (hoffentlich) Veröffentlichung – wankt, weil dessen Nachteile immer deutlicher werden. Wir alle wissen, wie anfällig der Peer-Review-Prozess ist: Seilschaften oder Animositäten von Gutachtern, Inkompetenz und Zeitmangel, Homophilie, Bevorzugung von Forschungsansätzen ähnlich unseren eigenen – dazu Ideenklau, Intransparenz und Willkür bei der Entscheidung der Editoren und so weiter.
Aber noch viel Grundsätzlicheres ist problematisch: Nach Abschluss der Studie ist das Pferd aus dem Stall – ein Design mit Mängeln oder eine fehlerhafte Analyse kann nur selten nachträglich behoben werden. Zusätzliche Experimente, um der Kritik der Gutachter nachzukommen, sind oft durch den Wunsch der Autoren beeinflusst, genau die Ergebnisse zu erzielen, die die Gutachter gefordert haben.
Die Nichteinhaltung der „Empfehlungen“ der Gutachter führt dagegen oft zur Ablehnung – was fast immer eine Kaskade von Einreichungen auslöst. Man bewegt sich in der Hierarchie der Zeitschriften weiter und weiter nach unten – bis die Manuskripte dann letztendlich doch irgendwo veröffentlicht werden. All das verschwendet Zeit und Ressourcen von Autoren und Reviewern, ohne die Wissenschaft wesentlich zu verbessern – und führt zu einer Inflation der Literatur mit fragwürdigen Studien.
Darüber hinaus lädt die Einreichung von Studien nach Fertigstellung und Analyse der Ergebnisse zur selektiven Verwendung von Daten („Rosinenpickerei“) ein; zur Nichtveröffentlichung von Ergebnissen, die nicht zur Hypothese passten oder ihr sogar widersprachen; zur Hypothesenbildung erst nach Bekanntwerden der Ergebnisse („HARKING“) sowie zum „Story Telling“. Diese Praktiken, in Kombination mit mangelnder interner Validität (etwa fehlende Kontrolle von Bias durch Verblindung) und statistischen Mängeln (beispielsweise zu geringe Fallzahlen und deshalb unzureichende Power), sind wichtige Ursachen der gegenwärtigen Reproduzierbarkeitskrise.
Möglicherweise könnten alle diese Probleme auf einen Schlag gelöst werden: durch das neue Artikelformat der Registered Reports.
Beim Registered Report, wie ihn mittlerweile viele Journale anbieten, werden vor der Durchführung der Studie zunächst die Methoden und geplanten Analysen zu Papier gebracht und beim Journal eingereicht. Dieses Protokoll wird begutachtet, und die Studie kann – eventuell erst nach Modifikation aufgrund der Reviewer-Kritik – vorläufig angenommen werden (Stage 1 Acceptance). Sobald die Studie dann durchgeführt wurde, reichen die Autoren das vollständige Manuskript, das nun auch die Ergebnisse enthält, zur abschließenden, jedoch eher formalen Überprüfung ein. Wenn die Studie wie beschrieben durchgeführt oder aber Abweichungen davon gut begründet wurden, wird sie publiziert (Stage 2 Acceptance).
Registered Reports verhindern damit all die oben aufgeführten unangemessenen Forschungspraktiken auf einen Schlag – einschließlich unzureichender statistischer Aussagekraft, selektiver Auswahl der Ergebnisse, unangemessener analytischer Flexibilität, Verzerrungen bei der Interpretation oder Verschweigen von unerwarteten Ergebnissen.
Registered Reports erfordern also Vorab-Spezifikationen der Hypothese wie auch der geplanten Methodik und Analyse. Dadurch sind sie ideal für konfirmatorische Studien, die darauf abzielen, bereits existierende Forschungsergebnisse zu bestätigen.
Eignen sie sich aber auch für explorative Forschung? Schließlich wird die aktuelle biomedizinische Literatur von der Erforschung und Entdeckung neuer Krankheitsmechanismen und Therapien dominiert. Es liegt auf der Hand, dass das enorme Maß an wissenschaftlicher Freiheit bei exploratorischen Projekten die Forschungsarbeit in hohem Maße anfällig für die erwähnten unerwünschten Praktiken macht – insbesondere für Bias, geringe statistische Power und fehlerhafte Statistiken sowie für eine nicht offengelegte selektive Nutzung von Daten. Können Registered Reports helfen, diese Forschungspraktiken in exploratorischen Studien zu verhindern?
Schauen wir doch mal auf die ursprüngliche Welt der Exploration. Im goldenen Zeitalter der Entdeckung wurde Terra incognita zu Land und Wasser durchquert und kartographiert, häufig auch plündernd und mordend, meist motiviert durch die Hoffnung auf Ruhm und Reichtum. Die Forschung an den Grenzen der modernen Biologie und Medizin mag nun hauptsächlich von menschlicher Neugier getrieben sein, aber individueller und nationaler Eigennutz sind immer noch wichtige Motive.
Entdecker wie Columbus oder Magellan mussten sich auf die von ihren Vorgängern beschriebenen Landmarken und angefertigten Karten verlassen. Sie wussten aber nicht, wie genau diese waren und was wirklich vor ihnen lag. Genauso segeln wir Wissenschaftler heute über einen Ozean der relativen Unwissenheit von unbekannter Größe. Wir stützen uns auf Landmarken des bereits vorhandenen Wissens – das wir dabei oft revidieren oder sogar ganz über den Haufen werfen. Wir triangulieren unseren Weg mit verschiedensten Methoden – zwar nicht mit Kompass und Sextant, aber mit Kombinationen aus genetischen und pharmakologischen Manipulationen, Immunhistochemie oder Kernspintomographie.
Auf unserer Reise gehen wir auf eine induktiv deterministische Weise vor – wobei wir uns der vielen Freiheitsgrade, die uns zur Verfügung stehen, meist gar nicht bewusst sind. Diese ergeben sich zum Beispiel aus der alternativen Analyse oder Interpretation unserer Experimente, aus falsch-positiven oder falsch-negativen Zwischenergebnissen oder aus der Vielzahl theoretisch möglicher methodischer Ansätze. Folglich gibt es nicht nur einen Weg, den Ozean der Biologie zu überqueren, sondern viele. Und genau wie Columbus könnten wir am Ende in Amerika landen – und nicht, wie geplant, in Asien. Und wären womöglich dennoch überzeugt, dass wir die Küsten der Gewürzinseln erreicht haben.
Im Gegensatz zu uns jedoch hatten die Entdecker ihre Reisen „präregistriert“, meist bei ihren Herrschern, die ihre Expeditionen finanzierten. Und noch wichtiger: Bereits während sie unterwegs waren, kartographierten sie alles, einschließlich der Abweichungen und Widrigkeiten, die ihnen widerfuhren, und schickten die Berichte und Karten nach Hause. Dies verbesserte die Navigation für andere, die ihnen folgten, und machte künftige Expeditionen sicherer und effektiver.
Analog dazu könnten wir Wissenschaftler, bevor wir Segel setzen (beziehungsweise uns an die Bench begeben), ein Ziel in Form einer Hypothese oder eines mutmaßlichen Mechanismus (das heißt, die Kernfrage unser Forschung) festlegen und vorläufige Regeln aufstellen, nach denen wir unsere Experimente und Analysen planen. Dies könnte sich auf unsere bisherigen Reisen stützen, zum Beispiel auf Pilotdaten, aber auch auf bereits vorhandene Karten, also die veröffentlichte Literatur. Ein solcher Plan könnte Stufe 1 eines Registered Reports werden.
Während der Reise, insbesondere wenn neue Daten durch Triangulation mit verschiedenen Methoden gewonnen werden, könnten wir das Protokoll aktualisieren und später den Gutachtern und Lesern zur Verfügung stellen. Dies würde jedes Mal geschehen, wenn Experimente abgeschlossen oder Entscheidungen über das weitere Vorgehen getroffen werden. Letztlich würde so ein Protokoll als eine Art „Logbuch“ den gesamten Verlauf einer Studie aufzeichnen, die Auswahl (oder Auslassung) von Daten rechtfertigen und auch Versuchslinien erfassen, die wir nicht weiterverfolgt haben.
Was gewinnt man indes, wenn man exploratorische Forschung präregistrieren und die Registrierungsdatei mit einem Protokoll verknüpfen würde? Im Peer Review der Stufe 1 würden wir auf methodische und analytische Schwächen, Konflikte mit Guidelines, übersehene oder falsch interpretierte frühere Befunde und Ähnliches aufmerksam gemacht werden. Dies würde uns helfen, die Qualität der Studien zu erhöhen, bevor wir loslegen – was möglicherweise Ressourcen und sogar Tiere einsparen würde. Und mithilfe des „Logbuchs“ könnten die Gutachter die Arbeit während ihrer Durchführung verfolgen.
Alternativ könnte das Protokoll als offenes elektronisches Laborjournal geführt werden. Das sich ergebende „lebende“ Protokoll würde zu einem echten „Next we...“-Narrativ führen – und nicht zu den imaginären Post-hoc-Stories, die derzeit üblich sind (siehe LJ) 10/2017: 28-9, „Von den Gefahren allzu schöner Geschichten“ Link). Es würde die Verästelung unseres Forschungsprozesses und die vielen zur Verfügung stehenden Möglichkeiten erfassen wie auch die schließlich von uns im Laufe der Studie ausgewählten Optionen rechtfertigen.
Die methodische und analytische Flexibilität würde demnach beibehalten, aber offengelegt. Trotz Präregistrierung könnten während der Studie Veränderungen in Fragestellung, Studiendesign oder Analyse vorgenommen werden, die jedoch als solche begründet würden und unter den Augen der Gutachter und Leser ihr Stigma verlieren. Die Präregistrierung in Verbindung mit der Protokollierung des Studienfortgangs bewahrt die Freiheit des Forschers – und nimmt uns auch nicht den Zufall (Serendipity) als kleines Helferlein.
Die Einzelheiten der Präregistrierung und der Protokolle müssten sicherlich noch genauer spezifiziert werden, aber im Prinzip handelt es sich um Varianten der „inkrementellen Registrierungen“, die bereits von verschiedenen Zeitschriften eingeführt wurden.
Sicherlich könnten unlautere Forscher ein solches System durch selektive Protokollierung von Experimenten aushebeln. Sie würden jedoch auf die Vorteile verzichten, vor Beginn der Studie möglicherweise wertvolle Informationen zu erhalten. Noch wichtiger aber ist, dass für die exploratorische Forschung eine große Stärke von Präregistrierung und Protokollierung darin bestünde, dass wir Forscher die inhärenten Grenzen der Exploration bewusst erleben. Gerade die selektive Auswahl oder Interpretation von Experimenten und Daten führen wir uns mit unserer Berichterstattung schlagend selbst vor Augen. Und weil schon Stage 1 – nach Wunsch mit Embargo – publiziert werden könnte, würden Doktoranden nicht Opfer der Verzögerungen, Wirrungen und Zufälligkeiten des derzeitigen Pre-Publication-Peer-Reviews. Letztendlich würden wir alle als Autoren und Leser von wissenschaftlichen Artikeln auf gesunde Weise skeptischer – und würden wissenschaftliche Evidenz realistischer beurteilen können.
Weiterführende Literatur und Links finden sich wie immer unter: https://dirnagl.com/lj.