(15.07.2019) Eine neue Generation junger Wissenschaftler tritt an zu ihrer ersten PhD-Stelle. Es ist ein Jahrgang, der mitten ins Schlachtfeld hineingeboren wurde und dem von Anfang an die Kugeln der Nullbefunde um die Ohren gesaust sind. Es ist die Post-Replikationskrisenkohorte. Und ich bin mittendrin.
Illustr. : iStock / MHJ
Genau genommen bin ich im Grenzgebiet der beiden Felder aufgewachsen, die heute am stärksten unter Beschuss stehen: zwischen Psychologie und Neurowissenschaften. Der Küchentischpsychologe in mir stellt die rhetorische Klischeefrage: „Und? Was macht das so mit dir?“ Hätte ich mir eine bessere wissenschaftliche Kindheit gewünscht? Nein. Es mag zynisch klingen, aber ist so eine Krise nicht das Beste, was mir in der Ausbildung passieren konnte?
Zwar mahlen die Mühlen, die Vorlesungsinhalte aufbereiten, langsam – aber dennoch haben die Ausläufer des Sturms es bis in meine Seminare hinein geschafft. Hätte ich ohne die Diskussion über p-Hacking mitbekommen, dass p-Werte unter der Nullhypothese gleichverteilt sind? Hätte ich ohne die Debatte um Reproduzierbarkeit das Handwerk gelernt, Daten so aufzubereiten, dass andere darauf zugreifen und damit arbeiten können? Was wüsste ich darüber, wie der Publikationsprozess funktioniert, wären nicht Predatory Journals durch die Medien gegeistert?
Not macht erfinderisch. So hat das durch die Replikationskrise entstandene Problembewusstsein meine Auseinandersetzung mit Statistik und Methodik verstärkt. Die derart erworbenen Fertigkeiten ermöglichen mir jetzt, „da draußen“ zu überleben, wie ich es nicht gekonnt hätte, wäre ich in einer behüteteren Welt aufgewachsen. Einer Welt, in der ANOVAs anhand aalglatter Beispieldatensätze per Hand berechnet werden und Lehrbücher gefüllt sind mit sozialpsychologischen Befunden, die heute wohl nicht mal mehr Frauenzeitschriften ernst nehmen würden. Dabei klingt es so schön, dass wir vermeintlich netter – wärmer – zu anderen Leuten sind, wenn wir einen Becher mit einem Heißgetränk in der Hand halten. Leider ist eine heiße Tasse Tee nicht die Lösung für mehr Zwischenmenschlichkeit. Vielleicht haben wir daraus gelernt – vielleicht werden Wiederholungen von Experimenten nun endlich salonfähig.
Die jungen Wilden, die aktuell transparente Wissenschaft vorantreiben, sehen in der Krise ebenfalls eine Chance: Sie sprechen von der „Glaubwürdigkeitsrevolution“ – und meinen das weder ironisch noch euphemistisch. Für sie ergibt sich nun die Gelegenheit, ausbeuterische Publikationssysteme aushungern zu lassen, fehlgeleitete Inzentivierungen in moralischere Bahnen zu lenken und Wissenschaft ehrlicher zu gestalten. Das klingt ein wenig wie die typische Blauäugigkeit naiver Jungspunde, die die pragmatische Realität noch nicht eingeholt hat. Doch die Revolutionäre gehen mit hochgekrempelten Ärmeln gegen winzige Stichprobengrößen und verrauschte Fragebögen vor, denn sie wissen: Mit geringer Power kommt große Verantwortung.
Da ist zum Beispiel das in Schweden aus dem Boden gestampfte offene Journal Meta Psychology um Rickard Carlsson, das explizit auch Negativbefunde veröffentlichen will, die sonst in sprichwörtlichen Schubladen verrotten würden. Meta Psychology fragt auch nach Tutorials und Diskussionen zu statistischen Methoden – auf diese Weise sollen bisher weniger verbreitete Ansätze wie Bayesianische Analysen allen Forschenden zugänglich gemacht werden. Schließlich muss man ja irgendwo lernen, wie das neue Rüstzeug zu handhaben ist.
Wie bei jeder ordentlichen Revolution ist also „neu“ das Schlagwort; hier jedoch bewusst auf das Werkzeug der Methodik bezogen – nicht auf die Forschung als Werkstück, das bearbeitet werden soll. Denn der Zwang, immer neuartige, bislang ungedachte Forschung liefern zu müssen, wird zunehmend kritisch gesehen. Was auf Teufel komm raus auf „bahnbrechend“ getrimmt wurde, hatte bisher bessere Chancen auf eine Veröffentlichung – dass da jedoch nicht immer alles Gold ist, was glänzt, liegt nahe. Wer sich nachträglich zu den Daten passende Erklärungen aus den Fingern saugen muss, um so zu tun, als hätte er etwas entdeckt, steuert keine stabile, gut ausgearbeitete Theorie bei. Besser wäre es, ein vielversprechendes bereits existierendes Modell erst einmal auf Herz und Nieren zu überprüfen – anstatt die Publikationslandschaft mit halbgaren Überlegungen zu fluten. Das könnte verhindern, dass man erst Jahrzehnte später in einer groß angelegten Replikation oder beim schockierten Blick auf die Funnel Plots bemerkt, dass an einem bereits durchs Dorf getriebenen Effekt gar nichts dran ist.
Klasse statt Masse: Lieber weniger Papers, mit denen sich dann eine große Gemeinschaft in einer Gruppen-Peer-Review auseinandersetzt, als mit der heißen Nadel gestrickte Manuskripte, die für die Doktorarbeit noch irgendwie durchgebracht werden mussten – die aber außer der Dissertationskommission niemals jemand lesen wird.
Bevor die Glaubwürdigkeitsrevolution ihre Versprechen jedoch einlösen kann, muss sie ein paar knifflige und deutlich langweiligere Aufgaben lösen: Wie bringt man viele Forscher und noch mehr Daten so zusammen, dass alle miteinander arbeiten können? Welche Spielregeln muss es für Datenanalysen geben, damit man die Rechnerei des anderen nachvollziehen kann?
Offene Wissenschaft ist kein Hobby, das man nebenbei betreiben kann – jedenfalls reicht das nicht aus. Wer hauptberuflich forscht, kann sich nicht noch um die Wartung von Datenservern kümmern. Daher gibt es nun Menschen, die in Vollzeit die Infrastruktur ausarbeiten und betreuen, die es anderen Forschern ermöglicht, ihre Arbeit für alle zugänglich und nachvollziehbar zu machen. Da gibt es das Open Science Framework, das den Forschungsprozess von der Planung über die Datenspeicherung und Analyse bis zur Veröffentlichung umspannt – und auf jeder Stufe Austausch und Offenlegung ermöglicht. Nicht zuletzt wurden einige Replikationsprojekte geboren, deren Maßstab seinesgleichen sucht. Auch in Deutschland gibt es entsprechende Strukturen, zum Beispiel am Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) in Trier.
Und was passiert, wenn man all diese Dinge, die ich aufgezählt habe, in einen Topf wirft und einen Menschen daraus backt? Dann bekommt man Felix Schönbrodt, dessen Blog (www.nicebread.de) ich allen ans Herz lege, die sich für Richtlinien und Anstöße im Kontext von Open Science interessieren. Wer schon einmal dort ist, kann auch gleich das „Commitment to Research Transparency and Open Science“ unterzeichnen. Natürlich ist der Arbeitsablauf nicht mal eben mit einer Unterschrift auf offene Wissenschaft umgestellt. Aber wer sich die Punkte durchliest und denkt: „Uff. Wie soll ich das denn alles umsetzen?“ – der sieht, wie viel noch zu tun ist und wie dringend wir Menschen nötig haben, die uns zeigen, wie man die Sache anpackt.
Mich als Grünschnabel, der das erste Mal in die akademische Berufswelt stolpert, geht der Wandel sehr unmittelbar etwas an: Aktuell fordert noch immer eine erschreckende Menge an potenziellen Arbeitgebern in ihren Stellenausschreibungen „Peer reviewed Publications“ von mir. Dabei wissen wir eigentlich alle, dass „Publish or Perish“ keine solide Forschung produziert – und keine gesunden Doktoranden. Der Reformgeist ist anscheinend noch nicht überall angekommen. Was zunächst so klingt, als würde man Ausschau halten nach besonders engagierten Kandidaten, die bereits selbstständige Forschungserfahrung gesammelt haben, ist in Wahrheit die Suche nach einem Studenten mit einer großen Portion Glück.
Zumindest innerhalb der Psychologie bereitet das Studium einen nicht auf die Veröffentlichung von Papern vor – selbst die Masterarbeit ist in den meisten Fällen eher eine Trockenübung. Das ist nicht unbedingt ein Mangel; ein Psychologiestudium bringt Therapeuten, gerichtliche Gutachter oder Arbeits- und Organisationspsychologen hervor – ein ganzes Füllhorn an Spezialisierungen eben, und für die meisten geht es nicht in die Forschung. Überflüssig, die Masteranden bereits auf Publikationen zu trimmen.
Wer am Ende des Studiums auf einem Paper steht, dessen Betreuer hat dankenswerterweise beschlossen, eine Veröffentlichung aus der Masterarbeit zu stricken. Dafür müssen aber die Umstände stimmen, denn eine Masterarbeit allein reicht üblicherweise nicht aus, um sie in einem Journal zu platzieren. Ähnliches gilt für Arbeit, die während eines Praktikums oder als studentische Hilfskraft geleistet wurde. Manchmal gibt es eine kleine Anerkennung in Form einer Verewigung in der Autorenliste, aber das ist alles andere als die Norm.
Selbstverständlich will ich damit nicht unterstellen, dass eine Publikation während des Studiums unverdient sei. Im Gegenteil – Autorenschaft, wem sie gebührt. Zumal sicherlich diejenigen Fälle zahlreicher sind, in denen Studenten nicht mal in der Danksagung erwähnt werden, obwohl sie die Datensammlung und -analyse gestemmt und weite Teile des Papers formuliert haben. Dennoch bleibt es ein absurder Fehlschluss anzunehmen, man würde mit studentischen Publikationen als Einstellungskriterium die fähigsten aller Bewerber selektieren.
Hier täte ein wenig Revolution ganz gut und tatsächlich sprießen die ersten Ausschreibungen aus dem Boden, die anders klingen als zuvor: Wenn eine neue Professur vergeben wird, wird nach Kandidaten gesucht, die bereits Open Science betreiben. Meine zukünftige Doktorandenstelle wurde mit großen Stichproben beworben und lud Bewerber ein, die ein starkes Interesse an offener Wissenschaft zeigen.
Doch was klingt wie gelebte Utopie regt auch ein paar mahnende Zeigefinger. Was, wenn sich gar nichts am bisherigen System ändert – bis auf die Namen der Dinge, die falsch laufen? Was, wenn es bei „Publish or Perish“ bleibt – und diesmal bloß „OpenWashing“ dazu kommt? Das ist im Prinzip dasselbe wie Green Washing im Kontext von Klimaschutz, hier bloß auf Open Science bezogen: Jemand tut nach außen hin so, als würde er offene Wissenschaft betreiben, doch eigentlich poliert er nur sein Image.
Diese Gefahr besteht vor allem, weil die zur Reform gedachten Heilmittel überraschend viele der Schwachstellen aufweisen, die auch am bisherigen Status quo kritisiert werden: Häufig heißt es, aktuell werde der p-Wert als schnöde Denkabkürzung genutzt, um eine differenzierte Interpretation der Ergebnisse zu umgehen und die Welt in „signifikant oder nicht“ einzuteilen. Wenn man nun stattdessen die Bedeutsamkeit von Studien anhand des Kriteriums „Open Science Badge oder nicht“ bewertet, ignoriert man, dass Präregistrierung allein noch keine gute Studie ausmacht.
Die Ironie zeichnet sich bereits jetzt im Fall der Bayes-Faktoren ab: Eigentlich liegt ihre Stärke gerade darin, dass man keinen Schwellenwert braucht, um sie zu interpretieren. Man kann mit ihnen Evidenz für Hypothesen relativ zueinander ausdrücken, auf einem Kontinuum. Schluss mit grob vereinfachendem Schwarz-Weiß-Denken! Doch das Forschervolk fragt nach Interpretationsrichtlinien – was ist schwache, mittlere oder starke Evidenz? Sie bekommen ihre Tabellen. Bayes-Faktoren im p-Wert-Pelz. Und wenn der Fokus nun auf Experimente gerückt wird, die reproduzierbar sind, dann könnten Forscher vielleicht dazu verleitet sein, nur noch Studien durchzuführen, die eine sichere Bank sind. Schließlich können unkonventionelle Ansätze schief gehen – und niemand will sich vorwerfen lassen, unbeständige Ergebnisse in die Welt gesetzt zu haben. Doch wir brauchen nun mal auch mutige und explorative Forschung – statt nur Bestätigung von dem, was wir bereits wissen.
Tatsächlich müssen wir uns von dem Schaden der Krise – und sie ist ganz sicher noch nicht vorbei – zunächst erholen. Die Öffentlichkeit fragt sich, wieso man überhaupt die Forschung zu Rate ziehen soll, wenn sie das, was sie gestern herausgefunden hat, morgen sowieso wieder revidieren muss. Oder wenn Wissenschaftler von Steuergeldern finanziert auf Fake-Konferenzen fahren, um billigen Urlaub in New York zu machen.
Wissenschaft will neutral und unabhängig sein – da staunt der Laie nicht schlecht, wenn Forschende in Predatory Journals veröffentlichen. Statt ein aufwendiges Peer-Review-Verfahren zu durchlaufen, wird Geld gezahlt, damit die Studie ungeprüft veröffentlicht wird. Dabei ist der Unterschied zum „seriösen“ System für den Laien auf den ersten Blick nicht unbedingt erkennbar. Die Forscher, die in angesehenen Journalen Korrektur lesen, werden dafür nicht bezahlt – an die Verlage wiederum, die die Manuskripte herausgeben, fließt dagegen doppelt und dreifach Geld: Wer als Bürger auf Forschung zugreifen will, die längst von öffentlichen Geldern bezahlt wurde, steht vor einer Paywall. Auch die Einrichtungen, die die Forschung generiert haben, zahlen für den Zugang zu den Journalen; anderenfalls haben die Autoren selbst keinen Zugriff auf ihre eigenen Veröffentlichungen. Da hat das Wort „Elfenbeinturm“ das Potenzial zur Untertreibung des Jahres.
Ist es dann noch verwunderlich, dass wir Phänomene wie „Wissenschaftsmüdigkeit“ diskutieren? Doch nicht nur die breite Öffentlichkeit flüchtet aus dem Replikationskrisengebiet; der akademische Nachwuchs ist ebenfalls müde, als Kanonenfutter herzuhalten. Kommilitonen wollen das sinkende Schiff in Richtung beständigerer Karrieren verlassen und fragen mich kopfschüttelnd, wieso ich bleiben will. Wenn all die Befunde aufgrund eines kranken Systems sowieso nur Schall und Rauch sind und das Schaffen von Wissen für die Gesellschaft somit nur eine fadenscheinige Illusion, was hält mich dann?
Sicher nicht das Geld. „Ich weiß, in der Stellenausschreibung steht 65 Prozent, aber … das heißt trotzdem 100 Prozent Arbeit“, sagt man mir entschuldigend im Bewerbungsgespräch. Obwohl das eine rücksichtsvolle Geste ist, könnte es das Skript einer Satire-Show sein. Denn um dieses kleine Detail noch nicht mitbekommen zu haben, hätte ich die letzten Jahre hinterm Mond verbracht haben müssen. Meine Kollegen im Labor gehen sogar noch einen Schritt weiter und finden: „Nur 100 Prozent Arbeit? Großartig! Wenn du nach acht Stunden am Tag gehen darfst, ist das doch wie ein Sechser im Lotto.“
Sicher, noch stehe ich in einer Mischung aus Ruinen und hartnäckigen Überresten der alten Strukturen, die uns überhaupt erst in die Krise geführt haben. Bestimmt nicht die vielversprechendste Perspektive. Dabei muss sich die Revolution zunächst noch ihre Sporen verdienen. Hält sich nicht jede Generation für den Mittelpunkt des Umbruchs und merkt nicht, dass die alten Hasen dieselben Gedanken längst gehabt und wieder verworfen haben?
Na ja – ein paar neue Tricks, die unsere wissenschaftlichen Vorfahren noch nicht kannten, können wir in dieser Ära vielleicht schon aus dem Hut zaubern. Der Prozess des Peer Review wurde erst dadurch möglich, dass Manuskripte überhaupt vervielfältigt werden konnten. Auf ähnliche Weise werden offen zugängliche Daten erst dadurch möglich, dass wir heutzutage selbst riesigste Datensätze überhaupt speichern können. Viele neuen statistischen Ansätze verlassen sich darauf, riesige Datenmengen zu simulieren oder Tests über Abertausende von Durchläufen wieder und wieder zu berechnen. Für so etwas fehlte zuvor schlichtweg die Rechenpower. Zudem hat sich mit Social Media und Co. die Art, wie wir mit der Öffentlichkeit über unsere Forschung sprechen (können), fundamental verändert.
Ich mache mir keine Illusionen, die Stadt der Wissenschaft eigenhändig wieder aufzubauen. Auf dem Weg zum Doktorgrad erwarte ich Frustration und Rückschläge – wie auch, dass der Idealismus so manches Mal dem Pragmatismus und vermutlich auch der Bürokratie weichen werden muss. Sicher wird sich auch lohnen, die Geschichten der Veteranen anzuhören, die vor mir ihre Schlachten geschlagen haben – vielleicht welche, die den heutigen gar nicht so unähnlich waren. Die Warnungen über die Stolpersteine, die offene Wissenschaft mit sich bringen kann, sind schließlich berechtigt.
Vielleicht werde ich dann in einigen Jahrzehnten Tweets kommentieren, die Bayesianische Statistik als den marodesten Holzpfad bezeichnen, den wir je gegangen sind. Vielleicht werde ich ungläubigen Erstsemestlern erzählen, wie man zu meiner Zeit noch publizieren konnte, ohne sein Studiendesign zuvor angemeldet zu haben. Vielleicht werden meine Urenkel wieder nur noch qualitative Fallstudien durchführen. Vielleicht werde ich bereits am Tag meiner Verteidigung diesen Essay lesen und mich fragen, wie so viel Blödheit überhaupt einen noch blöderen Doktorhut verdient hat.
Dennoch glaube ich noch immer, dass es in erster Linie eine Chance bedeutet, mitten in die Replikationskrise hineinstudiert zu haben. Wie klein mein Beitrag für die Zukunft der Psychologie und der Neurowissenschaften auch sein wird – ich freue mich, ihn leisten zu dürfen. Und vielleicht werde ich mir in schwierigen Zeiten vorstellen, Teil der Besatzung zu sein, die das Schiff der Forschung an neue Ufer bringt. Mit einer Ladung aus Präregistrierung, offenen Analyseskripten und bescheidener Berichterstattung im Frachtraum – und mit Helden in flatternden Capes am Steuerrad. Aber psst – das bleibt unter uns!