(3. Mai 2013) Ein Gespenst geht um in der Naturwissenschaft: das Gespenst der Nicht-Reproduzierbarkeit. Zuletzt hatte sich zunehmend gezeigt, dass ein gehöriger Teil der publizierten Forschungsergebnisse nicht unabhängig nachprüfbar ist – entweder weil die Wiederholung der Experimente ganz andere Ergebnisse bringt, oder weil zum genauen Nachkochen schlichtweg wichtige Angaben fehlen. Die besorgten Kommentare in den Fachmagazinen (siehe etwa hier) und in der Blogosphäre (siehe etwa hier) sind daher durchaus begründet, geht es doch um das Fundament der wissenschaftlichen Methode – und damit um die Glaubwürdigkeit der Forschung insgesamt.
Die „hochselektiven“ Journals wie Nature und Science sind indes nicht unschuldig an dieser krisenhaften Situation, haben doch einige ihrer bisherigen Praktiken durchaus zum Dilemma beigetragen. Nature zieht daher jetzt erste Konsequenzen.
Bevor wir diese genauer ansehen, muss man jedoch erst einmal klarstellen, dass das Thema außergewöhnlich vielschichtig ist. Das fängt etwa mit der Frage an, ob der Forscherfleiß vor 10, 50 oder 100 Jahren wirklich besser reproduzierbar war als heute. Oder wird das Problem vielmehr erst jetzt endlich systematisch angegangen?
Speziell in den Lebenswissenschaften kann man allerdings schon zum Schluss kommen, dass die Zahl der „unhaltbaren“ Paper ein Begleitphänomen der Art und Weise sind, wie dort heute geforscht wird.
Nehmen wir die Biochemiker der „alten Garde“ – wie oft sagten diese: „Ich messe mein Enzym lieber einmal ordentlich als dreimal schlampig.“ Heute dagegen spucken Hochdurchsatzmethoden automatisch prozessierte Datenberge aus, in denen lästige statistische Fluktuationen lauern und – noch hinterhältiger – versteckte Quellen für systematische Fehler. Zwischen Rohdaten und Forscher schieben sich zunehmend Softwares, die Beobachtungen erfassen, aufbereiten und auswerten – oftmals ohne dass der Experimentator im Detail versteht, was der Rechenknecht mit den Daten tatsächlich anstellt.
Nun hilft es aber nicht, nostalgisch zurückzublicken, denn die neuen Methoden sind nun mal da und haben ihre klare Daseinsberechtigung. Umso wichtiger wäre vielmehr, dass Biologen dem vertrackten Thema Statistik mehr Beachtung schenken, um dem Rauschen in den Ergebnissen besser zu begegnen. Denn gerade für große Datensätzen gilt: Der Zufall schafft Muster – und der Forscher muss schon beim Design des Experiments aufpassen, sich nicht selbst an der Nase herumzuführen.
Um noch in ein anderes Wespennest zu stechen: überraschende, statistisch signifikante (aber eben eventuell falsch-positive) Ergebnisse finden eher den Weg in die Journals als Resultate, die höchstens bestätigen, was schon bekannt ist – der vielzitierte „Publication Bias“. Und dass es spektakuläre, aber letztlich falsch-positive Funde gar nicht mal selten in die Top-Journals schaffen, darüber hat auch Laborjournal schon mehrmals berichtet (etwa hier oder hier).
Dazu kommt die weit verbreitete Praxis, ein Paper einzureichen, sobald die „Publizierbarkeitsschwelle“ überschritten ist – sobald die Forscher also das Gefühl haben, die Reviewer mit dem bisher Erreichten schon irgendwie zufrieden stellen zu können. Eine unabhängige Kontrolle mehr als Sahnehäubchen könnte oftmals aber schon viele der falsch-positiven Ergebnisse herausfiltern. Klingt vernünftig, ist aber viel verlangt vom nicht mehr jungen Postdoc, dessen Vertrag gerade ausläuft und der dringend eine Publikation braucht, um vielleicht doch noch eine Stelle zu ergattern.
Wohlgemerkt, wir sprechen bei all dem nicht in erster Linie über grobe Pfuscherei oder gar Betrug. Es geht in der Nachkoch-Krise darum, wie ehrliche Wissenschaftler guten Gewissens arbeiten – nämlich so, wie sie es im Laufe ihrer Ausbildung gelernt haben. Diese Arbeitskultur, die manchmal eher eine Unkultur ist, zu ändern, wird Zeit brauchen. Die Lehrenden und die Doktorväter und -mütter sind gefragt.
Aber auch die Journals stehen in der Pflicht. Schließlich übernehmen sie zusammen mit den Autoren Verantwortung für die Qualität des publizierten Materials und setzen die Standards für die Kommunikation von Forschungsergebnissen. Schon deshalb ist es hochnotpeinlich, dass sich unhaltbare Arbeiten gerade an der Spitze der Journal-Hierarchie breitgemacht haben.
Auch Nature scheint dies so zu empfinden – und führt daher nun eine Checkliste ein, die Autoren, Redakteure und Gutachter anleiten soll, methodische Aspekte sorgfältig durchzugehen, auf korrekte statistische Analysen zu achten und zu prüfen, ob die Beschreibung der Prozeduren eine unabhängige Überprüfung überhaupt ermöglicht. Zudem darf der Methodenteil nun auch wieder länger und ausführlicher sein als bisher; und sollen Gutachter und Redakteure künftig mehr darauf achten, dass die Autoren ihre Rohdaten zugänglich machen.
Dieses wiedererwachte Interesse an den experimentellen Prozeduren ist eine bemerkenswerte Trendumkehr, denn über die Jahre war der Methodenteil in Nature, Science und anderen Edelblättern mehr und mehr zusammengeschrumpft. Früher war das sicher dem „Platzmangel“ geschuldet, aber im digitalen Zeitalter ist dieser Geiz einfach ein Anachronismus. Auch Rohdaten zurückzuhalten ist angesichts der Möglichkeiten der digitalen, öffentlichen Archivierung daher nicht mehr angezeigt.
Illusionen darf man sich allerdings nicht zuviel machen. Die komplexen biologischen Systeme werden dem Ideal der allumfassenden Reproduzierbarkeit immer Grenzen setzen. Keine zwei Mäuse sind identisch, auch Zelllinien haben ihre Eigentümlichkeiten. Wenn ein biologisches Experiment in der Wiederholung nicht exakt die gleichen Ergebnisse liefert, dann liegt das eben oft an unkontrollierbaren Randbedingungen (die „known unknowns“ und die „unkown unkowns“ in der Klassifikation des großen „Philosophen“ Donald Rumsfeld).
Autoren müssen schon jetzt durch brennende Reifen springen, bevor sie ihr Werk endlich in einem Journal untergebracht haben; Checklisten, Kabbeleien mit fachfremden Statistikern und lästige Archivierungspflichten dürften bei prekär beschäftigten Doktoranden und Postdocs keine Begeisterungsstürme auslösen. Dazu kommt: gerade kreative Experimente, die nicht Schema F folgen, lassen sich nicht durch Häkchenmachen auf einer Liste einordnen. Dennoch sollten die Forscher die neu entdeckte Liebe der Journals zum Methodenteil allemal begrüßen. Denn Gespenster verlieren am ehesten ihren Schrecken, wenn alle Beteiligten ihren Teil beitragen.
Hans Zauner