Eine Forschungsfrage zum Bruterfolg von Blaumeisen wird von „vielen Forschern“ beantwortet.
Wenn das Ergebnis eines Forschungsexperiments „richtig“ oder „wahr“ ist, sollte es überall auf der Welt zu jeder Zeit genauso herauskommen. Dass das nicht so ist, haben inzwischen viele Studien gezeigt – und damit die Frage aufgeworfen, was sich überhaupt als „wahr“ oder „richtig“ bezeichnen lässt. Bauen auf Forschungsergebnissen, die im anderen Zusammenhang nicht reproduziert werden können, weitere Arbeiten auf – beispielsweise teure und aufwendige klinische Studien – sind die Probleme programmiert. Aus diesem Grund wird in den Biowissenschaften intensiv nach den Ursachen der mangelnden Reproduzierbarkeit von Experimenten geforscht. Zu den Gegenmaßnahmen gehört unter anderem, die experimentellen Details minutiös zu protokollieren und die dadurch entstehenden Metadaten – also Angaben zur experimentellen Vorgehensweise und im weiteren Sinne zum Umfeld der Experimente – für die wissenschaftliche Community offenzulegen.
Ein Datensatz, viele Analysten
Allerdings kommt Variabilität bei den Ergebnissen eines Experiments nicht nur durch Unterschiede in der technischen Versuchsdurchführung zustande, sondern auch durch Unterschiede in der Auswertung. Dies weiß man etwa aus Fachdisziplinen, die oft keine Experimente im engeren Sinne durchführen wie die Psychologie. Gerade sie ist besonders von der Replikationskrise betroffen und bemüht sich schon seit Jahren, dieses Problem in den Griff zu bekommen und den ramponierten Ruf zu verbessern. Dafür wird in der Psychologie bereits seit rund zehn Jahren die Methode der „Vielen Forscher“ eingesetzt: Mehrere Wissenschaftler werten dabei denselben Datensatz aus, anschließend werden die Ergebnisse verglichen. Da die Forschungsdaten schon vorliegen, sollten experimentelle Unterschiede keine Rolle spielen. Dennoch zeigt sich, dass die Schlussfolgerungen der verschiedenen Forscher teilweise stark voneinander abweichen können.
Eine bislang nur im Preprint verfügbare Studie hat dieses Prinzip nun auf die Biowissenschaften angewandt. Insgesamt 246 Ökologen und Evolutionsbiologinnen aus 174 Teams erhielten einen von zwei Datensätzen. Projekt 1 beschäftigte sich mit dem Bruterfolg bei Blaumeisen. Die den Forschern gestellte Forschungsfrage lautete: „Inwieweit wird das Wachstum von Blaumeisen-Nestlingen (Cyanistes caeruleus) durch den Wettbewerb mit Geschwistern beeinflusst?“ Bei Projekt 2 sollten die Forscher bewerten, wie Grasbewuchs die „Rekrutierung“ (also das Keimen, Überleben und Wachsen) von Eucalyptus-spp.-Setzlingen beeinflusst.
Novum in der Ökologie
An der Studie, die von australischen und US-amerikanischen Forschern geleitet wurde, nahmen auch mehrere deutsche Forscher teil, darunter solche vom Max-Planck-Institut für biologische Intelligenz in Seewiesen, den Technischen Universitäten in Dresden und Darmstadt, den Universitäten Bielefeld, Hohenheim, Konstanz, Würzburg und Münster sowie dem Helmholtz Zentrum München und dem Helmholtz Zentrum für Umweltforschung – UFZ in Leipzig. Hier forscht Elina Takola als Postdoktorandin am Department für Landschaftsökologie über die Beziehung von Organismen zu ihrer Umwelt.
„Ich habe mich für die Teilnahme an dem Projekt entschieden, weil es das erste seiner Art in der Ökologie ist und ich es für sehr interessant und spannend halte“, erklärt die Ökologin, die sich für Open Science engagiert und aktives Mitglied der Society for Open Reliable Transparent Ecology and Evolutionary biology (SORTEE) ist. Daher kannte sie auch bereits die Erst-Autoren der Studie Elliot Gould, Hannah Fraser und Timothy Parker. „Ich wusste, dass wir die gleichen Vorstellungen von Wissenschaft haben“, sagt sie. Das Projekt wurde auf Konferenzen, über soziale Medien, über Mailinglisten für ökologischen Gesellschaften und durch Mundpropaganda beworben. Takola hat es über die sozialen Medien gefunden und sich über ein Online-Anmeldeformular als Gutachterin angemeldet. „Meine Aufgabe war es, die von den Analysten eingereichten Berichte zu beiden Fragestellungen in einem Peer-Review-Prozess zu überprüfen.“
Große Varianz
Tatsächlich zeigten die Ergebnisse bei beiden Gruppen eine signifikante Varianz, die beim Eukalyptus-Projekt noch ausgeprägter war. Während alle Forscher hinsichtlich des Einflusses der Meisen-Geschwister grundsätzlich zum gleichen Schluss kamen – nämlich, dass die Konkurrenz im Nest das Wachstum negativ beeinflusst – und es Schwankungen nur bei der Effektgröße gab, gingen die Einschätzungen beim Eukalyptus-Projekt extrem auseinander. So gab es sogar einzelne Forscher, die einen deutlich positiven und andere, die einen deutlich negativen Einfluss der Grasdecke aus den Daten herauslasen.
„Die wichtigste Schlussfolgerung der Studie ist, dass analytische Entscheidungen das Endergebnis bei einer bestimmten Frage beeinflussen“, fasst Gutachterin Takola zusammen. „Interessant ist, dass in beiden Fällen (Vögel und Pflanzen) keine der Antworten falsch war. Selbst nach Abzug der Analysen, die von den Gutachtern schlecht bewertet wurden, wiesen die Ergebnisse immer noch eine große Streuung auf.“
Fragen und Antworten überdenken
Als einen möglichen Lösungsweg für dieses Problem schlagen die Autoren vor, dass in Studien zukünftig auch analytische Entscheidungen offengelegt werden sollten. Sinnvoll könne auch sein, Datensätze mit mehreren Methoden zu analysieren, wie es in der Wirtschaft im Rahmen von Robustheitsuntersuchungen gemacht werde. Letztlich dürfe man ein wissenschaftliches Ergebnis alleine nicht als absolut betrachten, so die Autoren. Stattdessen seien immer mehrere, unabhängig voneinander durchgeführte Studien – am besten aus mehreren Arbeitsgruppen und mit unterschiedlichen Methoden – notwendig, um eine Forschungsfrage umfassend zu beantworten. Gerade in der Ökologie sei das wichtig, denn hier habe man in besonderem Maße mit Variation zu tun – der Variation, die in der Natur vorherrscht. „Wir hoffen, dass durch die Studie deutlich wird, wie groß die Bedeutung analytischer Entscheidungen für das Ergebnis ist“, sagt Takola. „Wir sollten überdenken, wie wir ökologische Fragen stellen und wie wir sie beantworten. Darüber hinaus werden in der Ökologie und Evolutionsbiologie mehr Studien mit ‚Many Analysts‘ benötigt.“
Larissa Tetsch
Gould E. et al. (2023): Same data, different analysts: variation in effect sizes due to analytical decisions in ecology and evolutionary biology. EcoEvoRvix, DOI: 10.32942/X2GG62
Bild: Pixabay/TheOtherKev
Dennoch will man mit Standardisierung die Replikationskrise beenden. Machen unterschiedliche Versuchsbedingungen Ergebnisse nicht robuster?
- Das Tier als Messinstrument
Die Wissenschaft steckt in einer Reproduzierbarkeitskrise – besonders dort, wo Tiermodelle zum Einsatz kommen. Ein internationales Forscherteam fordert einen Paradigmenwechsel zu mehr Vielfalt bei Tierversuchen.
- Make Experimentation Great Again! (Essay von Tobias Straub, München)
Die Wissenschaft befindet sich nicht erst seit gestern in der Reproduzierbarkeitskrise. Ein Appell zum besseren experimentellen Set-up, damit die Gesellschaft wieder Vertrauen in die Arbeit von Forschenden gewinnt.