Gerade genug ist nicht genug

18. September 2013 von Laborjournal

Wissenschaftliche Studien müssen so verfasst sein, dass sie problemlos und allumfassend reproduziert werden können — seit jeher eines der obersten Gesetze wissenschaftlichen Publizierens.

Ernüchternd daher, was eine Gruppe von Forschern um Erstautor Nicole Vasilevsky von der Oregon Health & Science University feststellen musste. Nachdem sie knapp 240 Artikel aus 80 biowissenschaftlichen und multidisziplinären Journals begutachtet hatten, bilanzierten sie, dass in über der Hälfte der Fälle Reagenzien, Konstrukte, Zelllinien oder Modellorganismen derart ungenügend im jeweiligen Methodenteil beschrieben waren, dass eine Reproduktion der beschriebenen Ergebnisse schon allein dadurch unmöglich sein musste (PeerJ 1:e148 http://dx.doi.org/10.7717/peerj.148). Im Originallaut der Autoren:

The results of this experiment show that 54% of resources are not uniquely identifiable in publications, regardless of domain, journal impact factor, or reporting requirements. For example, in many cases the organism strain in which the experiment was performed or antibody that was used could not be identified. Our results show that identifiability is a serious problem for reproducibility.

Demnach kann die Studie von Vasilevsky et al. jedoch gar nicht mal alle möglichen Fälle von Nicht-Reproduzierbarkeit erfassen. Fälle zum Beispiel wie denjenigen des Heidelberger Max-Planck-Direktors Peter Seeburg, der einst in seiner US-Postdoc-Zeit die Zusammensetzung eines Plasmids bewusst unrichtig angab — damit niemand merkte, dass er in Wahrheit unrechtmäßig mit einem patentierten Konstrukt arbeitete.

Oder die gar nicht mal so seltenen Fälle, in  denen Forscher große Teile der Rohdaten hinter Verschluss halten und nur daraus weiterentwickelte Grafiken präsentieren. Fälle etwa wie diejenigen, über die der britische Bioinformatiker Mick Watson erst am 3. September unter @BioMickWatson twitterte:

Plenty of molecular biologists have made their entire career from sitting on and publishing „their private“ data. […] I know plenty who have published trees for decades without releasing sequences. No names 🙂

Der Wiener Wissenschaftstheoretiker Martin Kusch erklärte auf ORF on Science solche Fälle folgendermaßen:

Ein Wissenschaftler gibt im Methodenteil seiner Publikation so viel Wissen Preis, um andere davon zu überzeugen, dass das Experiment tatsächlich stattgefunden hat. Aber er oder sie hat natürlich auch Interesse daran, einen gewissen Wissensvorspung zu erhalten.

Und er ergänzt:

Bereits frühere Studien haben gezeigt: Viele Versuche sind selbst dann nur sehr schwer zu reproduzieren, wenn der betreffende Wissenschaftler beliebig viel nachfragen kann. Das liegt unter anderem daran, dass in modernen Versuchsaufbauten eine Menge unartikulierbares Wissen steckt: „Fingerspitzengefühl“ bzw. „tacit knowledge“, wie es im Englischen heißt.

Man kommt wohl kaum um den Eindruck herum, dass praktisch nur ein Bruchteil der publizierten biowissenschaftlichen Studien tatsächlich reproduzierbar wäre. Nicht gut!

Schlagworte: , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...