Für die meisten Forscher sind Ergebnisse, die einen Effekt zeigen, ein Grund zum Feiern. Resultate, die dagegen keine Unterschiede feststellen, gelten als Fehlschläge – Fehlschläge, die Lösung eines Problems zu finden; Fehlschläge, eine neues Behandlungskonzept zu finden; Fehlschläge, um Dinge funktionieren zu lassen.
Das sollte eigentlich nicht sein. Eine aktuelle Studie in eLife (5:e21451) zeigt, dass negative Ergebnisse genauso wertvoll sind wie positive, um die Wissenschaft vorwärts zu bringen. Erstautor Silas Boye Nissen (Foto), vor kurzem noch am Niels-Bohr-Institut in Dänemark aktiv, demonstrierte in dieser Studie mit seinen drei US-Kollegen, welch wichtige Rolle negative Ergebnisse spielen, damit irrtümliche Behauptungen nicht den Status allgemein akzeptierter Tatsachen erlangen. Die Praxis ist jedoch eine andere: Allzu oft bleiben sie in Notebooks und Schreibtischschubladen versteckt – und erblicken niemals das Licht der Welt. Fragen dazu an Silas Boye Nissen…
LJ: In jeder Zeitschrift stellen positive Ergebnisse die überwältigende Mehrheit der veröffentlichten Artikel. Woher kommt Ihrer Meinung nach dieses Bedürfnis, weitgehend nur positive Ergebnisse zu präsentieren?
Nissen: Angesichts der starken Vorliebe, die Autoren, Zeitschriften und Leser offenbar für positive Ergebnisse haben, ist es schon überraschend, dass wir die Grundprinzipien für diese Präferenz nicht besser kennen. Ich denke, es gibt eine Reihe möglicher Gründe. Dazu gehört etwa:
Glauben Sie, dass diese Denkweise von den Journal-Editoren oder den Forschern motiviert wurde?
Nissen: Bis zu einem gewissen Grad müssen die Editoren die Interessen der Leser befriedigen – und entsprechend viele positive Ergebnisse veröffentlichen. Genauso müssen die Autoren auf die Interessen der Leser und Editoren eingehen – und ebenso bevorzugt positive Ergebnisse mitteilen. Es ist daher schwere, die Schuld entsprechend zu verteilen. Man bräuchte wohl eine komplexe und anspruchsvolle Studie, um letztlich festzustellen, ob der aktuelle Mangel an negativen Ergebnissen vor allem daher kommt, dass die Autoren nicht einmal versuchen, sie zu veröffentlichen – oder vor allem daher, dass die Editoren negative Ergebnisse nicht akzeptieren, obwohl sie diese reichlich eingereicht bekommen.
Trotz dieser Vorliebe für positive Ergebnisse zeigt Ihr Modell doch, wie wichtig negative Studien für die Wissenschaft sind. Warum genau ist es notwendig, diese negativen Ergebnisse zu veröffentlichen?
Nissen: Es ist essentiell, einen vernünftigen Anteil negativer Ergebnisse, so man sie erhält, auch zu veröffentlichen – denn sonst werden viele falsche Behauptungen am Ende als wahr angesehen. Wissenschaftler testen Behauptungen, indem sie Experimente durchführen und dann versuchen, ihre Ergebnisse in wissenschaftlichen Zeitschriften zu veröffentlichen. Die Forscher schauen sich dann die gesamte Reihe der veröffentlichten Ergebnisse an, um zu entscheiden, inwieweit man einer Behauptung glauben kann. Unveröffentlichte Ergebnisse können sie natürlich nicht beurteilen. Auf diese Weise kann eine Behauptung genug positiven Rückhalt akkumulieren, um schließlich in den Rang einer Tatsache erhoben zu werden – einfach weil keine negativen Befunde bekannt sind, um sie als falsch zurückzuweisen.
Für die Parameterwerte, die wir in unserem Modell verwendeten, liegt diese kritische Beurteilungsschwelle im Bereich von 20 bis 30 Prozent negativen Ergebnissen. Dies wird jedoch vor allem in den Feldern zur Farce, in denen negative Ergebnisse oft gar nicht veröffentlicht werden. Zum Beispiel schauten sich im Jahr 2008 amerikanische Autoren viele klinische Studien zu bestimmten Antidepressiva an und fanden, dass fast alle Studien veröffentlicht wurden, die eine signifikante Wirkung zeigten, dagegen aber nur sehr wenige von denjenigen, die keinen signifikanten Effekt lieferten.
"Allein die Veröffentlichung negativer Ergebnisse reicht nicht aus"
Wie können Editoren und Forscher Ihrer Meinung nach die Veröffentlichung von negativen Ergebnissen fördern?
Nissen: Wir – das heißt, die Mitglieder der wissenschaftlichen Gemeinschaft – müssen erkennen, wie wesentlich negative Ergebnisse für den Prozess wissenschaftlicher Untersuchungen sind. In der Tat können sie genauso wichtig, oder sogar noch wichtiger als positive Ergebnisse sein. Wir brauchen Orte, wo Autoren gezielt negative Ergebnisse veröffentlichen können. Fachzeitschriften, die speziell für diesen Zweck gegründet wurden, wie zum Beispiel BioMed Central’s Journal of Negative Results in BioMedicine, können ein wichtiger Teil der Lösung sein. Preprint-Archive wie arXiv, die keinen Peer-Review erfordern, können eine andere Möglichkeit sein.
Nur reicht die Veröffentlichung negativer Ergebnisse allein nicht aus. Sie müssen auch geschätzt und gewürdigt werden – von den Kollegen, von Berufungskommissionen, in Evaluationsprozessen, und so weiter… Zumal es ja durchaus schon Konstellationen gibt, in denen negative Ergebnisse als wertvoll angesehen werden. Gerade wenn beispielsweise ein gewisser „Claim“ bereits sehr starke Bestätigung erfahren hat, kann ein negatives Ergebnis aus einer robusten und gut gestalteten Studie sehr viel Einfluss ausüben – und daher natürlich auch vergleichsweise leicht veröffentlicht werden. Unser Modell deutet darauf hin, dass auf diese Weise die Gefahr erheblich verringert werden kann, dass wir falsche Behauptungen in den Rang von „Wahrheiten“ erheben.
Denken Sie, die Ahnung, dass einige vermeintliche Tatsachen eventuell doch falsch sind, könnte die öffentliche Wahrnehmung von Forschungsergebnissen negativ beeinflussen? Und wenn ja, was könnten die Wissenschaftler tun, um dies zu vermeiden?
Genaugenommen demonstrieren unsere Ergebnisse doch geradezu ein klassisches Definitionsmerkmal der Wissenschaft: nämlich dass alles, wovon wir glauben oder behaupten, dass es Tatsache ist, immer wieder nachgeprüft und – sofern es die Hinweise nahelegen – sogar umgestoßen werden kann. Unser Modell handelt dabei indes nur den Anfangsprozess ab, durch den Tatsachen etabliert werden. Wenn in der wirklichen Welt eine falsche Behauptung irrtümlicherweise als Tatsache angenommen wird, werden genügend widersprechende Hinweise schließlich dazu führen, dass die Forscher zurückgehen und die Annahmen nochmals überprüfen, die sie zuvor für gegeben hielten.
Zudem glauben wir auch nicht, dass unsere Ergebnisse besonders schockierend sind. Wir vermuten eher, dass ein Großteil der Öffentlichkeit bereits versteht, dass nicht jede kleinere Gegebenheit, die die Wissenschaft entdeckt, tatsächlich den Test der Zeit besteht. Unsere Studie legt vielmehr nahe, dass man die Praktiken und Anreizstrukturen der Wissenschaft nur ein wenig verändern müsste, um sie für das Herausfiltern wahrer Behauptungen effizienter zu machen. Auf diese Weise würde die Wissenschaft auf lange Sicht zu einem noch mächtigeren Instrument, um die Welt um uns herum besser verstehen zu lernen – und damit würde nicht zuletzt auch das Vertrauen der Öffentlichkeit in wissenschaftliche Entdeckungen gestärkt.
Darüber hinaus beleuchtet das reine Verständnis, wie Behauptungen fälschlicherweise in den Rang von Tatsachen erhoben werden, auch einen wichtigen Unterschied im Maßstab. Auf der einen Seite haben wir hochspezielle wissenschaftliche Fakten von sehr enger Bedeutung, die von einer eher bescheidenen Handvoll Studien gestützt werden; hier ist gelegentlich Skepsis gerechtfertigt. Auf der anderen Seite haben wir Tatsachen, wie etwa den Zusammenhang von Rauchen und Krebs oder die Realität des anthropogenen Klimawandels. Diese werden durch Hunderte oder gar Tausende von Studien unterstützt, werden daher trotz vieler Versuche, sie aufgrund mächtiger monetärer Interessen zu untergraben, aufrechterhalten – und sind nun klar über jeglichen vernünftigen Zweifel erhaben.
Alex Reis
(Die englische Version dieses Interviews erschien bereits am 17. Januar auf Lab Times online)