Aus Fehlern lernt man, heißt es. Wieso gibt es dann in der biomedizinischen Grundlagenforschung keine nennenswerte Fehlerkultur?
Unter dem Titel „Growth in a Time of Debt“ erschien 2010 ein Artikel der hoch angesehenen Harvard-Ökonomen Carmen Reinhart und Kenneth Rogoff über den Zusammenhang von nationalem Wirtschaftswachstum und Staatsverschuldung. Darin berichteten sie von der Entdeckung eines erstaunlichen, weltweit zu beobachtenden Zusammenhangs: Steigt die Staatsverschuldung, steigt das ökonomische Wachstum einer Nation zunächst an. Überschreitet die Staatsverschuldung allerdings 90 Prozent, kehrt sich dieses Verhältnis recht abrupt um: Aus dem Wachstum wird eine Kontraktion – und die Wirtschaftsleistung sinkt von da ab mit weiter steigender Verschuldung.
Die Entdeckung einer „90-Prozent-Schuldenschwelle“ schlug ein wie eine Bombe. Manche vermuten gar, der Artikel hätte nach der Finanzkrise von 2008 die europäische Sparpolitik mit begründet. Sicher ist jedenfalls, dass das Paper von westlichen Politikern begeistert zur Rechtfertigung ihrer restriktiven Fiskalpolitik genutzt wurde.
Nichts Böses ahnend nahm sich dann 2013 der Student Thomas Herndon im Rahmen einer Semesterarbeit die Daten vor, auf denen das Reinhart-Rogoff-Paper basierte. Nach einigem Hin und Her hatten ihm die Autoren dazu das Original-Excel-Spreadsheet überlassen. Und siehe da, in wenigen Minuten fand Herndon eine Reihe von gravierenden Fehlern in der Tabellenkalkulation! Nach Korrektur verschwand die Schuldenschwelle, ja die Daten belegten nun sogar das Gegenteil: einen stetigen, positiven Zusammenhang von Staatsverschuldung und Wachstum über den gesamten untersuchten Bereich!
Was lernen wir daraus? Abgesehen davon, dass der Grundfehler von Reinhart und Rogoff in der Verwechslung von Korrelation und kausaler Ursache steckt: Excel eignet sich nicht zur Analyse komplexer wissenschaftlicher Daten! Noch wichtiger aber: Wissenschaftler machen Fehler – und diese können fatale Konsequenzen haben.
Irren ist menschlich – so heißt es jedenfalls. Fehler treten demnach überall dort auf, wo Menschen tätig werden. In vielen Bereichen der Gesellschaft hat man das erkannt – insbesondere dort, wo Fehler unmittelbar zu kleineren oder größeren Katastrophen führen können. Zum Beispiel in Atomkraftwerken, in der Flugsicherung, oder auch im Krankenhaus. Ein professioneller Umgang mit Fehlern, um sie – oder wenigstens deren Wiederholung – möglichst zu verhindern, ist hier in Form von Fehlermanagement-Systemen gesetzlich vorgeschrieben.
In der biomedizinischen Forschung kennt man so etwas interessanterweise nicht. Von Fehlern hören wir dort nur aus den „Errata“, die sich manchmal in PubMed verirren. Meist bestand der „Fehler“ dann darin, dass der Name des Instituts eines der Autoren falsch geschrieben wurde oder – horrible dictu – ein Autor an falscher Stelle aufgeführt wurde!
Waren Sie etwa schon mal auf einer Institutsbesprechung, in der eine Wissenschaftlerin oder ein technischer Assistent einen Fehler vorgestellt hat, den sie oder er kürzlich gemacht haben? Und wo dieser dann gemeinsam analysiert und diskutiert wurde? Vermutlich nicht. Weil es das nämlich kaum gibt. In der Klinik dagegen ist das Standard. In sogenannten „Morbiditäts- und Mortalitäts-Konferenzen“ werden besondere Behandlungsverläufe, unerwünschte Ereignisse, Todesfälle und so weiter systematisch aufgearbeitet. Das Ziel dabei ist, in einer multiprofessionellen Umgebung Fehler und Schwachstellen – vor allem in klinischen Prozessen – zu identifizieren, inklusive daraus Verbesserungsmaßnahmen abzuleiten und umzusetzen.
Könnte es sein, dass die biomedizinische Wissenschaft so etwas nicht nötig hat? Weil kaum Fehler gemacht werden? Und wenn doch, dass sie dann ohne Einfluss auf die Ergebnisse oder deren Interpretationen sind? Dass sich Fehler demnach in der Wissenschaft ohnehin nicht wiederholen?
Aber natürlich machen wir Fehler! Eine Menge sogar, und folgenschwere sind auch dabei! Und unsere Fehler wiederholen sich sogar manchmal. Dabei können Fehler in der biomedizinischen Grundlagenwissenschaft mittelbar Patienten schädigen (siehe dazu LJ 10/2018: 28-29). Sie können Doktoranden um Jahre ihrer Jugend berauben, zum unnötigen Tod oder Leid von Versuchstieren beitragen – oder ganz allgemein zu massiver Ressourcenvergeudung führen.
Was gibt es nicht alles für Fehlerquellen in der komplexen Arbeitswelt des Labors! Systematische Fehler von Geräten wie Pipetten, Waagen, Platten-Readern, et cetera. Geräte gibt es im Labor ja wahrlich genug; wobei die meisten noch komplexer sind als eine Pipette. Und schon die kann man überdrehen – dann ist sie nicht mehr kalibriert, was die Experimente der Nachnutzer torpediert. Überhaupt Geräte-Kalibration: Wenn diese nicht oder falsch durchgeführt wurde, steht alles, was daraufhin mit dem Gerät gemacht wird, unter einem schlechten Stern. Und dazu kommen etwa noch die Fehler durch Abweichungen von Protokollen...
Am häufigsten sind aber wohl doch die „menschlichen Fehler“ – wie etwa offen gelassene Tiefkühlschränke, falsche Etikettierungen von Medienflaschen, Rechenfehler in Verdünnungsreihen, falsch abgelesene oder niedergeschriebene Dokumentationen, Fehler in der Benutzung von Analyse-Software (Excel!) und so weiter und so fort. Damit aber nicht genug, denn die Fehler können sich schließlich in Protokolle oder sogar Publikationen einschleichen – und führen so bei anderen zu Problemen.
Erschwerend kommt hinzu, dass in den meisten Laboren eine Menge Leute von sehr unterschiedlichem Hierarchie-, Ausbildungs-, Motivations- oder Einarbeitungsgrad unterwegs sind. Und möglicherweise liegt gerade hier ein wichtiger Grund, warum in der biomedizinischen Forschung scheinbar kaum Fehler gemacht werden. Ist es die Angst davor, einen Fehler zu berichten, ihn zuzugeben? Man könnte ja zur Verantwortung gezogen werden, als Anfänger dastehen, oder sich den Zorn derer zuziehen, die von dem Fehler möglicherweise betroffen sind oder waren.
Es sind diffuse Ängste, die da wirken. Vermutlich wird man in den meisten Laboren sagen: „Bei uns wird ganz offen darüber gesprochen, keiner wird für seine Fehler bestraft“. Aber wissen Sie, wie viele Fehler bei Ihnen wirklich gemacht werden – und wie viele davon auch berichtet? Wie werden Fehler in Ihrer Laborumgebung kommuniziert? Wie können andere aus Fehlern lernen? Wie wird sichergestellt, dass sich Fehler nicht wiederholen?
Dies kann nur in einem Umfeld funktionieren, in dem eine „Fehlerkultur“ existiert. Und die ist eine komplexe Sache. Sie hat viel mit Einstellung zu tun, aber auch mit sachlichen Voraussetzungen. Die Einstellung besteht darin, Fehler als Chance zu begreifen. Es braucht eine kristallklare Losung der Labor- oder Gruppenleitung, dass Fehler nie zu wie auch immer gearteter „Bestrafung“ oder Benachteiligung führen dürfen – außer sie geschehen mit Vorsatz. Zu den sachlichen Voraussetzungen zählt es, Formate für das Berichten von Fehlern parat zu haben, die auch anonym genutzt werden können. Im einfachsten Fall also so etwas wie einen „Fehlerkasten“, in den man einen Zettel werfen kann.
Das ist aber nur die halbe Miete, denn der Fehler muss ja auch analysiert, an andere kommuniziert sowie etwaige Maßnahmen eingeleitet werden, damit er sich nicht wiederholen kann. Dies könnte zum Beispiel ein regelmäßiger Tagesordnungspunkt beim Lab Meeting sein.
Wer sich generell für einen etwas systematischeren Umgang mit Fehlern im Labor interessiert, dem sei unser Artikel „A Laboratory Critical Incident and Error Reporting System for Experimental Biomedicine“ (PLoS Biol. 14(12): e2000705) inklusive der dort vorgestellten Open-Source-Software LabCIRS empfohlen. Auch im Laborjournal haben wir das schon mal vorgestellt („Aus Fehlern wird man klug“ LJ 1-2/2017: 66-67). Das Laboratory Critical Incidence Reporting System (LabCIRS) erleichtert den Umgang mit Fehlern insbesondere in der Grundlagenforschung. Fehler können darin auch anonymisiert gemeldet werden, was insbesondere in der Anfangsphase einer proaktiven Auseinandersetzung mit Fehlern wichtig ist.
Allerdings ist es in einer normal großen Arbeitsgruppe oft nicht möglich, einen Fehler anonymisiert zu melden, weil schon seine Beschreibung den Urheber verrät. Es geht also ganz wesentlich um das „Mind Set“: Alle machen Fehler; wir können von den eigenen und denjenigen anderer lernen; und Fehler einzugestehen sowie dafür zu sorgen, dass sie sich nicht wiederholen, ist ein Ausdruck von Professionalität.
Weil aber Fehlermachen tabuisiert und angstbesetzt ist, sollte man versuchen, das Thema positiv zu wenden. Klingt komisch, aber warum nicht jährlich die „besten“ Fehler prämieren? Also diejenigen, aus deren Aufarbeitung der größte Nutzen gezogen wurde. Auf medizinischen Konferenzen gibt es tatsächlich manchmal eine Session „Mein schlimmster Fehler“! Häufig ist das die bestbesuchte Sitzung der ganzen Konferenz. Wäre das nicht auch was für die Grundlagenforscher?
Zu guter Letzt: Sollten Fehler erst nach Publikation einer Studie entdeckt werden, muss gehandelt werden. Dies gilt sowohl für falsche Angaben im Methodenteil (falsche Dosierung, falscher Referenzwert,...), als auch für richtigzustellende Resultate (Fehler in der Auswertung, in der Graphik,...), wie auch für fehlerhafte Schlussfolgerungen. Klingt irgendwie selbstverständlich – aber wenn man systematisch Errata in den gängigen Journalen durchsucht, findet sich sehr selten etwas in dieser Richtung.
Liegt dies etwa daran, dass Fehler, die korrekturbedürftig wären, nur allzu selten im Nachhinein entdeckt werden? Ich vermute vielmehr, dass die meisten Autoren große Angst vor dem Stigma eines Erratums oder einer Retraktion haben. Befragen Sie sich selbst: Ist Ihr eigenes Gewissen rein in dieser Hinsicht? Waren Sie noch nie in der Situation, dass Sie Publiziertes eigentlich hätten nachfolgend richtigstellen müssen?
Der vielgelesene und von mir geschätzte Blog Retraction Watch, der ja leider auch ein bisschen von unserer Häme und unserem Voyeurismus lebt, hebt deshalb dankenswerter Weise auch immer wieder „gut gemachte“ Retraktionen nach einem „Honest Error“ positiv hervor. Die Betreiber haben dafür eigens die Kategorie „Doing the Right Thing“ geschaffen.
Ich jedenfalls habe größten Respekt vor Wissenschaftlern, die einen „Honest Error“ zum Anlass nehmen, ihre Publikation zu korrigieren!
Die hier zitierte sowie weiterführende Literatur findet sich wie immer unter https://dirnagl.com/lj.