Die Abweichungen erkennt man nur mit der Lupe
Folge 4: Die ersten Magnetfeld-Ergebnisse
Zurück zur Publikation aus dem Jahr 2002. Es wurden die Effekte von Magnetfeldern auf menschliche Fibroblasten untersucht. Die Versuche wurden, so steht es in der Publikation, verblindet durchgeführt. Ein Computer entschied, welche der Zellen exponiert und welche scheinexponiert wurden. Die beiden Kammern wurden in einem Inkubator untergebracht, die Umgebungsbedingungen unterschieden sich nicht. Bereits bei 70 µT (Mikrotesla) waren signifikante Schäden auf die DNA-Moleküle zu sehen, jedenfalls sagten dies die Comet-Daten aus (s. Abbildung). Zur Einordnung dieser Feldstärken (eigentlich: Flussdichten): Ein Fön oder ein Rasierapparat können zu solchen Werten führen, da sie nah an der Haut betrieben werden.
Abgesehen davon, dass es bislang immer noch keinen plausiblen Mechanismus gibt, der solche Effekte erklären könnte, sind die Befunde aus einer ganzen Reihe von Gründen erstaunlich, um es einmal – zunächst – vorsichtig zu formulieren. Die Abbildung zeigt, dass es bei den scheinexponierten Zellen („sham“) keine Effekte gab, was auch nicht verwunderlich ist, wurden sie ja schließlich nicht exponiert. Da die Publikation aber auch – neben den Abbildungen – die Daten als Tabellen enthält, kann man ein wenig nachrechnen und kommt zu seltsamen Befunden.
Bleiben wir zunächst bei der sham-Werten. Für die 9 Experimente dieses Teils der Publikation waren die Standardabweichungen der Mittelwerte im Durchschnitt 0,07 oder, als Variationskoeffizient ausgedrückt (Vk = Standardabweichung / Mittelwert) 1,7 %. Das allein ist schon ein seltsames Ergebnis für eine Messung biologischer Proben (angemerkt sei hier, dass tatsächlich die Standardabweichung und nicht der Standardfehler angegeben wurde). Noch erstaunlicher ist allerdings der Vergleich der Mittelwerte der 9 sham-Werte. Hier liegt die Standardabweichung sogar nur bei 0,05 oder Vk = 1,2 %.
Also: Die Abweichungen der Mittelwerte der 9 Experimente (n = 9) liegen unterhalb der Abweichungen der Werte in den Einzelexperimenten (jeweils n = 2). Das macht wenig Sinn, selbst wenn man annimmt, dass die Comets sich wirklich nicht unterscheiden würden. Bei anderen Assays würde man sagen, dass der Inter-Assay-Vk geringer ist als der Intra-Assay-Vk. Jeder, der schon mal Assays durchgeführt hat, wird zustimmen, dass dies unplausibel ist. Auch hier ist bereits die Schlussfolgerung zulässig, dass etwas mit den Daten grundsätzlich nicht stimmen kann.
Nicht besser sieht es aus, wenn man sich die Daten der exponierten Zellen ansieht. Hier ist der mittlere Vk aller 9 Werte unter 1 % (0,94 %). Wahrhaft präzise Daten!
Aus Abb. 7 der Studie von Ivancsits et al. (2002)
Nun könnte man – als Verteidiger der Autoren – anführen, dass die Messungen von erfahrenen Personen durchgeführt wurden und dass die Daten deswegen so präzise sind. Die Autoren selbst sehen das noch ein wenig anders: „Due to the scoring of 1000 cells in one experiment, which are 10-fold the cells processed with image analyzing, standard deviations are very low.“ Hier hat jemand ganz unzweifelhaft Probleme mit der Statistik. Pro Ansatz wurden zwei Gele mit den Comets untersucht und jedes Mal 1000 Zellen manuell klassifiziert. Die Standardabweichung ergibt sich daher aus der Anzahl an Gelen (n = 2) und natürlich nicht aus der Anzahl der Zellen pro Gel!
Doch noch ein weiterer Punkt ist wichtig. Die Comets wurden manuell mikroskopisch 5 verschiedenen Kategorien zugeordnet (s. Folge 2). In den Proben wurden zwar hauptsächlich Zellen der Kategorie A (keine Schäden) gezählt, aber eben auch solche der Kategorien B – E. Nun ein einfaches Gedankenexperiment. Aus 1000 Zellen wird ein Comet-Tailfaktor von 4,00 bestimmt, z.B. durch folgende Zellzahlen: A: 817, B: 36; C: 20; D: 12; E: 1. Die Summe der Produkte aus Zellzahlen und Faktoren ergibt 4000 (817 x 2,5 + 36 x 12,5 + 20 x 30 + 12 x 67,5 + 1 x 97,5), der Tailfaktor ist demnach 4,00. Was geschieht, wenn eine einzige E-Zelle mehr oder weniger gezählt wird und stattdessen eine A-Zelle weniger oder mehr? Dann verschiebt sich der Tailfaktor von 4,00 auf 3,905 bzw. 4,095. Der entscheidende Punkt ist nun, dass diese absolute Differenz von 0,095 einem relativen Unterschied von 2,4 % entspricht! Eine einzige E-Zelle mehr oder weniger führt also zu Unterschieden, die größer sind als die Standardabweichungen! Entweder waren die Zellzahlen auf wundersame Weise stets so verteilt, dass bei den Doppelbestimmungen immer so gut wie dasselbe Ergebnis resultierte, oder jemand hat nachgeholfen. Vieles spricht für die zweite Möglichkeit.
von Alexander Lerchl
Was bisher geschah:
Folge 2: Die ersten Ungereimtheiten
Folge 3: Mikroskopische Abweichungen
Folge 4: Die ersten Magnetfeld-Ergebnisse
Folge 5: Fälschungen trotz Verblindung?
Folge 7: Die Untersuchung der Medizinischen Universität Wien
Folge 8: Die Österreichische Agentur für Wissenschaftliche Integrität (OeAWI)
Folge 9: Die (Nicht-) Reaktionen der Zeitschriften
Folge 10: Zusammenfassung und Kommentare