© Nenadaksic / Fotolia
Man muss sich als Laborjournal-Autor fast entschuldigen, wenn man über den Impact Factor schreiben will. Denn über dieses Dauerbrenner-Thema haben wir wirklich oft genug berichtet (z. B. hier, hier, hier und hier, um nur ein paar jüngere Beispiele zu nennen).
Immer und immer wieder haben wir und viele andere auf die Fallstricke und Unzulänglichkeiten dieser schrägen Metrik hingewiesen. Der IF taugt höchstens als ein grober Indikator, um Zeitschriften aus dem gleichen Feld zu vergleichen. Nützlich ist er eigentlich nur für Bibliothekare, denn die schnöde Zahl sagt nichts aus über die Qualität einzelner Artikel in diesen Journals, oder gar über die wissenschaftlichen Fähigkeiten der Autoren.
Der Anlass, das Thema nun noch einmal aufzugreifen – neben der Tatsache, dass ja auch junge Forscher nachkommen, die von diesem Irrsinn noch nie gehört haben – ist eine aktuelle Studie im Journal PLOS ONE. Dort demonstrieren die Salzburger Wissenschaftler Tobias Kiesslich, Silke Weineck und Dorothea Koelblinger, dass der IF auch bei formal korrekter Anwendung weniger über die Zahl der Zitierungen aussagt, als die Formel vermuten lässt.
Aber bevor wir uns die Daten genauer anschauen, eine kurze Rekapitulation:
Der IF des Jahres x zeigt an, wie oft Artikel aus den Jahren x minus 1 und x minus 2 im Jahr x im Durchschnitt zitiert wurden.
Um die Zauberzahl für das Jahr 2015 zu berechnen, betrachtet man also nur Papers, die im Jahr 2014 und 2013 erschienen sind. Man teilt die Summe aller Zitate, die diese Artikel im Jahr 2015 angesammelt haben, durch die Gesamtzahl der zitierfähigen Artikel aus den beiden Bezugsjahren, und fertig ist die Hexerei.
Völlig willkürlich ist dabei beispielsweise der Zeitraum: Wieso zwei Jahre, und wieso nicht fünf, oder zehn? Auch die Tatsache, dass in der Regel einige wenige, extrem oft zitierte Papers übermäßigen Einfluss haben, wurde schon zur Genüge anderswo durchgekaut.
Aber es ist alles noch viel schlimmer.
Auf den ersten Blick scheint es ja so, als ob der Impact Factor ein normiertes Maß für die Zahl der Zitierungen ist, die in den Zähler der Formel eingehen. Das wäre ja vielleicht ganz sinnvoll, bei allen Einschränkungen.
Der IF eines Journals steigt aber z.B. auch dann an, wenn nur der Nenner kleiner wird; wenn also die gleiche Anzahl Zitierungen auf weniger Artikel verteilt wird. Das kann theoretisch noble Gründe haben – zum Beispiel einen neuen Editor-in-Chief, der einen Riecher für heiße, viel zitierte Themen hat, aber insgesamt den Umfang des Journals durch mehr "Rejections" drastisch zurückfährt.
Denkbar.
Aber es könnte auch sein, dass der Nenner der IF-Formel durch Verhandlungen im Hinterzimmer und diverse Tricks beeinflusst wird.
Wie oft kommt es denn vor, dass Journals ihren IF hochschrauben, ohne dass sie mehr Zitierungen vorweisen können? Genau das haben sich Tobias Kiesslich und Kollegen in ihrem Paper angeschaut. Sie pickten sich für ihre Analyse 49 Journals heraus, die zwischen 2013 und 2014 besonders drastische IF-Sprünge nach oben machten, jeweils um mehr als drei Punkte.
Was war jeweils für diesen scheinbaren Qualitätsquantensprung verantwortlich? Mehr Zitierungen? Weniger zitierfähige Artikel? Oder eine Kombination aus beidem?
Die Autoren definieren dreizehn verschiedene Szenarien, wie der IF durch Verschiebungen in Zähler und/oder Nenner beeinflusst werden kann. Fünf dieser Szenarien führen zu einer Erhöhung des Impact Factors.
Innerhalb dieser fünf IF-steigernden Varianten gibt es "valide" und "nicht valide" Änderungen. Sprünge nach oben klassifizieren die Salzburger z. B. dann als "nicht valide", wenn die Zahl der nominell zitierfähigen Artikel im Vergleich zum Vorjahr deutlich zurückgeht, obwohl die Zitierungen in etwa gleich bleiben oder nur vergleichsweise leicht absinken. Über 18 Prozent der IF-Sprünge in ihrem Datensatz bewerten die Autoren als "nicht valide" in diesem Sinne.
Wohlgemerkt: Diese Szenarien bedeuten noch nicht zwangsläufig, dass es irgendwelche kreativen Tricks oder gar Deals mit Thomson Reuters, dem Lieferanten der magischen Zahl, gegeben hat. Im Einzelfall könnte der Anstieg auch auf qualitätssteigernde Maßnahmen zurückzuführen sein.
Die Autoren halten das aber für unwahrscheinlich, zumindest bei den Extremfällen:
"For individual journals, maximum decreases by articles of 60% and up to 84.6% between one year and the subsequent one could be identified in our analysis. We believe that such extreme decreases are not only to be deducted from editorial measures."
Aber wie sonst kann man die Zahl der zitierfähig publizierten Artikel künstlich drücken (und damit den IF pushen)? Zum Beispiel durch geschickte Etikettierung in den Kopfzeilen der Artikel. Denn nicht alle Artikel fließen tatsächlich in den Nenner der Gleichung ein: Ob "Research Letter", "Correspondence", "Hypothesis Article" oder ähnlich kreativ deklarierte Artikel unter dem Bruchstrich in die Gleichung eingehen, ist oft nicht leicht zu beantworten. Manchmal scheint das schlicht Verhandlungssache zu sein. Auch das ist nicht neu (siehe PLOS Medicine, 2006). Aber Berichte über seltsam volatile IFs waren bisher eher anekdotischer Natur. Die Daten der Salzburger kann man nun so interpretieren, dass es sich bei solchen post-hoc-Optimierungen nicht nur um ein paar Einzelfälle handelt.
Die Autoren sagen es diplomatisch:
"The denominator of the IF equation might bear the risk to be exploited as a potential playground for manipulation."
Hans Zauner