Info

Schwund unter dem Strich

(27.4.16) Der Journal Impact Factor (IF) hält sich hartnäckig, trotz aller Kritik. Eine neue Studie belegt nun: Springt der IF eines Journals plötzlich nach oben, so hat das oft andere Gründe als mehr Zitierungen.

ANZEIGE

Info

Der neue Pipettierroboter Liquid Handling Station flow schützt Ihre wertvollen Proben vor Partikeln und Mikroorganismen. mehr

editorial_bild

© Nenadaksic / Fotolia

Man muss sich als Laborjournal-Autor fast entschuldigen, wenn man über den Impact Factor schreiben will. Denn über dieses Dauerbrenner-Thema haben wir wirklich oft genug berichtet (z. B. hierhier, hier und hier, um nur ein paar jüngere Beispiele zu nennen).

Immer und immer wieder haben wir und viele andere auf die Fallstricke und Unzulänglichkeiten dieser schrägen Metrik hingewiesen. Der IF taugt höchstens als ein grober Indikator, um Zeitschriften aus dem gleichen Feld zu vergleichen. Nützlich ist er eigentlich nur für Bibliothekare, denn die schnöde Zahl sagt nichts aus über die Qualität einzelner Artikel in diesen Journals, oder gar über die wissenschaftlichen Fähigkeiten der Autoren.

Irrsinn ohne Ende

Der Anlass, das Thema nun noch einmal aufzugreifen – neben der Tatsache, dass  ja auch junge Forscher nachkommen, die von diesem Irrsinn noch nie gehört haben – ist eine aktuelle Studie im Journal PLOS ONE. Dort demonstrieren die Salzburger Wissenschaftler Tobias Kiesslich, Silke Weineck und Dorothea Koelblinger, dass der IF auch bei formal korrekter Anwendung weniger über die Zahl der Zitierungen aussagt, als die Formel vermuten lässt.

ANZEIGE

Info

Herausragende Vielseitigkeit, hohe Kapazität, menügeführtes Display, extrem leiser Betrieb. mehr

Aber bevor wir uns die Daten genauer anschauen, eine kurze Rekapitulation:

Der IF des Jahres x zeigt an, wie oft  Artikel aus den Jahren x minus 1 und x minus 2 im Jahr x im Durchschnitt zitiert wurden.

Um die Zauberzahl für das Jahr 2015 zu berechnen, betrachtet man also nur Papers, die im Jahr 2014 und 2013 erschienen sind. Man teilt die Summe aller Zitate, die diese Artikel im Jahr 2015 angesammelt haben, durch die Gesamtzahl der zitierfähigen Artikel aus den beiden Bezugsjahren, und fertig ist die Hexerei.

Völlig willkürlich ist dabei beispielsweise der Zeitraum: Wieso zwei Jahre, und wieso nicht fünf, oder zehn? Auch die Tatsache, dass in der Regel einige wenige, extrem oft zitierte Papers übermäßigen Einfluss haben, wurde schon zur Genüge anderswo durchgekaut.

Aber es ist alles noch viel schlimmer.

Auf den ersten Blick scheint es ja so, als ob der Impact Factor ein normiertes Maß für die Zahl der Zitierungen ist, die in den Zähler der Formel eingehen. Das wäre ja vielleicht ganz sinnvoll, bei allen Einschränkungen.

Info

Schrumpfkur unter dem Bruchstrich

Der IF eines Journals steigt aber z.B. auch dann an, wenn nur der Nenner kleiner wird; wenn also die gleiche Anzahl Zitierungen auf weniger Artikel verteilt wird. Das kann theoretisch noble Gründe haben – zum Beispiel einen neuen Editor-in-Chief, der einen Riecher für heiße, viel zitierte Themen hat, aber insgesamt den Umfang des Journals durch mehr "Rejections" drastisch zurückfährt.

Denkbar.

Aber es könnte auch sein, dass der Nenner der IF-Formel durch Verhandlungen im Hinterzimmer und diverse Tricks beeinflusst wird.

Wie oft kommt es denn vor, dass Journals ihren IF hochschrauben, ohne dass sie mehr Zitierungen vorweisen können? Genau das haben sich Tobias Kiesslich und Kollegen in ihrem Paper angeschaut. Sie pickten sich für ihre Analyse 49 Journals heraus, die zwischen 2013 und 2014 besonders drastische IF-Sprünge nach oben machten, jeweils um mehr als drei Punkte.

Was war jeweils für diesen scheinbaren Qualitätsquantensprung verantwortlich? Mehr Zitierungen? Weniger zitierfähige Artikel? Oder eine Kombination aus beidem?

ANZEIGE

Info

Über 20 Veranstaltungen aus denen sich TA’s der Life Sciences ihr individuelles Programm zusammenstellen können. mehr

Die Autoren definieren dreizehn verschiedene Szenarien, wie der IF durch Verschiebungen in Zähler und/oder Nenner beeinflusst werden kann. Fünf dieser Szenarien führen zu einer Erhöhung des Impact Factors.

Innerhalb dieser fünf IF-steigernden Varianten gibt es "valide" und "nicht valide" Änderungen. Sprünge nach oben klassifizieren die Salzburger z. B. dann als "nicht valide", wenn die Zahl der nominell zitierfähigen Artikel im Vergleich zum Vorjahr deutlich zurückgeht, obwohl die Zitierungen in etwa gleich bleiben oder nur vergleichsweise leicht absinken. Über 18 Prozent der IF-Sprünge in ihrem Datensatz bewerten die Autoren als "nicht valide" in diesem Sinne.

Wohlgemerkt: Diese Szenarien bedeuten noch nicht zwangsläufig, dass es irgendwelche kreativen Tricks oder gar Deals mit Thomson Reuters, dem Lieferanten der magischen Zahl, gegeben hat. Im Einzelfall könnte der Anstieg auch auf qualitätssteigernde Maßnahmen zurückzuführen sein.

Extremer Rückgang

Die Autoren halten das aber für unwahrscheinlich, zumindest bei den Extremfällen:

"For individual journals, maximum decreases by articles of 60% and up to 84.6% between one year and the subsequent one could be identified in our analysis. We believe that such extreme decreases are not only to be deducted from editorial measures."

Aber wie sonst kann man die Zahl der zitierfähig publizierten Artikel künstlich drücken (und damit den IF pushen)? Zum Beispiel durch geschickte Etikettierung in den Kopfzeilen der Artikel. Denn nicht alle Artikel fließen tatsächlich in den Nenner der Gleichung ein: Ob "Research Letter", "Correspondence", "Hypothesis Article" oder ähnlich kreativ deklarierte Artikel unter dem Bruchstrich in die Gleichung eingehen, ist oft nicht leicht zu beantworten. Manchmal scheint das schlicht Verhandlungssache zu sein. Auch das ist nicht neu (siehe PLOS Medicine, 2006). Aber Berichte über seltsam volatile IFs waren bisher eher anekdotischer Natur. Die Daten der Salzburger kann man nun so interpretieren, dass es sich bei solchen post-hoc-Optimierungen nicht nur um ein paar Einzelfälle handelt.

 Die Autoren sagen es diplomatisch:

"The denominator of the IF equation might bear the risk to be exploited as a potential playground for manipulation."


Hans Zauner

 



Letzte Änderungen: 14.06.2016

Diese Website benutzt Cookies. Wenn SIe unsere Website benutzen, stimmen SIe damit unserer Nutzung von Cookies zu. Zur ausführlichen Datenschutzinformation