(24. Mai 2013) Wenn sich Forscher, Editoren oder Wissenschaftsmanager über den Journal Impact Factor (JIF) unterhalten, sind sich meist alle einig: Diese bibliometrische Messgröße taugt nicht dazu, einzelne Forscher und ihre Arbeiten zu bewerten. Ob ein Gremium Kandidaten für die Neubesetzung einer Professur auswählt oder über die Vergabe von Drittmitteln und Stipendien entscheidet – der JIF der Zeitschriften, in denen der Kandidat oder Antragsteller publiziert hat, sollte bei der Entscheidungsfindung eigentlich nichts zu suchen haben.
Die Praxis jedoch seht anders aus. Immer wieder fließt die notorische Kennzahl eben doch in karriereentscheidende Diskussionen ein. Deshalb wissen alle jungen und nicht mehr so jungen Wissenschaftler: für die eigene Forscherkarriere ist es vor allem wichtig, Ergebnisse in Journals mit möglichst hohem JIF zu veröffentlichen.
Ein internationales Bündnis aus Wissenschaftlern, Journal-Editoren und Forschungsinstitutionen will diesem Faktor-Fetischismus nun den Garaus machen. Ausgehend von Diskussionen während eines Meetings der American Society for Cell Biology brachten kürzlich mehr als 150 Forscher und 75 institutionelle Unterzeichner die sogenannte San Francisco Declaration on Research Assessment (DORA) auf den Weg. Und diese gibt teilweise recht konkrete Empfehlungen, wie Forscher, Wissenschaftsmanager und Verlage dem Missbrauch des JIF begegnen sollten.
Wie kommt es überhaupt, dass eine an sich langweilige Messgröße aus dem staubtrockenen Gebiet der Bibliometrie soviel Wirbel verursacht? Der jährlich neu berechnete Impact Factor eines Journals gibt Auskunft darüber, wie oft ein Artikel aus den beiden vorhergehenden Jahrgängen dieser Zeitschrift im Durchschnitt zitiert wurde. Als Vergleichswert sollte der JIF ursprünglich Bibliothekaren dabei helfen, Entscheidungen über ihr Zeitschriftenportfolio zu treffen; er war nie als Gütesiegel gedacht, das sich einzelne Forscher auf die Stirn kleben können. Doch genau das geschieht mittlerweile schon lange in der Praxis – eine Veröffentlichung in einem Journal mit hohem JIF gilt als herausragender Leistungsbeweis, der Türen öffnen kann.
Auch das Laborjournal hat schon oft über diese fragwürdige Verwendung des JIF geschrieben; hier nur drei nicht gerade neue, aber wichtige Kritikpunkte, die auch die DORA-Unterzeichner hervorheben:
(1) Der JIF eines Journals sagt wenig bis nichts aus über die tatsächlichen Zitierungen, oder gar die Qualität, eines individuellen Artikels in der jeweiligen Zeitschrift; meist tragen einige wenige, außergewöhnlich häufig zitierte Artikel den größten Anteil zum Impact Factor eines Journals bei.
(2) Der JIF von Zeitschriften aus verschiedenen Fachgebieten ist nicht vergleichbar. In „dicht-besiedelten“, hochaktiven Forschungsgebieten sind die JIFs beispielsweise tendenziell höher. Auch solche Bereiche und Zeitschriften kommen schlecht weg, deren Artikel vielleicht über Jahrzehnte hinweg relevant bleiben, aber eben nicht innerhalb der kritischen zwei Jahre nach Erscheinen ausnehmend oft zitiert werden.
(3) Die jährliche Liste aller JIFs ist ein kommerzielles Produkt des Informationsunternehmens Thomson Reuters; das genaue Prozedere der Erstellung dieses Zahlenwerks ist entsprechend intransparent. Die nur scheinbar eindeutige Berechnungsformel lässt Spielraum für taktische Manöver und Verhandlungen zwischen Verlagen und Thomson Reuters – beispielsweise darüber, welche Artikeltypen in die Rechnung einfliessen.
DORA hat nun dem Missbrauch des JIFs in der Forscherbewertung den Kampf angesagt. Die klare Botschaft an Forscher, Institutionen und Journals: Verbannen wir endlich diese mangelhafte Messgröße aus Diskussionen in Berufungskommissionen und Antragsgremien – und somit generell aus jeglicher Leistungsbewertung von Wissenschaftlern.
Sicher, Forscherleistung muss beurteilt werden – qualitativ und quantitativ. Aber andere, auf den individuellen Beitrag bezogene Kriterien sind dazu besser geeignet als ein belangloses Prestigeetikett. Vielmehr sollen nach dem Willen der Deklaration auch andere Errungenschaften als Publikationen stärker in die Bewertung der Forschung einfließen – beispielsweise die Erstellung von Software und Datenbanken oder auch herausragendes Engagement in der Lehre. DORA fordert folglich alle Entscheidungsträger explizit zum Widerspruch auf, wann immer der JIF als Unterscheidungsmerkmal zwischen Kandidaten oder Forschungsanträgen ins Spiel gebracht wird.
Auch die Journals und ihre Editors sind aufgerufen, den JIF nicht als dominantes Marketingargument für die Anwerbung ihrer Autoren einzusetzen; stattdessen sollen die Verantwortlichen in den Verlagen ebenfalls weitere Qualitätsmerkmale stärker hervorheben.
Begleitet wird die Deklaration, die auch offen für weitere Signaturen ist, von einer Reihe lesenswerter Editorials und Kommentare, etwa von Bruce Alberts, Editor-in-Chief von Science oder von Randy Schekman und Mark Patterson im Open Access-Journal eLife.
Eine Sorge, die dabei in manchen der Kommentare zum Ausdruck kommt: Der weit verbreitete Missbrauch des JIF sei nicht nur unfair gegenüber Bewerbern und Antragstellern, er schade überdies der Wissenschaft insgesamt. JIF-fixiertes Denken und Forschen belohnt selten visionäre Ideen und Innovationsfreude; stattdessen lohnt sich hierbei eher opportunistisches Aufspringen auf „heiße Themen“. Eine Unsitte, die Bruce Alberts “Me-too-Science“ nennt.
Auch die Reproduzierbarkeitsprobleme, die gerade die prestigeträchtigen Journals plagen (siehe etwa dieses LJ online-Editorial), hängen wohl zum Teil mit dem Druck zusammen, schnell und oft in Journals mit hohem JIF zu publizieren.
DORA ist also sicher ein Hoffnungszeichen für alle, die schon beim Erwähnen des Hasswortes „Impact Factor“ genervt die Augen verdrehen. Man darf aber auch fragen: Wenn sich fast alle einflussreichen Beteiligten schon lange einig sind, dass der JIF kein geeignetes Instrument zur Forscherbewertung ist – wieso verschwand dieser bibliometrische Dinosaurier nicht schon längst von der Bildfläche? Kann ein unverbindliches Manifest an einer fehlgeleiteten, aber weithin etablierten Praxis wirklich etwas ändern?
Dagegen spricht: der JIF und die 'Reputationshierarchie' der Journals ist eine verführerische Scheinlösung für ein Grundproblem vieler Gremien, die Forscherleistung bewerten sollen. Es fehlt dort schlicht an Zeit und spezifischer Expertise, jeden Kandidaten, jeden Antrag im Detail zu bewerten. Die aus dem JIF abgeleitete Rangfolge der Publikationen verspricht einen (trügerischen) Hauch von Objektivität und Quantifizierbarkeit.
Alternative Qualitätskriterien und Kennzahlen (wie der h-Index für einzelne Forscher oder die auf dem social web basierende 'altmetrics') beseitigen einige der Mängel des JIF, haben aber jeweils andere Eigenheiten und Unzulänglichkeiten. Daher zeigen auch diese vor allem, dass es eben nicht dieeine Größe gibt, die den JIF ablösen könnte, sondern allenfalls ein ganze Reihe von alternativen Ansätzen, die beim direkten Vergleich oft ganz verschiedene Ergebnisse bringen.
Der längst überfällige Abschied vom JIF als Bewertungskriterium für Forscherleistung bedeutet damit auch den Abschied von der Illusion, den „exzellenten Forscher“ überhaupt auf eine einzelne messbare Größe reduzieren zu können.
Hans Zauner