Applaus ist das Brot der Künstler, Veröffentlichungen das der Forscher. Erst wenn Wissenschaftler ihre Resultate solide veröffentlichen können, macht ihre Arbeit sie satt. So richtig gut schmeckt dem Forscher sein Brot aber erst, wenn die Fachkollegen seine Ergebnisse wiederum in deren Artikeln zitieren. Dann erst war die eigene Arbeit etwas wert und hat Einfluss auf zukünftige Forschung – ja liegt dieser unter Umständen sogar zugrunde.
So weit die simple Logik, mit der man in den letzten Jahrzehnten meinte, Forschungsqualität schnell und einfach evaluieren zu können. Weithin gilt demnach bis heute: Wer kaum zitiert wird, taugt nur wenig – wer dagegen oft zitiert wird, gilt als toller Hecht im Forscherteich.
Allerdings haben das Internet und insbesondere die Sozialen Medien in der Zwischenzeit dafür gesorgt, dass nicht nur die Artikel der Kollegen auf das eigene Werk verweisen. Vielmehr werden die entsprechenden Ergebnisse parallel auch mannigfach auf Blogs und News-Seiten gecovert, in Online-Foren und -Plattformen diskutiert sowie auf Twitter, Facebook und Co. mitgeteilt und weiterverbreitet.
Auch das kann man heutzutage quantitativ auswerten – „alternative Metrik“ nennt man das. Als erstes tat dies 2011 im großen Stil das Londoner „Digital Science“-Unternehmen Altmetric – und seitdem berechnen deren Algorithmen die sogenannten Altmetric Attention Scores (AAS) für wissenschaftliche Originalveröffentlichungen.
Für Forschungsbewertung bisher ungeeignet
Doch was taugen alternative Metriken im Allgemeinen, und was speziell der AAS? Im letzten Sommer erst schloss Robin Haunschild von der Servicegruppe Fachinformation der Max-Planck-Gesellschaft seinen Laborjournal-Essay „Alternative Metriken in der Forschungsbewertung“ mit den klaren Worten:
„Von wenigen Ausnahmen abgesehen ist es unbekannt, welche Wirkung eines wissenschaftlichen Artikels durch alternative Metriken aufgezeigt wird. Auch ist die Bedeutung der hierbei aggregierten Zahlen unklar. […] Aggregierte Daten zu alternativen Metriken sollten daher derzeit nicht für die Forschungsbewertung eingesetzt werden.“
Und auch die Betreiber des AAS selbst schreiben, dass ihre Metrik vor allem die Aufmerksamkeit misst, die ein Forschungsartikel insbesondere über das Internet auf sich zieht. Womit sie gleichsam mit einräumen, dass die absoluten AAS-Werte keinesfalls als Maß für die inhaltliche Qualität eines Artikels herhalten können.
Doch kann es nicht sein, dass ein hoher Aufmerksamkeitswert à la AAS am Ende womöglich indirekt dafür sorgt, dass die Fachkollegen den betreffenden Artikel nachfolgend häufiger zitieren?
Viele Online-Erwähnungen lassen auch mehr Zitate erwarten
Zoologen Tom Finch von der Universität Cambridge haben sich genau diese Frage gestellt – und nachgeschaut. Als Stichprobe nahmen sie sich 2.700 Artikel vor, die von 2012 bis 2016 in zehn ornithologischen Fachzeitschriften erschienen waren. Allein in diesem Zeitraum hatte sich der durchschnittliche AAS-Wert versiebenfacht – was zunächst einmal zeigte, dass die Gesamtzahl der Online-Verweise auf vogelkundliche Artikel kräftig in die Höhe schnellte. Für den Löwenanteil daran war Twitter verantwortlich, das mit seinen Tweets ganze drei Viertel der gesamten Punktzahl ausmachte.
Um eine mögliche Korrelation von AAS und Anzahl der Zitierzahlen zu prüfen, analysierten die Engländer schließlich die 878 Artikel der zehn Vogelkunde-Fachblätter aus dem Jahr 2014 und nahmen nochmals 323 ornithologische Publikationen des gleichen Jahres aus anderen Journalen hinzu. Das Ergebnis war eindeutig: Diejenigen zehn Prozent der Artikel, die unmittelbar nach ihrer Veröffentlichung die niedrigsten AAS-Werte erreichten, wurden in der Folgezeit im Schnitt 2,6-mal zitiert – diejenigen zehn Prozent, die die höchsten AAS-Werte sammelten, dagegen 5,5-mal (Tweeting birds: online mentions predict future citations in ornithology, Royal Society Open Science, 1.11.2017, DOI: 10.1098/rsos.171371).
Vor allem ein Maß für Spektakel und Skurriles
Nach diesen Zahlen scheint es folglich schon so, dass man zumindest bei Vogelkunde-Artikeln grundsätzlich eine höhere Zitierhäufigkeit für Artikel erwarten kann, die nach ihrer Veröffentlichung bereits höhere Online-Aufmerksamkeitswerte erreicht hatten. Die Betonung liegt allerdings auf grundsätzlich, denn gerade gewisse Einzelfälle verzerren das Bild dann doch wieder.
Tom Finch et al. schildern einen solchen „Ausreißer“ fairerweise selbst in ihrem Paper. Den höchsten AAS-Wert aller ornithologischen Paper überhaupt erzielte demnach mit 391 ein Artikel, der 2013 erstmals dokumentierte, wie in Ostasien ein Steinadler einen Sikahirsch schlug (Journal of Raptor Research 47(3): 328-30). Zitiert wurde das Paper bis heute nur ein einziges Mal, zu einem „ASS-Hit“ wurde es trotzdem. Grund dafür war eine spektakuläre Fotofolge, die eine Kamerafalle der Autoren geschossen hatte und die nach der Veröffentlichung zigfach im Internet gepostet wurde – unter anderem mit diesem Bild:
Was trotz aller Statistik dann doch zeigt, dass die alternativen Metriken bislang offenbar nicht zuallererst Qualität nach vorne bringen – sondern dass man mit reinem Spektakel oder purer Skurrilität immer noch ziemlich locker vorbeiziehen kann.
Ralf Neumann