Zitierungen — Kein Maß für Qualität oder Einfluss

7. Juli 2020 von Laborjournal

„Warum (fast) alles, was wir über Zitierungen wissen, falsch ist“ — so lautet die Überschrift eines bereits vor Monaten veröffentlichten Tagungsbeitrags von vier Mitgliedern des Laboratory for Innovation Science an der Harvard University (STI 2018 Conference Proceedings 1488-92).

Wie kommen die Vier zu dieser Behauptung?

Zunächst wählten sie aus allen Veröffentlichungen, die die Datenbank Web of Science für das Jahr 2010 in sechs verschiedenen Disziplinen listete, einige derart aus, dass das Spektrum der verschiedenen Zitierhäufigkeiten ordentlich abgedeckt war. Anschließend fragten sie für jedes einzelne Paper bei zehn Autoren nach, warum genau sie es später in ihren eigenen Arbeiten zitierten.

Nach Meinung der Studienleiter sei nämlich nicht wirklich verstanden, worauf genau Autoren ihre Entscheidung jeweils gründen, ob sie ein bestimmtes Paper zitieren. Dazu geben sie zwei unterschiedliche Haupt-Stoßrichtungen vor:   

» Nehmen sie die Arbeiten in ihre Referenzlisten auf, die sie tatsächlich am meisten beeinflusst haben? Das wäre der „normative“ Ansatz.

» Oder zitieren sie vielmehr diejenigen Arbeiten, von denen sie meinen, dass ihre potenziellen Leser sie am meisten schätzen. Das wäre der „sozialkonstruktivistische“ Ansatz.

Aus den Antworten von insgesamt mehreren tausend Autoren schlossen die vier US-Innovationsforscher zunächst einmal, dass die Autoren die Inhalte der zitierten Paper umso weniger gut kannten, je „berühmter“ der Artikel in der jeweiligen Szene war.

Auch andere auffällige Muster gingen in eine ähnliche, wenig normative Richtung. Dennoch fassten die Studienleiter am Ende zusammen, dass die Autoren beim Zitieren normative und sozialkonstruktivistische Elemente kombinieren.

Dies allerdings nicht ohne großes „Aber“. Denn die normative Komponente spiele lediglich dadurch mit, dass die Autoren keine Werke zitieren, die nach ihrer Meinung eine gewisse Mindestqualität unterschreiten. Über diesem Schwellenwert dagegen würde die Auswahl der Referenzen nahezu ausschließlich von sozialkonstruktivistischen Elementen bestimmt. Es wird also vornehmlich zitiert, was dem eigenen Paper aus strategischen Gründen nützt — und nicht primär das, was die eigene Forschung tatsächlich beeinflusst hat.

Entsprechend ziehen die vier Harvard-Forscher am Ende das folgende Fazit: „Was auch immer Zitierzahlen signalisieren, sie sind jedenfalls kein Maß für Qualität oder Einfluss einer Arbeit.“ Und an anderer Stelle: „Unsere Befunde zur Motivation von Zitierentscheidungen untergraben ernsthaft einen normativen Antrieb für die Praxis des Zitierens, was eine radikale Neubewertung der Rolle von Zitaten in evaluativem Kontext erforderlich macht.“

Ralf Neumann

Schlagworte: , , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...