Eigentlich rief Frau Professor Eck ja aus einem ganz anderen Grund an – aber irgendwie waren wir plötzlich auf das Thema Zitierungen gekommen. Und ab einem gewissen Moment lief das Gespräch ungefähr so:
LJ: Frau Professor Eck, nehmen Sie’s mir nicht übel, aber irgendwie scheint Sie das Thema Paper-Zitierungen amüsieren? Könnte da was dran sein?
Eck: Ja, ja – das haben Sie schon richtig wahrgenommen.
Okay. Aber Zitierungen sind doch ein ernstes Geschäft im heutigen Wissenschaftsbetrieb. Was genau amüsiert sie denn daran?
Eck: Na ja, ich habe mich gerade daran erinnert, dass ich mir vor einigen Monaten tatsächlich mal die Mühe gemacht habe, mir sämtliche Paper etwas genauer anzuschauen, die einen gewissen Artikel von mir zitiert hatten.
Was heißt „genauer anschauen“?
Eck: Das heißt, ich habe kritisch nachgeprüft, in welchem Zusammenhang jede einzelne Publikation mein Paper zitiert. Ob die Zitierung inhaltlich passt oder nicht; ob es gerechtfertigt ist, mich statt anderer an der jeweiligen Stelle zu zitieren; ob mein Paper die entsprechende Aussage der Autoren tatsächlich stützt,… Solche Sachen eben.
Interessant. Und was kam raus, das sie jetzt so offensichtlich amüsiert?
Eck: Mein Artikel wurde laut Google Scholar 32-mal zitiert. Ich selbst sehe es jedoch in nur sechzig Prozent der Fälle als tatsächlich passend und gerechtfertigt an, dass und wie ich in dem jeweiligen Paper zitiert wurde.
Und die anderen vierzig Prozent?
Eck: Na, da hat das Zitat eben nicht gestimmt. In den schlimmsten Fällen hatten die Autoren meinen Artikel gar nicht verstanden – sodass ich selbst auch gar nicht kapierte, warum die mich zitiert hatten. In anderen Fällen hat mein Artikel thematisch zwar grundsätzlich gepasst, wurde aber ausgerechnet an einer Stelle und zu einem Aspekt zitiert, zu dem er tatsächlich gar nichts beigetragen hatte. In weiteren Fällen wurde er für etwas zitiert, was andere Arbeiten bereits vor uns herausgefunden hatten – und die ich entsprechend in meinem Artikel auch als Referenz angegeben hatte. Da hätten die Autoren also die Artikel aus meiner Referenzliste und nicht mich zitieren müssen. Und drei Paper hatten meinen Artikel zufällig als beispielhafte Referenz für etwas ausgewählt, wofür sie auch gut zwei Dutzend andere Artikel hätten nehmen können.
Puh, in der Größenordnung hätte ich das jetzt nicht unbedingt erwartet. Was sagt Ihnen das jetzt allgemein?
Eck: Ich denke, dass diese Stichprobe kein Einzelfall ist. Und wenn es so ist, macht es einen natürlich skeptisch, ob Zitierzahlen am Ende tatsächlich bedeutsame Indikatoren des Wertes von Forschungsleistungen sind. In meinem obigen Fall würde der „Wert“ meines Artikels auf diese Weise erstmal überschätzt. Auf der anderen Seite gibt es aber sicher auch einige Paper, die meinen Artikel hätten zitieren müssen – dies aber nicht getan haben.
Das hieße doch aber, dass Zitierzahlen als Gradmesser für Forschungsqualität womöglich viel wachsweicher sind als die meisten denken. Und das wahrscheinlich mit Falsch-Ausschlägen in beide Richtungen.
Eck: Genau.
Und das amüsiert sie?
Eck: Ja. Weil ich mich irgendwie bestätigt fühle. Ich habe schon früher gesagt, man soll diese ganze aufgeblasene Bibliometrie nicht so wichtig nehmen. Tut man das nämlich, dann werden diese ganzen Zahlen irgendwann mal zum Selbstzweck – zum primären Ziel, nach dem Du Deine Forschung ausrichtest. Du strebst nicht mehr nach Erkenntnis per se, sondern vor allem nach hohen Zahlenwerten. Und mit diesem Sog bereitet die Bibliometrie, so nützlich sie bisweilen auch sein mag, der Forschung letztlich einen gefährlichen Bärendienst.
Ralf Neumann
Zeichnung: Rafael Florés
(Die einzelnen Geschichten dieser Kolumne sind uns in aller Regel nicht genau so, aber doch sehr ähnlich referiert worden.)