(12.07.2016) Die Bibliometrie kann als eigenes Forschungsgebiet sehr breit für die Untersuchung Wissenschafts-relevanter Themen eingesetzt werden. Man muss es allerdings sachgemäß tun.

Q2 EVOLVE epromo von INTEGRA

Gewinnen Sie ein limitiertes, individuell bedrucktes EVOLVE-Starterpaket mit manuellen Pipetten von INTEGRA mehr

Die Bewertung der Qualität von wissenschaftlicher Leistung ist eng verknüpft mit der Etablierung der modernen Wissenschaft. Mitte des 17. Jahrhunderts begannen die ersten wissenschaftlichen Zeitschriften das Peer-Review-Verfahren einzusetzen, um die Qualität von eingereichten Beiträgen beurteilen zu lassen. Heutzutage wird das Peer-Review-Verfahren sehr breit verwendet; es werden damit nicht nur eingereichte Beiträge beurteilt, sondern auch Bewerber auf wissenschaftliche Stellen oder Stipendien, Anträge bei Forschungsförderern und vieles mehr. Seit etwa den 1990er Jahren wird diese qualitative Form der Bewertung von wissenschaftlicher Leistung in zunehmendem Maße ergänzt (und zuweilen auch ersetzt) durch eine quantitative Form der Bewertung. Es werden Daten, wie zum Beispiel Forschungspreise und eingeworbene Drittmittel, herangezogen, um Auskunft über die Forschungsstärke von einzelnen Wissenschaftlern, Forschungsgruppen, Institutionen und Ländern zu bekommen. Die Daten, die dabei am häufigsten verwendet werden, sind Publikations- und Zitationsdaten – im Rahmen der so genannten Bibliometrie. Während die Anzahl von Publikationen Auskunft über die Produktivität einer Einheit gibt, kann man Zitierungen dazu verwenden, um etwas über die Wirkung von Forschung (beziehungsweise Publikationen) sagen zu können.

Welche Pipettiertechnik passt am besten zur Anwendung?

Luftpolsterpipette oder Mehrfachdispenser – mit den Systemen von BRAND treffen Sie die richtige Wahl. mehr

Die Bibliometrie hat sich mittlerweile innerhalb der Informationswissenschaften und Wissenschaftssoziologie als eigenes Forschungsfeld etabliert: Dazu gehören eigene Lehrstühle, Zeitschriften (wie etwa das Journal of Informetrics oder Scientometrics), Konferenzen (wie etwa die regelmäßigen Konferenzen der International Society for Informetrics and Scientometrics) und Preise (wie beispielsweise die Derek de Solla Price Memorial Medaille). Bibliometriker beschäftigen sich in ihrer Forschung mit der Entwicklung neuer Indikatoren, den Vor- und Nachteilen von bestimmten Datenbanken (wie beispielsweise Web of Science, WoS, von Thomson Reuters, Scopus von Elsevier oder Google Scholar) für die bibliometrische Analyse, der Erstellung von Länderstudien, der Visualisierung von bibliometrischen Daten und vielem mehr. Viele Wissenschaftler, die bei ihrer Arbeit mit der Bibliometrie in Kontakt kommen (zumeist in den Naturwissenschaften), wissen jedoch häufig nicht, dass es hier ausgewiesene Experten gibt. Bibliometriker werden vielmehr häufig nicht als Spezialisten angesehen, die eine bestimmte Methode besonders gut beherrschen, sondern als Befürworter einer Methode, die sie unkritisch anwenden.

Hätten wir im Gesundheitswesen eine ähnliche Situation wie bei der Forschungsevaluation, würden Patienten nicht auf die Dienste von Fachärzten zurückgreifen, weil sie ihnen vorwerfen, dass sie ihre Methoden unkritisch und nicht zum Wohle des Patienten anwenden würden. In Zeiten von leeren Sozialkassen mag dieser Vorwurf mehr und mehr gerechtfertigt zu sein; der ursprüngliche Sinn eines Arztbesuchs bestand aber darin, eine fachlich abgesicherte Einschätzung des eigenen Gesundheitszustands und einen kompetenten Einsatz von geeigneten Methoden für die Genesung zu bekommen. In ähnlicher Weise sollte auch im Bereich der Forschungsevaluation ein Experte aufgesucht werden, der in einem gegebenen Kontext eine fachlich abgesicherte Einschätzung über den Einsatz von bibliometrischen Methoden geben kann. Nur ein Experte kann grundsätzlich beurteilen, ob im gegebenen Kontext eine bibliometrische Studie überhaupt durchgeführt werden kann und – falls es möglich sein sollte – welche Datenbanken, Indikatoren und statistischen Auswertungsverfahren eingesetzt werden können. In Europa gibt es einige Institute, die entsprechende bibliometrische Dienstleistungen anbieten (wie etwa das Centre for Science and Technology Studies, CWTS, in Leiden).

Da die Bibliometrie mittlerweile zu einem zentralen Bestandteil in der Forschungsevaluation geworden ist, werden auch Softwareprodukte angeboten, die den Bedarf an bibliometrischen Indikatoren decken, den es vor allem für die Bewertung von Forschungseinrichtungen und Ländern gibt. Die wichtigsten Produkte in diesem Bereich sind InCites (Thomson Reuters) und SciVal (Elsevier). Beide Produkte bieten eine Fülle von Indikatoren an, die über die Produktivität und die Wirkung von Publikationen einer Einrichtung oder eines Landes Auskunft geben. Allerdings können auch diese Produkte dem Nutzer nicht die Auswahl unter den angebotenen Indikatoren abnehmen und Erklärungen für die produzierten Ergebnisse liefern: Der Nutzer muss entscheiden, welche Indikatoren im gegebenen Kontext eingesetzt und wie die Ergebnisse interpretiert werden sollen. Deshalb können diese Produkte auch nicht den professionellen Bibliometriker als Experten für solche Fragen ersetzen, sondern machen ihn nur noch wichtiger. Durch die leichte Verfügbarkeit der Indikatoren (die zuvor von Bibliometrikern für eine bestimmte Evaluation zusammenstellt wurden) steigt das Risiko des unsachgemäßen Einsatzes.

Zwei gute Beispiele für den unsachgemäßen Gebrauch von bibliometrischen Indikatoren sind der Journal Impact Factor (JIF) und der h-Index. Während sich beide Indikatoren unter „Bibliometrie-Amateuren“ einer großen Beliebtheit erfreuen, spielen sie in der professionell betriebenen Bibliometrie kaum eine Rolle. Die biblio­metrische Forschung hat sich zwar mit beiden sehr intensiv auseinandergesetzt, bei der konkreten Anwendung der Bibliometrie in der Forschungsevaluation werden jedoch andere Indikatoren vorgezogen. Amateure setzen beide Indikatoren gerne ein, um die Forschungsleistungen einer Person zu messen. Vor allem beim JIF erstaunt diese Verwendung, da er die durchschnittliche Wirkung aller Publikationen angibt, die in einer Zeitschrift erschienen sind – er ist daher ein Indikator, der etwas über eine Zeitschrift aussagen kann. Warum sollten in eine Studie, die sich mit den Forschungsleistungen einer Person beschäftigt, alle Publikationen mit einbezogen werden, die von anderen Personen in der gleichen Zeitschrift publiziert wurden? Das macht zunächst einmal wenig Sinn. Im Gegensatz zum JIF ist der h-Index allerdings tatsächlich ein Indikator, der für den Einsatz bei einzelnen Wissenschaftlern vorgeschlagen wurde.

Der JIF wird häufig als Indikator eingesetzt, der etwas über die Qualität von einzelnen Publikationen aussagen kann. Dabei werden aber zwei Fehler gemacht: (1) Zum einen können Zitierungen nicht mit Qualität gleichgesetzt werden. Zitierungen messen einen Teilaspekt von Qualität, und zwar Wirkung; andere wichtige Teilaspekte von Qualität sind Wichtigkeit und Richtigkeit, die jedoch mit Zitierungen kaum gemessen werden können. Dieser Fehler wird nicht nur im Zusammenhang mit dem JIF, sondern mit allen Zitations-basierten Indikatoren gemacht. (2) Zitierungen verteilen sich schief über die Beiträge in einer Zeitschrift: Wenige hochzitierte Publikationen stehen vielen kaum zitierten Publikationen gegenüber. Die durchschnittliche Anzahl der Zitierungen, die der JIF für eine Zeitschrift angibt, kann demnach kaum die Wirkung der meisten Publikationen in der Zeitschrift widerspiegeln (sondern überschätzt oder unterschätzt sie).

Ein wichtiger Punkt, der häufig am h-Index in der Bibliometrie kritisiert worden ist, betrifft die Verknüpfung von Produktivität (Anzahl Publikationen) und Wirkung (Anzahl Zitate) in einem Indikator. Einerseits wird grundsätzlich in Frage gestellt, dass beide Zahlen miteinander verknüpft werden – man könnte auch zwei Zahlen statt einer in der Forschungsevaluation verwenden. Andererseits wird die Art der Verknüpfung beim h-Index kritisiert. Es existiert kein vernünftiger Grund dafür, dass der h-Index nur diejenigen Publikationen einer Person zählt, die zumindest h Zitierungen haben. Es könnten auch h/2 oder h*h Zitierungen sein. Das Kriterium, ab wann eine Publikation als zählbar für den Index gilt, ist demnach willkürlich gewählt und könnte auch ganz anders lauten.

Thomson Reuters verwendet beispielsweise für die Auswahl der Wissenschaftler in einem Fach, die die meisten hochzitierten Publikationen veröffentlicht haben, die Quadratwurzel der Population: In der Datenbank, die unter www.highlycited.com erreichbar ist, werden diejenigen Wissenschaftler aufgelistet, deren Rang gleich oder größer der Quadratwurzel der Population (also aller Wissenschaftler in einem Fach mit mindestens einer hochzitierten Publikation) ist. Der h-Index könnte also genauso gut auf der Quadratwurzel beruhen.

Sowohl der JIF als auch der h-Index sind von einem Problem betroffen, das die amateurhaft betriebene Bibliometrie von der professionell betriebenen Bibliometrie unterscheidet. In der professionell betriebenen Bibliometrie werden in der Regel Indikatoren eingesetzt, die im Hinblick auf den Zeitpunkt einer Publikation und auf deren fachlichen Kontext normiert sind. Beim JIF und h-Index handelt es sich jedoch nicht um normierte Indikatoren, weshalb dem Einsatz beider Indikatoren sehr enge Grenzen gesetzt sind. (1) Die Anzahl der Zitierungen für eine Publikation steigt mit der Zeit an. Um die Wirkung von Publikationen aus unterschiedlichen Jahren miteinander vergleichen zu können, ist deshalb eine Normierung auf das Publikationsjahr notwendig. (2) Eine große Anzahl an biblio­metrischen Studien konnte zeigen, dass in den Fächern eine unterschiedliche Anzahl an Zitierungen zu erwarten ist. So kann man beispielsweise in der Biologie deutlich mehr Zitierungen als in der Mathematik erwarten. Auch innerhalb eines Faches sind zwischen den einzelnen Gebieten deutliche Unterschiede bei den mittleren Zitierungen zu beobachten. Bibliometriker normieren deshalb, wenn sie in eine Studie Publikationen aus unterschiedlichen Fächern und Jahren einbeziehen (beispielsweise bei einem Vergleich von Universitäten), die Zitierungen der Publikationen im Hinblick auf das Publikationsjahr und das Fach, in dem sie publiziert wurden.

Bei den normierten Indikatoren kann man grob zwischen den „Cited-Side“- und den „Citing-Side“-Indikatoren unterscheiden. Der „Mean-Normalized Citation Score“ (MNCS) ist der wichtigste „Cited-Side“-Indikator. Um die Wirkung einer Publikation im Hinblick auf das Fach und das Publikationsjahr zu normieren, werden die Zitierungen der betreffenden Publikation durch die mittlere Anzahl der Zitierungen von denjenigen Publikationen geteilt, die im gleichen Publikationsjahr und im gleichen Fach veröffentlicht wurden (dem so genannten Referenzset). Dabei ergeben sich Werte über 1 (die Publikation hat in diesem Fall eine überdurchschnittliche Wirkung) oder unter 1. Um die Publikationen einzelnen Fächern (beziehungsweise Referenzsets) zuzuordnen, werden (1) die publizierenden Zeitschriften fachlich gruppiert, (2) Publikationen von Experten für Fachdatenbanken (wie zum Beispiel Chemical Abstracts) klassifiziert, oder (3) Algorithmen verwendet, die Publikationen mit Hilfe von Zitationsdaten klassifizieren. Im „Leiden Ranking“ (www.leidenranking.com), das zu einer größeren Anzahl von Universitäten verschiedene Indikatorwerte anbietet, findet sich beispielsweise der MNCS für jede Universität.

Da der MNCS auf der Basis von mittleren Zitierhäufigkeiten berechnet wird (und der arithmetische Mittelwert nicht bei Daten verwendet werden sollte, die schief verteilt sind), sind in der Biblio­metrie Zitationsperzentile als weitere Möglichkeit vorgeschlagen worden, die Wirkung von Publikationen auf der „Cited-Side“ zu normieren. Perzentile geben zu jeder Publikation in einem Referenzset den Anteil von Publikationen an, die genauso häufig zitiert wurden oder weniger Zitierungen erhalten haben. Da Zitationsperzentile auf das Publikationsjahr und das Fach normiert sind, kann damit die Wirkung von Publikationen aus unterschiedlichen Fächern und Publikationsjahren miteinander verglichen werden. Zu den Perzentil-basierten Indikatoren gehören auch die Indikatoren, die die Anzahl oder den Anteil derjenigen Publikationen (etwa eines Wissenschaftlers) angeben, die zu den x Prozent meist-zitierten Publikationen in einem Fach beziehungsweise Publikationsjahr gehören. Diese Indikatoren werden beispielsweise im kürzlich veröffentlichten Leiden Manifest zur Bibliometrie (Hicks et al., Nature 520: 429-31) als die Indikatoren bezeichnet, die besonders robuste Ergebnisse liefern. In den meisten Fällen beziehen sich diese Indikatoren auf die fünfzig, zehn und ein Prozent meist-zitierten Publikationen.

Zur Gruppe der „Cited-Side“-Indikatoren gehört auch ein Indikator, der kürzlich von Autoren vorgeschlagen wurde, die bei den National Institutes of Health (NIH) arbeiten. Die so genannte Relative Citation Ratio (RCR) wurde vor allem vor dem Hintergrund entwickelt, eine bessere Alternative für die Messung der Wirkung von Publikationen in der Biomedizin zu haben als den JIF. Um die Referenzsets für die Berechnung des RCR zusammenzustellen, wird – und das ist das neuartige an diesem Indikator – das bibliometrische Verfahren der Ko-Zitationsanalyse verwendet. Es werden alle Publikationen in ein Referenzset einbezogen, die gemeinsam mit der betreffenden Publikation in anderen Veröffentlichungen zitiert wurden. Auch wenn der Ansatz, auf diese Art und Weise das Referenzset zu bilden, interessant ist, konnte Ludo Waltman vom CWTS zeigen, dass eine Zitierung der betreffenden Publikation aus ganz bestimmten Fächern zu einer Verringerung des RCR führen kann. Damit verletzt der Indikator ein grundlegendes Prinzip in der bibliometrischen Indikatorik: Wenn eine Publikation weitere Zitierungen erhält, sollte sich die zusätzliche Wirkung in den normierten Indikatoren entsprechend widerspiegeln. Ich konnte gemeinsam mit Robin Haunschild vom Max Planck Institut für Festkörperforschung (siehe Essay S. 40-43) in einer empirischen Studie zeigen, dass der RCR-Indikator sehr hoch mit etablierten normierten Indikatoren in der Bibliometrie korreliert. Auf der Basis dieses Ergebnisses könnte man deshalb argumentieren, dass seine Entwicklung nicht unbedingt notwendig gewesen wäre.

Eine interessante Gruppe von Indikatoren bilden in der Bibliometrie die „Citing-Side“-Indikatoren. Der Vorteil dieser Indikatoren besteht darin, dass sie gänzlich auf ein Referenzset verzichten, um Zitierungen zu normieren. Damit entfällt auch die Notwendigkeit, wie sie bei der „Cited-Side“-Normierung gegeben ist, sich auf ein bestimmtes Verfahren für die Zusammenstellung der Referenzsets festzulegen. Die „Citing-Side“-Normierung beruht auf der Überlegung, dass eine Publikation Zitierungen aus unterschiedlichen Fächern erhält und deshalb die Zitierungen selber normiert werden sollten. Bei den verschiedenen Verfahren der „Citing-Side“-Normierung wird jede einzelne Zitierung, die eine Publikation erhalten hat, mit der Anzahl der Referenzen gewichtet, die die zitierende Publikation enthält. Alternativ zu diesem Vorgehen wird nicht die Anzahl der Referenzen in der zitierenden Publikation, sondern die mittlere Anzahl der Referenzen derjenigen Publikationen verwendet, die gemeinsam mit der zitierenden Publikation in einer Zeitschrift veröffentlicht wurden. Die bislang vorgelegten Studien, die einen Vergleich von „Cited-Side“- und „Citing-Side“-Indikatoren vorgenommen haben, konnten nicht klären, welche Indikatoren in der Forschungsevaluation präferiert werden sollten.

Von den Kritikern der Bibliometrie wird häufig übersehen, dass die Bibliometrie nicht nur in einem evaluativen Kontext eingesetzt werden kann. Bibliometrische Daten sind generell sehr gut dafür geeignet, um wissenschaftliche Aktivitäten oder Phänomene zu untersuchen. Dafür gibt es zwei Gründe: (1) Da Wissenschaftler nahezu aller Fächer ihre Forschungsergebnisse in Publikationen präsentieren, und es zum guten Stil beim Publikationsprozess gehört, alle anderen Arbeiten mit Einfluss auf die eigene Arbeit zu zitieren, sind bibliometrische Daten eng mit dem Forschungsprozess in diesen Fächern verbunden. (2) Darüber hinaus liegen große Datensätze mit bibliometrischen Daten in Literaturdatenbanken für die Auswertung vor. Für die Erstellung einer bibliometrischen Studie müssen demnach die Daten in der Regel nicht aufwendig erzeugt werden.

Unter www.excellencemapping.net und www.excellence-networks.net sind beispielsweise zwei Internet-basierte Applikationen zu finden, für die umfangreiche bibliometrische Daten ausgewertet und visualisiert wurden. Beide Applikationen bewegen sich zwar in einem evaluativen Kontext, sie erlauben aber einen explorativen Blick über die Forschungsstärke und Kooperationen von Forschungseinrichtungen weltweit. Das „Excellence Mapping“ zeigt anhand von zwei Indikatoren, die auf einer Landkarte dargestellt werden, wie sich Forschungsexzellenz in verschiedenen Fächern weltweit verteilt. Der Nutzer erhält einen globalen Überblick über die Verteilung von Exzellenz. Die „Excellence Networks“ zeigen einerseits, welche Einrichtungen insgesamt sehr erfolgreich mit anderen Einrichtungen kooperieren. Darüber hinaus kann sich der Nutzer die Kooperationspartner von einzelnen Einrichtungen visualisieren lassen. Gerade bei den „Excellence Networks“ wurde großer Wert auf eine ästhetisch ansprechende Visualisierung von bibliometrischen Daten gelegt.

Ein anderes Beispiel für die Anwendung bibliometrischer Daten ist die so genannte „Reference Publication Year Spectroscopy“ (RPYS). Dabei handelt es sich um ein Verfahren, mit dem die historischen Wurzeln von Forschungsgebieten oder einzelnen Wissenschaftlern untersucht werden können. Das Programm, mit dem eine RPYS durchgeführt werden kann, samt Beispielen für bereits durchgeführte RPYS sind unter www.crexplorer.net zu finden. Wichtige historische Arbeiten werden häufiger als andere Arbeiten in den Publikationen eines Forschungsgebiets oder eines Wissenschaftlers zitiert. Werden nun die Häufigkeiten der zitierten Publikationen bestimmt und auf einer Zeitachse mit Hilfe ihrer Publikationsjahre visualisiert, zeigen sich die wichtigen historischen Arbeiten als Peaks und können entsprechend identifiziert und interpretiert werden. Die RPYS kann jedoch nicht nur für die Identifizierung von wichtigen historischen Arbeiten eingesetzt werden. Mit dem Verfahren wurde auch bereits der Ursprung einer Legende in der Wissenschaft – die Bedeutung der Darwin-Finken – untersucht (http://arxiv.org/abs/1311.5665).

Wie diese Beispiele zeigen, kann die Bibliometrie sehr breit für die Untersuchung von Wissenschafts-relevanten Themen eingesetzt werden. Bei jedem Einsatz der Bibliometrie ist es jedoch wichtig zu berücksichtigen, dass sie in einem professionellen Rahmen geschieht. Die Bibliometrie ist mit vielen Fallstricken versehen, über die nur die Experten informiert sind. Besonders gefährlich sind in diesem Zusammenhang Softwareprodukte, die eine Fülle von Indikatoren zur Produktivität und Wirkung von Publikationen anbieten. Diese Angebote können dazu verleiten, die Bibliometrie nicht sachgemäß einzusetzen. Neben der unsachgemäßen Auswahl von Indikatoren besteht beispielsweise auch die Gefahr, dass die Bibliometrie bei zu kleinen Publikationssets eingesetzt wird. Eine Studie, die auf weniger als 30 bis 50 Publikationen beruht, kann kaum zu zuverlässigen und validen Ergebnissen führen. Gerade bei Auswertungen auf der Ebene von einzelnen Wissenschaftlern liegen häufig (zu) kleine Publikationssets vor.

Lutz Bornmann arbeitet als Wissenschaftssoziologe in der Münchner Generalverwaltung der Max-Planck-Gesellschaft (MPG). Im Stabsreferat für Wissenschafts- und Innovationsforschung sowie Forschungsanalyse ist er dort für Fragen der Forschungsevaluation und Bibliometrie zuständig.