(14.07.2023) Wissenschaftliche Institutionen brüsten sich mit Exzellenz. Dass es keine klare Definition für diesen Begriff gibt, stört sie nicht. Gleichzeitig sind ihre Peer-Review-Verfahren und Panel-Entscheidungen fehleranfällig. Hemmen hoher Wettbewerb und niedrige Erfolgsraten vielleicht sogar Innovationen?
Alle beanspruchen es für sich. Die Platzhirsche der weltweiten Universitätsrankings, genauso wie die auf den hinteren Plätzen; es ist der Goldstandard der universitären Welt und gilt für das Erforschen von Quantenphänomenen genauso wie für die Interpretation heiliger Schriften: die akademische Exzellenz. Sie scheint ein situationselastischer Begriff zu sein. In der Literatur wird sie als unscharf, mehrdeutig [1] und als rationalisierender Mythos [2] beschrieben. Wir wissen eigentlich nicht genau, was wir mit Exzellenz meinen – messen tun wir sie trotzdem. Die wissenschaftliche Gemeinschaft hat verschiedene Metriken vorgeschlagen, um Exzellenz zu quantifizieren; in den meisten Fällen handelt es sich um bibliometrische Indikatoren wie die Anzahl an Publikationen oder Zitaten.
Um wissenschaftliche Exzellenz in der wie auch immer definierten Form zu erreichen, scheint Geld eine notwendige, aber nicht hinreichende Bedingung zu sein. Wissenschaft ist teuer. Wissenschaftler sind zwar nicht für ihre hohen Gehälter bekannt, aber Wissenschaft braucht modernste Technologie, Labore, Büros und Verwaltung. Da die Arbeit von Wissenschaftlern keinen direkten Umsatz generiert, müssen die Gesellschaft und ihre Institutionen sie finanzieren. Wenn quantitative bibliometrische Indikatoren zur Messung wissenschaftlicher Exzellenz herangezogen werden, ist die Behauptung, wonach Geld eine notwendige Bedingung für akademische Exzellenz ist, gültig: Empirische Studien zeigen, dass Geld etwa zwei Drittel der Varianz der Veränderung des wissenschaftlichen Outputs, gemessen an hoch zitierten Publikationen, erklärt; nach dem Motto: „Geld rein – hoch zitierte Veröffentlichungen raus“ [3]. Ein 2011 erschienener Nature-Artikel kam zum Schluss, dass es ein Skandal ist, dass Milliarden für Forschung ausgegeben werden, ohne zu wissen, wie man das Geld am besten verteilt [3]. Sind wir mehr als zehn Jahre später schlauer? In diesem Artikel versuche ich die Frage zu beantworten, wie sich verschiedene Methoden der Verteilung auf die Exzellenz und auf andere Bereiche des wissenschaftlichen Betriebes auswirken.
Illustrationen: Tim Teebken - Bearbeitung Ulrich Sillmann
Die Wissenschaft ist ein komplexes System, das mit anderen komplexen Systemen in Wechselwirkung steht; nach Bruno Latour ist sie ein System, in dem Wissenschaftler und deren Institutionen „knit, weave and knot together into an overarching scientific fabric“. Die Verteilung von Forschungsgeldern ist ein kleiner Baustein dieses komplexen Systems. Vereinfacht kann zwischen zwei Arten der Verteilung unterschieden werden: Entweder konkurrieren Wissenschaftler aktiv um Forschungsgelder, zum Beispiel durch das Schreiben von Förderanträgen, oder sie erhalten Gelder ohne aktives Zutun, zum Beispiel durch direkte Finanzierung der Universitäten. Nennen wir ersteres System „kompetitiv“ und zweiteres „nicht-kompetitiv“. Fördersysteme können alle Schattierungen von Grau aufweisen: Das gesamte Fördergeld kann nicht-kompetitiv, kompetitiv oder basierend auf einer Kombination der beiden Systeme verteilt werden.
Die wissenschaftliche Literatur, die sich mit den Auswirkungen der verschiedenen Verteilungssysteme befasst, vereinfacht in ihren Analysen meist das komplexe System Wissenschaft; zentrale Merkmale komplexer Systeme wie Nichtlinearität, Multidimensionalität oder Selbstorganisation werden nicht berücksichtigt. Die Aussagekraft dieser Analysen sind daher meiner Einschätzung nach stark eingeschränkt. In einer Studie wurde anhand von 17 Ländern der Einfluss kompetitiver Forschungsförderung auf die Effizienz analysiert, die als Änderung der Fördergelder im Vergleich zur Änderung hoch zitierter Veröffentlichungen definiert wurde [4]. Die Daten zeigen eine negative Korrelation von 0,3 zwischen der Effizienz und dem Grad der kompetitiven Förderung. Die Autoren weisen darauf hin, dass die Ergebnisse aufgrund der geringen Datenmenge mit Vorsicht interpretiert werden sollten; ich würde sogar behaupten, dass die Korrelation zufällig sein könnte.
In einer anderen Studie wurden Daten aus acht Ländern analysiert, um die Auswirkung kompetitiver Forschungsförderung auf die Produktivität – gemessen an der Anzahl an Publikationen – zu erfassen [5]. Länder mit hohem Wettbewerb (wie zum Beispiel Großbritannien) sind effizient, konnten die Effizienz jedoch nicht verbessern; andere Länder mit weniger Wettbewerb (wie zum Beispiel Dänemark) sind entweder fast genauso effizient oder konnten (wie zum Beispiel Schweden) ihre Effizienz trotz relativ geringem Wettbewerb erhöhen. Eine Studie in Italien untersuchte die Auswirkungen nicht-kompetitiver Forschungsförderung auf die Produktivität [6]; für drei Jahre erhielten Forscher 14.000 Euro pro Jahr. Begleitend wurden die Auswirkungen auf die wissenschaftliche Produktivität anhand verschiedener bibliometrischer Indikatoren untersucht. Die Ergebnisse zeigen keine signifikanten Veränderungen. Wie die Autoren ausdrücklich feststellen, sollten die Ergebnisse jedoch mit Vorsicht betrachtet werden, da drei Jahre für die Beurteilung des Einflusses auf wissenschaftliche Veröffentlichungen zu kurz sind. Ich frage mich, welchen Effekt mit 14.000 Euro pro Jahr die Autoren erwartet haben? So viel kostet ein PhD-Student in Österreich pro Jahr für zehn Stunden pro Woche.
Es scheint, dass die Anreize zur Förderung der Exzellenz in der Wissenschaft komplexer sind, als es theoretische Behauptungen vermuten lassen. Die Befürworter der These, wonach Wettbewerb die Exzellenz positiv beeinflusst, haben immer noch keine empirischen Daten, auf deren Grundlage sie ein solides Fundament für ihr Argument aufbauen können. Im Moment sind wir im Blindflug unterwegs: Es werden Milliarden für Forschung ausgegeben, ohne zu wissen, wie das Geld am besten verteilt werden sollte. Aber wir sind noch nicht am Ziel unserer Betrachtungen angelangt – neben einer Input-Output-Analyse à la Geld rein, Publikationen raus gibt es noch weitere Faktoren, die wir meiner Meinung nach berücksichtigen sollten.
Normalerweise beginnt der Auswahlprozess in kompetitiven Systemen mit einem Peer-Review-Verfahren, in dem Gutachter Anträge basierend auf vordefinierten Kriterien bewerten. Manchmal werden diese Bewertungen als Grundlage für Förderentscheidungen verwendet. In anderen Fällen dienen sie dazu, die besten Anträge zu selektieren, die dann in einem weiteren Schritt von einem Panel bewertet werden [7]. Die Zuverlässigkeit von Auswahlprozessen wird hinsichtlich der Variabilität der Peer-Review- und Panel-Bewertungen analysiert. Einige Studien zeigen keine Übereinstimmung bei der Bewertung derselben Anträge durch verschiedene Gutachter; diese Autoren betrachten den Peer-Review-Prozess als willkürlich [8]; andere Studien zeigten eine sehr geringe [9] bis moderate Übereinstimmung [7]. Einige dieser Studien sind jedoch statistisch fehlerhaft, da sie nur angenommene Anträge analysieren. Um die Variabilität der Peer-Review-Bewertungen zu untersuchen, müssen wir alle Daten berücksichtigen: angenommene und abgelehnte Anträge. Dies ist besonders wichtig, da oftmals argumentiert wird, dass Peer-Review-Prozesse geeignet sind, um schlechte Anträge herauszufiltern – jedoch ungeeignet, um gute von ausgezeichneten zu unterscheiden [10].
Wie steht es um Panel-Entscheidungen? Im Jahr 1981 zeigten Stephen Cole und Kollegen erstmals, dass „getting a research grant depends to a significant extent on chance“ [11]. Eine aktuellere Studie analysierte 2.705 medizinische Forschungsanträge, die in Australien eingereicht wurden [12]. Jeder Antrag wurde von einem von 45 Panels mit jeweils 7 bis 13 Mitgliedern bewertet. Die Autoren schätzten die Variabilität der Bewertungen der Panel-Mitglieder und ermittelten, wie sich diese Variabilität auf die Variabilität der Förderentscheidungen auswirkt. Die Ergebnisse zeigten, dass etwa zwei Drittel der Anträge manchmal nicht gefördert wurden; nur neun Prozent wurden immer gefördert. Die Autoren kamen daher zu dem Schluss, dass es ein kostspieliger und nicht zuverlässiger Prozess ist. Dass der Zufall im Begutachtungsprozess eine Rolle spielt, wurde auch in qualitativen Studien bestätigt [13].
Ich möchte eine Hypothese hinzufügen: Ich glaube, dass die Zuverlässigkeit von Peer-Review-Prozessen und Panel-Entscheidungen in der angewandten Forschung noch geringer ist. In den Grundlagenwissenschaften kann meiner Einschätzung nach treffsicherer definiert werden, welche Personen für Reviews und Panels qualifiziert sind. In der angewandten Forschung muss beispielsweise ein Maschinenbauer beurteilen, ob probabilistische neuronale Netze für die Diagnose von Windkraftanlagen einen wissenschaftlichen Mehrwert bringen; neben der wissenschaftlichen Exzellenz müssen noch weitere Kriterien wie das Marktpotenzial oder der Beitrag zur Technologieführerschaft eines Landes beurteilt werden. Das führt auf Seiten der Antragsteller zu geschönten, mit Buzzwords geschmückten Forschungsanträgen – vor allem in Systemen ohne Ex-post-Evaluierung – und auf Seiten der Begutachtung zu einem Auswahlprozess, dessen Zuverlässigkeit sich kaum von einer klassischen Münzwurf-Entscheidung unterscheiden lässt.
Können wir etwas aus den Peer-Review-Verfahren von Journalen und Konferenzen lernen? Eine Metaanalyse zur Übereinstimmung bei Peer-Reviews zeigt, dass das durchschnittliche Maß an Übereinstimmung niedrig ist – weit unter dem, was in anderen Bereichen mit quantitativer Bewertung als angemessen betrachtet wird [14]. Es braucht Zeit, um Forschungsanträge zu schreiben – viel Zeit. Studien in verschiedenen Disziplinen zeigen, dass das Schreiben eines einzelnen Antrags etwa 25 bis 50 Tage in Anspruch nimmt. Bei durchschnittlichen Akzeptanzraten zwischen 10 und 25 Prozent sind das 100 bis 500 Personentage für ein einzelnes gefördertes Projekt [15,16]. Um ein Gefühl für die Größenordnung zu bekommen: Eine Studie zur Förderung medizinischer Forschung in Australien zeigt, dass Forscher im Jahr 2013 rund 550 Arbeitsjahre investierten, um Forschungsanträge zu schreiben; dies entspricht 41 Millionen Euro an Gehältern und 14 Prozent des gesamten Budgets für medizinische Forschung [16].
Abgesehen von der Maximierung quantitativer bibliometrischer Metriken: Was sind die besten Projekte? Solche Projekte, die potenziell den Stand der Technik revolutionieren, was äußerst schwierig und äußerst unwahrscheinlich ist? Oder solche Projekte, die mit großer Wahrscheinlichkeit ein für die Gesellschaft wichtiges Thema einen kleinen Schritt vorwärts bringen? Empirische Studien zeigen, dass hoher Wettbewerb und niedrige Erfolgsraten zu konservativem und kurzfristigem Denken führen, das Ergebnisse garantiert, anstatt radikale Innovationen zu fördern [17]. Dies steht im Einklang mit (i) Studien, die zeigen, dass die Beurteilungen der Gutachter auf aktuellen Wissensparadigmen beruhen, die unkonventionelle und potenziell radikale innovative Ideen benachteiligen und (ii) Studien, die zeigen, dass Gutachter vergangene Leistungen belohnen und damit potenziell innovative Ideen hemmen [18]. Ist die Wissenschaft zu risikoavers geworden?
Wie sieht es mit Geschlechterbias aus? Eine Metaanalyse fand keine signifikanten geschlechtsspezifischen Unterschiede [19].
Was wissen wir noch?
Mein Fazit: Wenn öffentliches Geld die wissenschaftliche Exzellenz maximieren soll, braucht es eine klare Definition von Exzellenz. Ich bin der Meinung, dass die Disziplinen diese Definitionen gemeinsam mit einem kritischen Gegenüber erarbeiten sollten. Vor allem in den angewandten Disziplinen macht man es sich oft gemütlich hinter einem äußerst dehnbaren Begriff der Exzellenz. Ich glaube, dass die Meta-Science-Community so ein kritisches Gegenüber wäre.
Abschließend noch eine interessante Beobachtung rund um die Relevanz bibliometrischer Metriken: Die Leichtgewichte im Wettbewerb um Hirsch-Indizes und Co. bestreiten meist reflexartig die Relevanz bibliometrischer Metriken. Ich schlage für die allermeisten Disziplinen eine österreichische Lösung vor: Bibliometrische Metriken sagen nicht alles aus – aber doch einiges. Ich glaube, dass große Teile der Wissenschaft in hohem Maße kompetitiv sind und es schon immer waren: Der Drang, Neues zu entdecken und dabei Erster zu sein, oder der Wettbewerb um begrenzte Festanstellungen. Vielleicht sind dies gewichtigere Anreize für das Streben nach Exzellenz als das zeit-, kosten- und energieintensive Schreiben von Forschungsanträgen?
Ich möchte diesen Essay mit der Diskussion zweier Holzwege abrunden: (i) Emotionale und ideologisch gefärbte Diskussionen sind schwierig. Wenn jedoch durch das „Unrecht haben“ die eigene Existenz auf dem Spiel steht, wird ein schwieriges oft zu einem unmöglichen Unterfangen. Fördereinrichtungen haben ein klares Interesse: Sie wollen nicht abgeschafft werden. Politische Entscheidungsträger werden nur ungern eingestehen, dass sie Steuergeld suboptimal eingesetzt haben. Als Wissenschaftler hoffe ich insgeheim, dass wir nicht unter Zeitdruck, im Kampf um begrenzte Mittel und in ständiger Unsicherheit über unsere Karriere und Zukunft zur Höchstform auflaufen. Ich weiß nicht, wie ein konstruktiver Diskurs angestoßen werden kann – ich bin skeptisch. (ii) „Die Leute sind eh schon skeptisch gegenüber der Wissenschaft; wir müssen vorsichtig sein mit kritischen Diskussionen über die Wissenschaft ...“. Manchmal vermisse ich eine gewisse Arroganz gegenüber Schwachsinn und deren Verbreitern. Ich bin der Meinung, dass wir keine Schönwetter-Wissenschaft brauchen, sondern mehr Skepsis und Zweifel; wir sollten uns jedoch nicht bei jedem Zwischenruf aus den hinteren Reihen aus der Fassung bringen lassen und sofort Gespräche auf Augenhöhe suchen.
[1] Moore, S., et al., 2017, Palgrave Communications, 3:16105
[2] Jong, L., et al., 2021, RoRI Working Paper No. 5
[3] Ioannidis, J.P.A., 2011, Nature, 477: 529–531
[4] Sandström, U. & Van den Besselaar, P., 2018, J Informetr, 12: 365-384
[5] Auranen, O. & Nieminen, M., 2010, Res Policy, 39: 822-834
[6] Maisano, A.M., et al., 2020, Scientometrics, 123: 1261–1280
[7] Erosheva, E.A., et al. 2021, J R Stat Soc, 184: 904–919
[8] Pier, E., et al. 2018, PNAS, 115:2952-2957
[9] Mayo, E.N., et al., 2006, J Clin Epidemiol, 59: 842-8
[10] Opthof, T. & Wilde, A.A.M., 2009, Neth Heart J, 17:145-54
[11] Cole, S., et al., 1981, Science, 214:881-6
[12] Graves, N., et al., 2011, BMJ, 343: d4797
[13] Roumbanis, L., 2017, Soc Stud Sci, 47: 95-116
[14] Bornmann, L., et al., 2010, PloS One, 5: e14331
[15] Schweiger, G., 2023, PloS One, 18: e0282320
[16] Herbert, D. L., et al., 2013 BMJ Open, 3: e002800
[17] Lane, N.L., et al., 2022, Manage Sci, 68: 4478-4495
[18] Bloch, C. & Sørensen, M.P., 2015, Sci. Public Policy, 42: 30-43
[19] Marsh, H.W., et al., 2009, Rev Educ Res, 79: 1290–1326
[20] Aagaard, K., et al., 2020, Quant Sc Stud, 1: 117–149
[21] Fortin, J.M. & Currie, D.J., 2013, PloS One, 8: e65263
[22] Tatsioni, A., et al., 2010 FASEB J, 24: 1335-9
[23] Herbert, D., et al., 2014, BMJ, 4: e004462
