(08.02.2021) Die Begutachtung durch unabhängige Fachspezialisten (Peer Review) ist der anerkannte Goldstandard zur Sicherung wissenschaftlicher Qualität. Das System stößt jedoch verstärkt an seine Grenzen. Um Alternativen zu prüfen, führte die VolkswagenStiftung bereits vor vier Jahren ein Zufallselement in ihre Förderinitiative „Experiment!“ ein: Das Los entscheidet über die Hälfte der Bewilligungen. Welche Erfahrungen gibt es inzwischen mit der Förder-Lotterie? Und wie experimentieren andere Förderer mit dem Zufall?
Gerade in der Wissenschaft besteht die Gefahr, jeden und alles in immer kürzer werdenden Abständen und möglichst auf Basis quantitativer Indikatoren zu evaluieren [siehe hierzu auch die „Einsichten eines Wissenschaftsnarren“]. Häufig soll so eine gewisse Transparenz für Entscheidungen in wettbewerblichen Verfahren hergestellt werden. Manuskripte oder Projektanträge benötigen ein Qualitätssiegel, um Publikation oder Zuteilung von Steuergeldern zu rechtfertigen.
Forschungseinrichtungen wie diejenigen der Helmholtz- oder Leibniz-Gemeinschaft werden in mehrjährigen Abständen durch ganze Heerscharen von Gutachtern evaluiert. Dabei geht es durchaus auch um Existenzielles – wie etwa die Höhe der Grundfinanzierung sowie den Fortbestand oder die Schließung ganzer Abteilungen und Institute. Im Rahmen der Exzellenzstrategie waren rund 600 Gutachter in die Begutachtung der Exzellenz-Cluster und knapp 200 Gutachter in die Auswahl der Exzellenzunis involviert. Zugang zu Forschungsinfrastruktur, Akkreditierung von Studiengängen, Vergabe von Stipendien und Preisen oder Besetzung von Professuren in Berufungsverfahren sind nur einige wenige weitere Beispiele, in denen Peer Review eingesetzt wird. Das kostet nicht nur die zumeist ehrenamtlich tätigen Gutachter wertvolle Zeit, sondern auch die Wissenschaftler, die sich den Begutachtungen stellen müssen.
Mögliche Qualitätseinbußen für das Wissenschaftssystem durch ein Übermaß an Begutachtungen thematisierte auch der Wissenschaftsrat in einem Positionspapier von 2017 (Drucksache 6680-17). Darin empfahl er schließlich, alle Begutachtungsverfahren regelmäßig zu überprüfen, auf Wichtiges zu beschränken und hierbei auch alternative Verfahren wie Zufallsauswahl oder Sondervoten (Wild Cards) zu erproben.
Wer in der Vergangenheit das Zitat aus Schillers Wallenstein zu sehr beherzigte und bei Anträgen zu visionär auftrat, ging wegen eines Peer Reviews, der allzu gerne den wissenschaftlichen Mainstream bevorzugt, oftmals leider leer aus. Doch die Zeiten haben sich geändert! Der Wissenszuwachs aus ergebnisoffener Forschung wird zunehmend als zu inkrementell angesehen, um signifikante Beiträge zu Herausforderungen wie Klimawandel oder zum wirtschaftlichen Wohlstand leisten zu können. Da erscheint es naheliegend, neue Instrumente zur Umsetzung risikoreicher, rasch verwertbarer Ideen mit vermeintlich hohem wirtschaftlichen Nutzen einzuführen. Zu deren Legitimierung und Umsetzung wurden sogar neue Förderstrukturen wie der Europäische Innovationsrat (EIC) oder die Deutsche Agentur für Sprunginnovationen geschaffen.
Mehrere Förderorganisationen sind ebenfalls auf diesen Zug aufgesprungen und haben ihr Portfolio um Maßnahmen ergänzt, die die Umsetzung riskanter Ideen und origineller Ansätze unterstützen sollen. So rief der Schweizerische Nationalfonds (SNF) im Jahr 2019 das Programm „Spark“ ins Leben. Insbesondere Postdocs werden hier mit maximal 93.000 Euro über eine Laufzeit von bis zu einem Jahr gefördert. Im Rahmen der ersten „Spark“-Ausschreibung gingen über 750 Gesuche ein, von denen 284 den Zuschlag erhielten – was immerhin 38 Prozent ausmacht. Hierfür langte der SNF tief in die Tasche und spendierte mit 25 Millionen Euro knapp das Dreifache der ursprünglich vorgesehenen Fördermittel.
Dagegen ist das „1000-Ideen-Programm“ des Österreichischen Wissenschaftsfonds (FWF) mit einem Volumen von insgesamt 3,4 Millionen Euro deutlich schlanker ausgestattet. Vergleichsweise selektiv erfolgt hier die Auswahl der zu fördernden Anträge: In der ersten Ausschreibung kamen 24 von dreihundert eingereichten Projektideen zum Zug und erhielten jeweils bis zu 150.000 Euro über maximal 24 Monate.
Die VolkswagenStiftung mit ihrer Förderinitiative „Experiment!“ sieht sich deutschlandweit als Vorreiter in der Unterstützung riskanter Forschungsideen. „Experiment!“ wurde bereits Ende 2012 eingeführt, um Wissenschaftlern die Möglichkeit zu geben, „ausgesprochen gewagte Forschungsideen zu explorieren, die etabliertes Wissen grundlegend herausfordern, unkonventionelle Hypothesen, Methodik oder Technologien etablieren wollen oder ganz neue Forschungsrichtungen in den Blick nehmen“. Im Fokus von „Experiment!“ stehen Projektideen aus den Natur-, Ingenieur- und Lebenswissenschaften – sowie den Verhaltenswissenschaften, sofern sie Methoden der drei zuvor genannten Disziplinen anwenden.
„Experiment!“ ist promovierten Forschern vorbehalten und versteht sich als Anschubfinanzierung zur ersten Prüfung der Umsetzbarkeit einer Idee. Gefördert wird mit maximal 120.000 Euro, die flexibel für Personal-, Sach- und Reisemittel über bis zu 18 Monate eingesetzt werden können. Die Förderung eines Folgeprojekts durch die Stiftung ist prinzipiell möglich, wurde aber laut Stiftungsdatenbank bisher nur sehr selten realisiert.
Überraschend für die VolkswagenStiftung war die hohe Resonanz auf die erste „Experiment!“-Ausschreibung. Hier gingen 704 Anträge ein, von denen 13 Anträge, also knapp zwei Prozent, erfolgreich waren. Aktuell werden jährlich zwischen 30 bis 40 Anträge mit einem jährlichen Programmvolumen von 3,9 Millionen Euro gefördert. 2020 erreichte die Zahl der eingegangenen Anträge mit über 800 einen neuen Höchststand. Wurden zunächst nahezu ausschließlich Ideen von etablierten Professoren gefördert, so hat sich deren Anteil zwischenzeitlich auf knapp ein Drittel reduziert. Auffällig ist der mit 21 Prozent recht geringe Anteil erfolgreicher Antragstellerinnen.
Gerade mal knapp drei Din-A4-Seiten stehen bei „Experiment!“ zur Verfügung, um Fragestellung mit Lösungsansatz, Herausforderungen sowie mögliche Ergebnisse und deren Impact darzustellen. Zwei Abbildungen können zur Veranschaulichung angehängt werden. Mit einer zusätzlichen Selbsteinschätzung von bis zu 300 Worten muss sich der Antragsteller kritisch mit seinem Projekt auseinandersetzen: Warum passt die Idee in die Förderlinie, und warum sollte das Projekt gefördert werden? Vorgabe ist dabei, dass die Gutachter aus dem Antrag keine Rückschlüsse auf die Identität des Antragstellers ziehen können – und so die Bewertung der Idee und nicht der Person im Mittelpunkt steht. Lebenslauf, Finanzplan und gegebenenfalls eine Stellungnahme zum Beschäftigungsverhältnis des Antragstellers durch die deutsche Gastinstitution werden mit eingereicht, aber nicht an die Gutachterjury weitergeleitet. Teams aus Antragstellern sind möglich und Kooperationen mit ausländischen Wissenschaftlern erwünscht. Spätestens fünf Monate nach Eingabefrist fällt die Entscheidung. Die Idee ist nach Ablehnung „verbraucht“ und kann nicht nochmals bei „Experiment!“ eingereicht werden. Gründe für eine Ablehnung werden nicht mitgeteilt.
Bereits mit der Etablierung von „Experiment!“ 2012 wurde auf das Einholen individueller Fachgutachten verzichtet. Ein mit bis zu zehn Wissenschaftlern besetztes internationales Gutachtergremium entscheidet im Rahmen einer Jurysitzung über die Förderung. Seit 2017 wird bei der Auswahl der Anträge ein sogenanntes teil-randomisiertes Verfahren durchgeführt. Dabei werden stiftungsintern zunächst zwischen 120 und 140 Anträge auf Basis der Förderkriterien von „Experiment!“ ausgewählt. Daraus wählt die Jury 80 bis 100 förderwürdige Anträge nach streng wissenschaftlichen Kriterien aus, bevor sie sich anschließend auf die 15 bis 20 Anträge einigt, die direkt gefördert werden.
Hervorzuheben ist dabei das Sondervotum, das jedes Jurymitglied als Förder-Joker oder Wild Card einmal pro Auswahlrunde nutzen kann, um einen Antrag auch gegen den Widerstand seiner Kollegen durchzudrücken. Dieser wurde nach Aussagen der VolkswagenStiftung bisher aber nur sehr selten genutzt. Alle 80 bis 100 förderwürdigen Anträge wandern dann in einen Lostopf, aus dem nochmals so viele Anträge gezogen werden, wie die Jury bereits zuvor direkt ausgewählt hat. Der Antragsteller erfährt dabei nicht, ob sein Antrag aufgrund des Jokers, des Losglücks oder seiner überzeugenden Qualität erfolgreich war.
Doch wie beurteilen Antragsteller die Initiative „Experiment!“ der VolkswagenStiftung? Die auf Evaluierungen spezialisierte EVACONSULT GbR und die Joanneum Research Forschungsgesellschaft wurden 2018 durch die Stiftung beauftragt, die Wirkung sowie das Antrags- und Auswahlverfahren von „Experiment!“ in den nächsten Jahren genauer unter die Lupe zu nehmen. Im Mittelpunkt steht dabei die Befragung der Geförderten mittels Online-Fragebogen sowie teil-standardisierten Interviews zum Start und zwei Jahre nach Beginn eines „Experiment!“-Projekts.
Erste Ergebnisse der Begleitforschung wurden kürzlich vorgestellt (Martina Röbbecke und Dagmar Simon, „Die Macht des Zufalls“ in Forschung (Fo), Heft 1+2, S. 9-14, UniversitätsVerlagWebler, Bielefeld, 2020). Der Großteil der Geförderten sparte nicht mit Lob und nannte positive Effekte der Förderung auf die Qualifizierung des wissenschaftlichen Nachwuchses, auf die Anschlussfähigkeit der im Projekt geleisteten Vorarbeiten für weitergehende Projektanträge oder auf ihre Motivation, zukünftig mehr Forschungskooperationen mit interdisziplinärem Charakter zu verfolgen. Durchwegs positiv beurteilten die Geförderten auch das Antrags- und Auswahlverfahren. Hier wurde gerade der geringe Aufwand für den Antrag genannt. Für das Ziel, insbesondere risikobehaftete Forschung zu fördern, war jedoch etwas überraschend, dass nach Eigenauskunft in einem Drittel aller geförderten Projekte die im Antrag beschriebenen Ziele vollumfänglich erreicht wurden.
Wie die Autorinnen der Studie selber eingestehen, ist die Datengrundlage auch wegen noch geringer Fallzahlen recht dünn, um weiterreichende Aussagen zu „Experiment!“ treffen zu können. Wie nicht-geförderte Antragsteller zu „Experiment!“ stehen, war leider nicht Gegenstand der Begleitforschung.
Die „Experiment!“-geförderten Forscher schätzen am Losverfahren insbesondere die Förderung individueller Chancengleichheit (92 Prozent), die Ermutigung zum Schreiben von Anträgen mit riskanten Forschungsideen (84 Prozent) oder die Eröffnung neuer Chancen zur Durchführung von Projekten, die solche Ideen umsetzen (80 Prozent). Zudem sahen die Befragten durch das Losverfahren eine Vermeidung von Interessenskonflikten und unbewusstem Bias (88 Prozent) sowie zusätzliche Chancen für Fächer, die durch die in der Jury vorhandene Expertise weniger abgedeckt sind (84 Prozent). Rund die Hälfte der Befragten sah es als kritisch an, dass durch das Los auch Vorhaben mit geringerer Qualität gefördert werden und dass der Reputationsgewinn für eine erfolgreiche Einwerbung im Vergleich zu Verfahren mit klassischem Peer Review geringer ausfallen könnte.
Im Vergleich dazu lobten die Geförderten das altbekannte Peer-Review-Verfahren für die Durchsetzung von Fachstandards (80 Prozent) oder die Legitimation des Forschungsvorhabens gegenüber Fachkollegen (80 Prozent). Negativ wurden hier im Allgemeinen die Überlastung des Gutachtersystems (80 Prozent), die Tendenz zu einer eher konservativ geprägten Auswahl (76 Prozent), möglicher Gutachterbias bei der Auswahl (70 Prozent) und mangelnde Übereinstimmung der Gutachter (52 Prozent) bewertet.
Zusammenfassend betonten die Autoren den hohen Bedarf für riskante Forschung im Wissenschaftssystem und die große Aufgeschlossenheit der Wissenschaftler gegenüber alternativen Auswahlverfahren wie durch das Los. Wenn Sie Ihre Meinung zu Peer Review und Losverfahren bei der VolkswagenStiftung loswerden wollen, können Sie diese unter dem Hashtag #PeerReviewLottery auch twittern. Ein Wermutstropfen: Im Dezember 2020 war „Experiment!“ nur noch unter den beendeten Förderinitiativen der VolkswagenStiftung aufgeführt.
Die Einführung eines Zufallelements ist allerdings keineswegs nur auf dem Mist der VolkswagenStiftung gewachsen und wird immer wieder auch in Fachjournalen diskutiert. Für den Einsatz in der Vergabe von Forschungsgeldern siehe zum Beispiel die Artikel „Research funding: the case for a modified lottery“ in mBio 7: e00422-16 und „Science funders gamble on grant lotteries“ in Nature 575: 574-75 – oder zur Auswahl von Publikationen zum Beispiel „How to avoid borrowed plums in academia“ in Research Policy 49: 10383.
Weitere Umsetzungsbeispiele finden sich in einigen Nischenprogrammen mit insgesamt überschaubarem Fördervolumen. So führt das virtuelle Foundational Questions Institute (FQXi) mit Fokus auf Physik und Kosmologie bereits seit 2006 ein gewichtetes Losverfahren durch, um unter seinen Mitgliedern sogenannte Mini-Grants zwischen 1.000 und 15.000 US-Dollar zu verteilen. Hierbei wird jedem Kurzantrag (maximal 500 Worte) nach formeller Vorprüfung ein Gewichtungsfaktor zugewiesen, der sich umgekehrt proportional zur beantragten Fördersumme und der Hälfte des Volumens der bisherigen, vom Antragsteller durch Mini-Grants eingeworbenen Fördermittel verhält. Anträge werden dann zufällig unter Nutzung der Gewichtung ausgewählt, bis die zur Verfügung stehenden Mittel aufgebraucht sind (https://fqxi.org/grants/mini/main).
Ob dagegen in Neuseeland, wo nahezu jeder jeden kennt, die Nutzung alternativer Begutachtungsverfahren der überschaubaren Größe geschuldet ist, oder ob die Neuseeländer diesen besonders aufgeschlossen gegenüberstehen, sei dahingestellt. Jedenfalls führte der Health Research Council Neuseelands im Jahr 2013 ein Losverfahren in seine Fördermaßnahme „Explorer Grants“ ein. Gefördert werden hier Projekte mit jeweils umgerechnet knapp 90.000 Euro und einer Laufzeit von zwei Jahren. Dem Los ist eine „Ja/Nein“-Bewertung der anonymisierten Kurzanträge durch drei Mitglieder aus einem von vier fachlichen Panels vorgeschaltet: Hat das Projekt das Potenzial, wirklich etwas zu bewegen („transformativer Charakter“), und ist es während der Projektdauer umsetzbar? Erhält der Antrag mindestens zwei „Ja“-Stimmen kommt er in den Lostopf. Waren es 2013 nur drei Anträge, die ausgelost wurden, so hat sich das Format zwischenzeitlich bewährt, sodass in der letzten Förderrunde 15 Anträge erfolgreich waren.
Liu et al. haben inzwischen die Akzeptanz des Losverfahrens bei den Explorer Grants untersucht (Research Integrity and Peer Review 5: 3). Nicht unerwartet zeigten sich hier deutliche Unterschiede zwischen geförderten und nicht-geförderten Antragstellern. So stuften 78 Prozent der Geförderten das Losverfahren im Rahmen der Explorer Grants als akzeptabel und geeignet ein, während nur 44 Prozent der erfolglosen, nicht am Losverfahren teilnehmenden Antragsteller dieser Meinung war. Die generelle Anwendung des Losverfahrens auf andere Fördermaßnahmen fand mit 57 Prozent bei den Geförderten und mit 25 Prozent bei den abgewiesenen Antragstellern deutlich geringere Zustimmung.
Ebenso werden in Neuseeland seit 2015 im Rahmen der Science for Technological Innovation and National Science Challenge Fördergelder im Durchlauf durch bis zu drei sich aneinander anschließende Lostöpfe vergeben, nachdem die Anträge die formalen Förderkriterien und die wissenschaftlichen Mindestanforderungen erfüllt haben (www.sftichallenge.govt.nz).
Auch Gutachter sind keine Propheten. Die Zitationshäufigkeit eines veröffentlichten Manuskripts oder die erfolgreiche Umsetzung eines Forschungsprojekts ist auch bei ausgereiften Begutachtungsverfahren nur schwer prognostizierbar. Das Feld aber dem Zufall als einzigem Kriterium bei Förderentscheidungen oder Begutachtungen von Manuskripten zu überlassen, stößt nicht nur in der Wissenschaftsgemeinde, sondern auch bei öffentlichen und nicht-öffentlichen Fördermittelgebern auf breite Ablehnung. Eine relativ häufige Herausforderung sowohl für Gutachter aber auch für Verlage und Förderorganisationen ist, Äpfel mit Birnen der Handelsklasse 1 vergleichen zu müssen. Sehr häufig sind die sehr schlechten und die sehr guten Beiträge schnell ausgewählt – und es bleibt ein breites Mittelfeld, bei dem es schwerfällt, die einzelnen Mängel gegeneinander abzuwägen. Oder es ist eine Vielzahl uneingeschränkt förderwürdiger Anträge vorhanden, aber die zur Verfügung stehenden Mittel reichen nur aus, um einen Bruchteil davon zu fördern. Gerade bei solchen Entscheidungen in Patt-Situationen, für deren Bewertung keine weiteren objektiven Kriterien zur Verfügung stehen, können dann unerwünschte Phänomene wie der Matthäus-Effekt („Der Teufel scheißt immer auf den größten Haufen“) auftreten. Insbesondere hier könnte eine Kombination aus wissenschaftsgeleiteten Verfahren, das wissenschaftliche Standards sichert, mit nachgeschaltetem Losverfahren, das diskriminierungsfrei entscheidet, klassische Begutachtungsverfahren ergänzen.
Der Einwand, dass solche Verfahren sich negativ auf die Motivation des wissenschaftlichen Nachwuchses auswirken könnten, erscheint hingegen unbegründet. So äußerten sich zwei Drittel aller Teilnehmenden einer Online-Befragung im Auftrag des EMBO Fellowship Program zugunsten eines teil-randomisierten Auswahlverfahrens.
Also, gebt dem Zufall wenigstens ab und zu eine Chance!