Kennen Sie den schon? „Leider muss ich Ihnen mitteilen, dass die Deutsche Forschungsgemeinschaft nach eingehender Prüfung durch die zuständigen Ausschüsse Ihrem Antrag auf Gewährung einer Sachbeihilfe nicht entsprechen konnte.“ Vermutlich ja, denn das ist der Standardsatz in den Ablehnungsschreiben der DFG. Und so oder so ähnlich lesen wir ihn auch von anderen Fördergebern.
Rein statistisch gesehen passiert uns das leider recht häufig. In der Biomedizin liegen die Förderquoten zwischen 5 und 30 Prozent.
Häufig empfinden wir solche Ablehnungen von Anträgen als persönliche Kränkungen. Nicht ganz zu unrecht, haben wir doch unsere besten Ideen reingeschrieben, meist auch schon einige Ergebnisse verarbeitet, die wir „schon im Kasten hatten“, das Ganze gar mit viel Prosa aufgehübscht, dazu den wichtigsten möglichen Gutachtern durch strategisch platzierte Zitate geschmeichelt und so weiter. Und dann die Ablehnung!
Also noch mal von vorne: Alles umschreiben, wieder einreichen – vielleicht bei einem anderen Fördergeber. Womit man als Forscher eben so seine Zeit verbringt. Wenn man nicht gerade selber die Anträge Anderer begutachtet. Ganze 40 Prozent ihrer Zeit verbringen Wissenschaftler heutzutage mit dem Schreiben oder Begutachten von Anträgen.
Dabei kennen wir doch alle die Misere des Antragswesens: Hoher Aufwand für alle Beteiligten (auch bei den Förderinstitutionen); häufig marginale Expertise im Review-Prozess; am Ende doch eher Förderung von Mittelmaß, wohingegen wirklich Neues und Risikoreiches auf der Strecke bleiben; fehlende Kriterien für den zukünftigen Erfolg der Projekte; „Gutachter-Seilschaften“ und Interessenkonflikte; Matthäus-Effekt („Wer hat, dem wird gegeben“); Bevorzugung etablierter Forscher und Mangel an Fairness,... – um nur einige von denen zu nennen, die die wenigsten von uns abstreiten würden.
Aber wir Wissenschaftler scheinen eine Schafsnatur zu haben. Trotz allgegenwärtiger Kritik – insbesondere unter befreundeten Kollegen und nach ein paar Bier – drehen wir unbeirrt weiter das Hamsterrad. So ist das System halt, und ein anderes haben wir nicht.
Dabei gäbe es recht naheliegende Alternativen zum Peer Review von Forschungsanträgen. Sie sind sogar sehr plausibel. Nur wurde keine davon bislang im großen Maßstab getestet – obwohl es doch kaum noch ineffektiver und unbefriedigender werden kann als mit dem gegenwärtigen Prozedere.
Entsprechend wäre doch jede Menge Raum zum Experimentieren da! Wissenschaftler neigen doch zu genau dieser Tätigkeit, warum nicht auch mal in Sachen Antragswesen?
Über eine solche prinzipielle Alternative hat der Narr schon vor einiger Zeit berichtet: Grundfinanzierung von Wissenschaftlern, kombiniert mit Peer-to-Peer-Förderung. Dabei müssen Wissenschaftler einen bestimmten Anteil ihrer Grundfinanzierung an andere Forscher ihrer Wahl weitergeben. (Wem das jetzt Spanisch vorkommt, der sei eingeladen, sich das nochmals anzuschauen, Laborjournal 6/2017: 22-23). Dieses System macht viel Sinn – ist aber recht radikal und dürfte es daher im konservativen Wissenschaftsbetrieb schwer haben, je ernsthaft auf den Prüfstand zu kommen.
Eine andere Idee hat dagegen womöglich größere Chancen, umgesetzt zu werden – wiewohl auch die hinreichend verrückt klingt: die Förderlotterie!
Mindestens drei große Fördergeber weltweit experimentieren derzeit mit Systemen, bei denen der Zufall eine wichtige Rolle in der Förderentscheidung spielt: die „Explorer Grants“ des Health Research Council of New Zealand, die „Seed Projects“ von New Zealand’s Science for Technology Innovation und – man höre und staune! – hier in Deutschland die Volkswagenstiftung mit ihrer Förderlinie „Experiment!“. Deren Motto lautet quasi: „Forschungsförderung hat ohnehin schon Lotterie-Charakter, dann lasst uns doch gleich eine ordentliche daraus machen.“
Das Ganze ist indes weniger verrückt, als es klingt, hat zudem eine Historie, die bis ins 19. Jahrhundert zurückreicht, und basiert auf einer Reihe von soliden theoretischen Arbeiten und Simulationen. Wie also funktioniert so eine Förderlotterie? In ihrer reinsten Form ganz einfach: Wissenschaftler stellen Anträge. Diese werden einem initialen Check unterworfen, wonach das ausselektioniert wird, was ganz offensichtlich keinen Sinn macht, nicht den formalen Vorgaben entspricht et cetera. Dann kommt alles, was übrig bleibt, in einen Topf, und man zieht so viele Anträge raus, wie insgesamt gefördert werden können.
Das lässt sich natürlich weiter verfeinern. Zum Beispiel bei den Kriterien der Vorselektion. Hier kann man etwa ein Minimalset von Anforderungen einführen, das sowohl das wissenschaftliche Œuvre des Antragstellers, als auch die verfolgten Hypothesen und angewandten Methoden einbezieht. Diese sollten aber relativ breit und offen gehalten werden, denn sonst würde man womöglich doch gerade die unorthodoxen Ideen und verborgenen Fertigkeiten der Antragsteller eliminieren.
Alternativ könnte man auch die Top-Anträge des initialen Review direkt fördern, und nur den „mittleren Bereich“ auslosen – also die Anträge zwischen den eindeutigen Tops und Flops. Auch eine gewichtete Lotterie ist denkbar, in welcher der Zufall dosiert eingespeist wird: Je besser die Noten im initialen Review waren, desto mehr „Lose“ erhält der Antrag – wodurch sich die Chancen erhöhen, gezogen zu werden. In jedem Fall wird man sich in den Lotterieverfahren mit relativ kurzen Anträgen begnügen können, da die Prosa ja ohnehin nicht evaluiert wird. Dazu sollte die Lotterie öffentlich sein, die Details des Zufallsprozesses transparent, und die Kriterien sowie die Ergebnisse des initialen Reviews offen zugänglich.
Aber was bringt das Ganze? Paradoxerweise eine fairere Selektion von Geförderten als im Peer Review! Denn der zieht willkürlich eine Grenze zwischen Geförderten und Abgelehnten. Jeder, der schon mal in Review Panels saß, kennt den Prozess. Man reiht die Anträge nach den Noten aus der Begutachtung und zieht dann eine Linie, unterhalb derer keine Fördermittel mehr zur Verfügung stehen, weil sie für die Projekte oberhalb der Linie ausgegeben wurden.
Aber haben die Projekte unterhalb und oberhalb der Linie wirklich unterschiedliche Potenziale, erfolgreich zu sein? Meist reden sich die Mitglieder des Review Panels die Köpfe darüber heiß – und schieben Anträge mal nach oben, mal nach unten. Dabei ist völlig evidenzbefreit, dass dies was bringt. Denn wenn eines wirklich klar hervorgeht aus der Wissenschaftsforschung, dann dies: Der Peer-Review-Prozess, ganz egal welcher Art, ist weder prädiktiv noch konsistent.
Prädiktiv ist er weder für das Potenzial noch den zukünftigen Erfolg von geförderten Projekten. Dies weniger, weil die Gutachter sich häufig nicht genug mit den Anträgen auseinandersetzen, oder weil sie zu wenig Expertise zu deren Beurteilung haben, oder weil sie Vorurteile beziehungsweise Interessenkonflikte haben. Nein – vielmehr hauptsächlich deshalb, weil es für zukünftigen Erfolg von Anträgen gar keine belastbaren Kriterien gibt.
Der Peer-Review-Prozess ist zudem nicht ausreichend konsistent, da eine Wiederholung mit anderen, aber gleich qualifizierten Gutachtern nicht annähernd zu den gleichen Resultaten führt. Auch hierfür gibt es solide Evidenz.
Eine reine Lotterie ist daher fairer, weil sie Antragsteller grundsätzlich gleich behandelt, für deren Unterscheidung es keine gesicherten Kriterien gibt. Fair ist sie auch darin, dass sie allen Qualifizierten eine Chance gibt – ob Frau ob Mann, ob jung ob alt, und auch wenn diese nicht im Windschatten einer großen Institution oder eines etablierten Netzwerkes fahren.
Zusätzlich reduziert die Lotterie den Gesamtaufwand massiv – sowohl auf Seiten der Antragsteller (kürzere Anträge), als auch insbesondere bei den Gutachtern und den Administratoren der Fördergeber. Sie ist daher effizienter – und setzt somit Zeit und Ressourcen frei für echte Wissenschaft.
Der interessanteste Vorteil der Lotterie liegt allerdings darin, dass sie Diversität und Innovation fördert. In der Lotterie würden sicher auch viele Mainstream-Projekte ausgelost. Schließlich schreiben rein statistisch die meisten von uns Mainstream-Anträge, sonst gäbe es den Mainstream ja gar nicht. Aber weil der Mainstream durch das Zufallsprinzip nicht positiv selektiert wird, würden mehr Breakthrough und Disruption gefördert – oder wie auch immer man das kategorisieren mag. Nicht zuletzt auch deshalb, weil mehr Anträge ins System kämen, die wir momentan gar nicht sehen, weil in Vorwegnahme einer Ablehnung sie keiner überhaupt erst stellt.
Jetzt haben Sie sicher eine Reihe von Bedenken. Würde die Einführung eines solchen Systems nicht zu einem Aufschrei führen? Wenn schon nicht bei den Wissenschaftlern, so doch in der Öffentlichkeit: „Sieh her, die Wissenschaftler verlosen unser Steuergeld – jetzt sind sie völlig verrückt geworden!“ Und würde so ein System nicht zu einer massiven Erhöhung von Anträgen niedriger Qualität führen? Quick and dirty, einfach um ein Los in der Lotterie zu haben? Womit das gewonnene Fördergeld wiederum für unsinnige Aktivitäten verprasst würde!
Zunächst einmal sollten wir uns daran erinnern, dass auch im gegenwärtigen System viel Müll produziert wird – gefördert aus öffentlichen Mitteln. Und das mit erheblichem Aufwand bei der Selektion des Mülls. Außerdem könnte sich das Problem dadurch beheben lassen, dass Wissenschaftler, die das System mit minderwertigen Anträgen fluten, aus dem System ausgeschlossen werden.
Und wo bleibt der Aufschrei konkret? Er ist ausgeblieben! 2017 hatte die Volkswagenstiftung begonnen, eine Antragslotterie zu testen. Dafür verdient sie höchstes Lob! Sie tut genau das, was wir Wissenschaftler auch tun: Wenn wir eine plausible und relevante Hypothese haben, führen wir ein Experiment durch, um diese zu widerlegen – oder aber Evidenz für ihre Richtigkeit zu gewinnen.
Genau so geht die Volkswagenstiftung bei ihrem „Experiment!“-Programm vor. Sie vergibt Fördermittel in einem teilrandomisierten Verfahren über eine Lotterie – und evaluiert das Ganze mittels Begleitforschung. Die Kernfrage dabei: Unterscheiden sich klassisch per Peer Review ausgewählte Projekte in ihrem Verlauf und Erfolg von solchen, die einfach ausgelost wurden?
Die DFG dagegen schießt ihre Milliarden in die Projektförderung und setzt seit ihrem Bestehen exklusiv auf das Peer-Review-Verfahren. Ohne sich um Evidenz für dessen Effizienz zu bemühen, und trotz der auch dort diskutierten offensichtlichen Mängel des gegenwärtigen Verfahrens.
Warum testet die DFG nicht ebenso alternative Auswahlverfahren und Förderformate – selbst wenn es nur weniger als ein Promille ihres Fördervolumens beträfe? Ganz einfach: Die DFG ist die zentrale Selbstverwaltungsorganisation der Wissenschaft in Deutschland – wir Wissenschaftler „sind“ also die DFG. Und wir haben eine Schafsnatur!
Ulrich Dirnagel
Weiterführende Literatur und Links finden sich nach Drucklegung des Artikels wie immer unter: http://dirnagl.com/lj