Nach Leistung fördern! Aber wie Leistung messen?

27. November 2014 von Laborjournal

Bekanntlich kommen die medizinischen Fakultäten an deutschen Universitäten in den Genuss einer leistungsorientierten Verteilung von Landesforschungsmitteln. Klar, dass die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) diese Praxis niemals grundsätzlich in Frage stellen würde. Ein wenig Kritik übte sie jetzt aber schon.

„600 Mio. Forschungsgelder pro Jahr fehlverteilt?“ überschrieb die AWMF kürzlich eine Pressemitteilung. Und führte dann im Vorspann weiter aus:

AWMF fordert sachgerechte Zuweisung von Landesmitteln: Über 600 Mio. Euro an Forschungsgeldern aus Landeszuschüssen werden jedes Jahr an den medizinischen Fakultäten nach wissenschaftlich nicht ausreichend validen Leistungskriterien vergeben.

Anlass der Pressemitteilung — so stellte sich heraus — war die Delegiertenkonferenz der AWMF am 15. November in Frankfurt, bei der offensichtlich Christoph Herrmann-Lingen, Direktor an der Klinik für Psychosomatische Medizin und Psychotherapie der Universität Göttingen, als Sprecher der AWMF-Kommission für Leistungsevaluation in Forschung und Lehre zum Thema referierte.

Wie die AWMF jedoch darauf kommt, dass ausgerechnet 600 Mio. Euro fehlverteilt würden, erklärt sie zumindest in der Pressemitteilung nicht. Ebenso wenig verliert sie ein Wort darüber, wie gravierend die Fehlverteilungen tatsächlich sind — wurde größtenteils „krass“ fehlverteilt, oder hauptsächlich „nur ein bisschen“. Schade, das wäre interessant gewesen!

Stattdessen springt der Text ohne Differentialdiagnose unmittelbar weiter zu möglichen Therapien:

Die AWMF fordert daher eine sachgerechte Neuordnung der leistungsorientierten Verteilung der Landesmittel für Forschung an den medizinischen Fakultäten. Sie hat hierfür kürzlich Empfehlungen formuliert und in einem Positionspapier* niedergelegt.

Ah, so langsam dämmert’s: Die AWMF will vor allem Werbung für ihr Positionspapier machen. Zumal sie in der Pressemitteilung auch weiter schreibt:

Eine weitere Vergabe von Forschungsmitteln auf der Basis der Journal Impact-Faktoren kann heute nicht mehr als lege artis gelten, zumal mittlerweile sowohl inhaltlich gut begründete als auch — im Zeitalter IT-basierter Dokumentation von Forschungsleistungen — mit durchaus vertretbarem Aufwand implementierbare Alternativen existieren.

Und dazu nochmal der Hinweis auf das Positionspapier:

Hierzu macht die AWMF jetzt konkrete Vorschläge.

Also gut — schauen wir uns also an, welche Empfehlungen das Positionspapier als Alternativen zur Bewertung medizinischer Forschungsleistung anbietet:

  • Der Evaluation medizinischer Forschungsleistung sollte eine jeweils a priori explizit formulierte und kommunizierte Zielsetzung zugrunde liegen.

Logisch.

  • Methodisch eignen sich zur Evaluation medizinischer Forschungsleistung insbesondere informierte Peer-Review-Verfahren. Wegen des damit verbundenen Aufwands stellen diese jedoch nur in größeren zeitlichen Intervallen gangbare Wege dar.

Tja — jeder weiß, dass das unter all den vielen „blinden“ Lösungen die „einäugige“ ist. Aber leider zeit- und ressourcenintensiv.

  • Wichtigster Parameter der Evaluation ist die Bedeutung der Forschungsleistung für die Weiterentwicklung der wissenschaftlichen Medizin bzw. eines spezifischen Fachgebiets.

Schön wär’s, wenn man das zum Bewertungszeitpunkt immer so genau wüsste. Und selbst dann: Wie soll man das vergleichend evaluieren? Wohl eher eine reine, nicht wirklich realisierbare Absichtserklärung.

  • Der Journal Impact Factor ist hierfür kein geeignetes Instrument. Er soll daher nicht für die Bewertung der Forschungsleistung von Individuen oder Institutionen verwendet werden sondern schnellstmöglich durch geeignete Indikatoren, z.B. adäquat normierte Zitationsraten ersetzt werden.

Okay, das haben wir mittlerweile verstanden. Journal Impact Faktoren nimmt unseres Wissens sowieso kaum noch einer. Wenn überhaupt, schauen sich die Leute die individuellen Zitationsraten an — und nehmen sie allenfalls als groben Anhaltspunkt

  • Geeignete Indikatoren des medizinisch-wissenschaftlichen Impacts umfassen neben der Rezeption in der wissenschaftlichen Fachwelt auch die Nützlichkeit für die praktische Medizin (z.B. Leitlinien-Relevanz, Praxistransfer) bzw. die Gesellschaft insgesamt (z.B. Krankheitsprävention, ökonomischer Nutzen).

Auch das kann man in den wenigsten Fällen bereits zum Zeitpunkt der Bewertung abschätzen.

  • Angesichts zunehmender Nachwuchsprobleme in der medizinischen Forschung und der Medizin insgesamt stellt eine geeignete Nachwuchsgewinnung und -förderung einen zweiten wesentlichen Evaluationsparameter dar.
  • Geeignete Indikatoren für erfolgreiche Nachwuchsförderung sollten sowohl die Struktur- und Prozessqualität der akademischen Lehre als auch Maßnahmen zur Förderung des postgraduierten Nachwuchses und ihre jeweiligen Ergebnisse erfassen. [Eine separate Stellungnahme der AWMF und des MFT (Medizinischer Fakultätentag) zur Evaluation der curricularen Lehre befindet sich gegenwärtig in Vorbereitung.]

Sehr schön, dass Lehre und Nachwuchsförderung solch ein Gewicht bekommen. Aber auch hier: Wie kann man die vergleichend bewerten? Eine hervorragende Lehre in der Hals-Nasen-Ohren-Heilkunde (sorry!) wird niemals soviel Eindruck machen wie eine mittelmäßige Nachwuchsförderung in der Krebsforschung.

  • Je nach Zielsetzung der Evaluation können auch die eingeworbenen bzw. verausgabten Drittmittel als Parameter genutzt werden.

Alter Hut, der sich bisher nicht einmal bewährt hat. Großgeräte-Projekte werden immer mehr Drittmittel einwerben als reine Petrischalen-Forschung oder Bioinformatik. Wie soll man das in der Bewertung ausgleichen.

  • Bei der Evaluation der Drittmitteleinwerbung sollten antragsbasierte und unabhängig begutachtete Mittel öffentlicher Fördermittelgeber oder vergleichbarer Förderorganisationen höher bewertet werden als unbegutachtete Zuwendungen anderer Herkunft.

Wenn man dennoch so viel Wert auf den Vergleich von Drittmittel-Einwerbungen legen will, sollte das eigentlich selbstverständlich sein.

  • Neben einer reinen Bewertung von Drittmittelsummen sollte der wissenschaftliche „Ertrag“ pro eingesetzter Fördersumme Berücksichtigung finden. Hierfür sollten geeignete Algorithmen entwickelt werden.

Hat jemand eine Idee, wie man dazu Algorithmen entwickeln könnte? Und wie soll man überhaupt den „wissenschaftlichen Ertrag“ bestimmen?

  • Es sind geeignete Indikatoren für die Evaluation in größeren, oft interdisziplinären Gruppen erbrachter Leistungen (z.B. Forschungsverbünde, Vielautoren-Publikationen) zu entwickeln, die sowohl dem individuellen Beitrag als auch der Gruppenleistung insgesamt (Mehrwert durch Vernetzung, Koordination etc.) Rechnung tragen. Dies betrifft sowohl den wissenschaftlichen Impact als auch gemeinsam eingeworbene Drittmittel.

Auch alles andere als neu. Und wie die meisten Punkte zuvor leicht zu fordern, aber schwer zu realisieren. Auch hierfür werden sich keine leicht ablesbaren „Indikatoren“ aufstellen lassen, auch hier wird man sich — wie beim Peer Review — mühsam jeden Einzelfall anschauen müssen.

Was bleibt also von den AWMF-Empfehlungen? Nichts Neues, viel reine Absichtserklärungen und fast nichts konkret Realisierbares. Aber gut, dass es die AWMF auch nochmal gesagt hat…

 

Schlagworte: , , , , , , , , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Captcha loading...