(15.07.2019) Nicht mal prinzipiell kann man wissenschaftliche Qualität mit vergleichenden Metriken und Rankings messen. Dennoch treibt deren Wildwuchs immer absurdere Blüten.
Illustr. : iStock / MHJ
Metriken, mit denen die Qualität wissenschaftlicher Leistungen gemessen und in Rankings abgebildet werden soll, erfreuen sich seit Jahren großer Beliebtheit. Dabei gibt es kaum jemanden im Wissenschaftsbetrieb, der die verwendeten Kennziffern zur Beurteilung von Wissenschaftlern und Forschungseinrichtungen für besonders objektiv halten würde – und das ist auch nicht weiter verwunderlich. Egal wie die entsprechenden Rankings ausgehen: Jeder Wissenschaftler ist selbstverständlich der Ansicht, dass die eigenen Leistungen in Wirklichkeit viel besser sind, als in Metriken und Rankings zum Ausdruck kommt. Umgekehrt kennt natürlich jeder den einen oder anderen lieben Kollegen, der in den Rankings viel zu gut abschneidet, gemessen an seiner wirklichen Leistung.
Über die in den Rankings verwendeten Maßstäbe wird daher munter debattiert – wohingegen sich kaum ein Wissenschaftler findet, der die ganze Rankerei prinzipiell in Frage stellen würde. Wer das Rankingwesen allzu kritisch beurteilen würde, der würde sich am Ende vielleicht sogar dem Verdacht aussetzen, dass er nur deswegen gegen eine objektive Vermessung von wissenschaftlichen Leistungen sei, weil es mit den eigenen Leistungen nicht so weit her ist. Auch wenn die betroffenen Forscher mit den Ergebnissen der durchgeführten Rankings in den seltensten Fällen zufrieden sind, so scheinen sie sich doch einig darüber zu sein, dass wissenschaftliche Leistung quantitativ gemessen werden kann und soll.
Auch außerhalb des Forschungsbetriebs scheint jedem einzuleuchten, dass die in Forschung und Lehre erbrachten Leistungen gemessen werden müssen – alleine schon, um eine „leistungsgerechte“ Bezahlung des wissenschaftlichen Personals zu ermöglichen. Otto Normalarbeitnehmer ist an seinem Arbeitsplatz schließlich auch einem gnadenlosen Konkurrenzkampf ausgesetzt, in dem er mit einer permanenten „Evaluierung“ seiner Leistungen traktiert wird – warum sollte es den Menschen, die ihren Lebensunterhalt in Forschung und Lehre verdienen, da besser ergehen? Und schließlich gibt es noch den berühmten Steuerzahler, der immer genau wissen will, ob das Geld, das ihm das Finanzamt abnimmt, auch sinnvoll ausgegeben wird. Und wenn man schon nicht im Einzelnen versteht, was in der Wissenschaft gemacht wird, dann will man doch wenigstens irgendwelche objektiven Indikatoren dafür haben, dass dort etwas Sinnvolles passiert.
Dabei ist die Idee, wissenschaftliche Leistungen quantitativ zu bewerten, einigermaßen merkwürdig. Einen quantitativen Vergleich kann man vernünftigerweise nur zwischen Dingen anstellen, die eine gleiche Substanz enthalten oder ein gleiches Merkmal haben, bei denen man dann fragen kann, wie viel davon jeweils vorhanden ist. Biersorten kann man hinsichtlich ihres Alkoholgehalts quantitativ vergleichen, Autos hinsichtlich ihrer Motorleistung oder hinsichtlich des krebserregenden Drecks, den sie in die Luft blasen, und beliebige physikalische Körper hinsichtlich ihrer Massen. In allen diesen Beispielen haben die verglichenen Dinge eine gemeinsame Eigenschaft oder Substanz – eben Alkohol pro Volumeneinheit, Leistung im Sinne der Physik, krebserregenden Dreck oder physikalische Masse.
Welche gemeinsame messbare Eigenschaft aber können verschiedene wissenschaftliche Leistungen haben? Ein wissenschaftliches Ergebnis ist seiner Natur nach etwas prinzipiell Neues – jedenfalls dann, wenn es um Wissenschaft im eigentlichen Sinn geht, also um Grundlagenforschung. Dass Entdeckung A doppelt so gut oder doppelt so groß wäre wie Entdeckung B – ein solcher quantitativer Vergleich wäre selbst innerhalb einer wissenschaftlichen Teildisziplin absurd, und erst recht zwischen verschiedenen Disziplinen. So, wie sich die Resultate verschiedener wissenschaftlicher Tätigkeiten nicht zahlenmäßig vergleichen lassen, weil sie eben kein gleiches Merkmal haben, das sich messen ließe, so lassen sich auch die Forschungsleistungen nicht quantitativ vergleichen, die diese – grundsätzlich nicht vergleichbaren – Resultate zustande bringen. Der Versuch, wissenschaftliche Leistungen quantitativ zu messen, ist daher ziemlich widersinnig und läuft darauf hinaus, das Nicht-Messbare messen zu wollen [11].
Woher der merkwürdige Einfall kommt, wissenschaftliche Leistungen mit Hilfe von Kennziffern zu messen und zu vergleichen, ist kein Geheimnis. Offensichtlich stammt diese Idee nicht aus der Wissenschaft selbst, sondern aus der Wissenschaftspolitik. Etwa in den Achtzigerjahren haben sich in Deutschland und in anderen westlichen Ländern neoliberale Vorstellungen durchgesetzt, nach denen ehemals öffentliche Dienstleistungen nicht mehr einfach vom Staat zur Verfügung gestellt werden dürfen, sondern von konkurrierenden Anbietern auf dem Markt angeboten werden müssen. „Markt“ und „Wettbewerb“ gelten seither als Allheilmittel zur Lösung aller erdenklichen Menschheitsprobleme. Die simple Idee dabei: Der Mensch ist angeblich von Natur aus faul und träge, aber wenn die Leute in einen möglichst brutalen Überlebenskampf gegeneinander gehetzt werden, dann werden sie auf einmal produktiv – und alles wird kostengünstig, effizient und gut. Jedenfalls für die Veranstalter der ganzen Sache.
Von solchen neoliberalen Einfällen sind auch Forschung und Lehre nicht verschont geblieben. Auch hier gehen die zuständigen staatlichen Stellen offenbar davon aus, dass niemand irgendetwas aus eigenem Antrieb tun würde – womöglich aus Interesse an der Sache, oder weil man ihre Notwendigkeit einsehen würde. So sind Wissenschaftspolitiker darauf verfallen, Forschungsmittel nicht mehr einfach zur Verfügung zu stellen, sondern Systeme von Belohnungen und Schikanen einzuführen, um Forschende und Lehrende ordentlich auf Trab zu bringen – von selbst tun diese Faulpelze ja nichts. So ähnlich, wie zum Beispiel die Deutsche Bahn zu einem Muster an Pünktlichkeit und Zuverlässigkeit geworden ist, seitdem sie nicht mehr dazu da ist, Passagiere von A nach B zu bringen, sondern im Wettbewerb mit anderen Anbietern ihren Gewinn maximieren soll – so ähnlich müssten doch auch Wissenschaft und Forschung kostengünstig und effizient werden, wenn man nur für verschärften „Wettbewerb“ mit entsprechenden „Anreizen“ sorgen würde.
Diese Idee ist aus zwei Gründen merkwürdig. Zum einen haben Wissenschaft und Forschung schon seit ziemlich langer Zeit brauchbare bis spektakuläre Ergebnisse hervorgebracht – ganz ohne Rankings und Metriken. Und auch in den angeblich „leistungsfeindlichen“ alten Zeiten, als Wortungetüme wie „Leistungsorientierte Mittelvergabe“ noch nicht erfunden waren, haben Forscher schon eifrig miteinander konkurriert. Eine Entdeckung oder Erfindung kann man schließlich nur einmal machen, und wer zu Ruhm und Ansehen in der Fachwelt kommen wollte, der musste schon immer schneller sein oder schlauere Ideen haben als die Konkurrenz.
Zum anderen unterscheiden sich Wissenschaft und Forschung ziemlich grundsätzlich von anderen Bereichen, in denen ehemals staatliche Dienstleistungen privatisiert worden sind. Auf die Dienste von Krankenhäusern, Eisenbahnen und Telekommunikation ist der moderne Mensch nun einmal angewiesen – da bleibt einem kaum etwas anderes übrig, als die verlangten Preise zu bezahlen, wenn man gesund werden, verreisen oder telefonieren will oder muss. Aber wer will schon einen mathematischen Beweis, eine molekularbiologische Entdeckung oder ein wirtschaftswissenschaftliches Modell kaufen? Forschung und Wissenschaft sind notwendige Voraussetzung für profitable Geschäfte, sie sind aber selbst kein Geschäft. Einrichtungen der Grundlagenforschung können nicht wie Post oder Bahn an Investoren verramscht werden, um dann zum Zweck der Gewinnmaximierung weiter betrieben zu werden.
Das alles hat marktgläubige Politiker nicht davon abgehalten, auch Wissenschaft und Forschung konsequent nach den Prinzipien von „Markt“ und „Wettbewerb“ umzugestalten. Und weil es – abgesehen von Nischen – keinen wirklichen Markt gibt, auf dem Wissenschaftler ihre „Produkte“ zu Geld machen könnten, musste eben ein künstlicher Markt geschaffen werden. So wie Firmen um Finanzierung und Kunden konkurrieren, so sollten Wissenschaftler und Forschungseinrichtungen fortan im Wettbewerb um Stellen und „kompetitiv“ ausgeschriebene Forschungsgelder konkurrieren.
Darin liegt eine gewisse Ironie. Aus dem wirklichen Markt soll sich der Staat nach dem (neo-)liberalen Glaubensbekenntnis ja bekanntlich heraushalten, damit private Firmen ausschließlich im Interesse ihres Gewinns darüber entscheiden, welche Waren und Dienstleistungen zu welchen Preisen angeboten werden oder auch nicht. Bei dem verschärften Wettbewerb, der die Wissenschaft effizient und kostengünstig machen soll, ist es genau umgekehrt. Hier tritt der Staat gleich auf beiden Seiten von Angebot und Nachfrage auf. Auf der einen Seite werden staatliche Forschungsgelder zur Verfügung gestellt, auf der anderen Seite konkurrieren staatlich finanzierte Forscher und Institute um die Vergabe dieser Gelder. Und weil es in der Wissenschaft nun einmal keinen wirklichen Markt gibt, der über den Wert von Produkten entscheiden würde, muss der „Wert“ wissenschaftlicher Leistungen eben mit Hilfe von „Metriken“ festgelegt werden, die dann letztlich über Erfolg und Misserfolg im Wettbewerb entscheiden.
Dabei zerbrechen sich reformfreudige Forschungspolitiker nicht weiter den Kopf darüber, ob die Messung wissenschaftlicher Leistungen überhaupt möglich oder sinnvoll ist. Sie haben beschlossen, dass diese Leistungen gemessen werden müssen – also müssen eben irgendwelche Kennziffern her, die man für diesen Zweck verwenden kann. Und wenn der ganze Zirkus vor allem dafür da ist, den Wettbewerb zwischen Wissenschaftlern und Institutionen anzuheizen, dann ist es letztlich gar nicht mehr so wichtig, welche quantitativen Indikatoren dabei verwendet werden. Im Prinzip kann man hier alle erdenklichen messbaren oder zählbaren Größen nehmen, die irgendwie – wie vage auch immer – mit erfolgreicher Forschung in Verbindung gebracht werden können. Und in Zeiten von elektronisch verfügbaren Big Data gibt es da so einiges, was man messen oder zählen kann – von Veröffentlichungen und Zitaten über Impact-Faktoren und Forschungspreise bis hin zu Pressemeldungen, dem Besucherandrang auf Webseiten und den Downloads von Publikationen – und überhaupt alles, was irgendwie für Sichtbarkeit steht.
Alle diese Indikatoren haben eines gemeinsam: Sie können im günstigsten Fall vage Anhaltspunkte dafür liefern, dass irgendwo möglicherweise interessante Forschung gemacht wurde. Wenn ein Paper viel zitiert wird, dann kann das daran liegen, dass der Inhalt des Papers interessant ist und das Fach vorangebracht hat. Vielleicht wird das Paper aber auch nur deswegen zitiert, weil es eine langweilige Methode beschreibt, die viel verwendet wird; weil die zitierenden Autoren sich mit den Autoren des zitierten Papers gut stellen wollen; weil es in einem High-Impact-Journal erschienen ist; oder einfach deswegen, weil das zitierte Paper zuvor schon von anderen Autoren zitiert worden ist. Ähnlich verhält es sich mit allen anderen Kennziffern, die zur Beurteilung von wissenschaftlicher Qualität verwendet werden.
Illustr. : iStock / MHJ
Noch widersinniger wird die Sache mit den Metriken allerdings, wenn nicht nachträglich versucht wird, die Qualität von Forschungsergebnissen zu „messen“, sondern wenn die Optimierung der entsprechenden Indikatoren zum eigentlichen Ziel der wissenschaftlichen Arbeit wird. Genau das tritt unweigerlich ein, wenn Metriken verwendet werden, um Anreize für gute Forschung in die Welt zu setzen – zum Beispiel bei der so genannten leistungsorientierten Mittelvergabe, bei der Forschungsbudgets und Gehälter von Metriken und Kennziffern abhängig gemacht werden. Das Resultat ist in den Wirtschaftswissenschaften als Goodhart’s Law [8, 12] beschrieben worden: Jede beobachtete statistische Kennzahl ist nur zu gebrauchen, solange auf sie kein Druck ausgeübt wird. Oder anders formuliert: Wenn ein Maß zum Ziel wird, ist es kein gutes Maß mehr.
Der merkwürdigste „Indikator“ für Forschungsqualität ist dabei das Volumen der von Einzelpersonen und Institutionen eingeworbenen Drittmittel. Im Blog des Laborjournals ist diese Kennziffer einmal treffend als wissenschaftlicher Benzinverbrauch bezeichnet worden [1] – es ist so, als würde man die Leistungsfähigkeit von Maschinen danach beurteilen, wie viel Treibstoff sie verbrauchen. Statt zu fragen, was bei Forschungsprojekten herausgekommen ist, die mit staatlichen Geldern gefördert worden sind, werden Wissenschaftler danach beurteilt, wie viel Geld in ihre Projekte hineingesteckt wurde – je mehr, desto besser!
Die Folgen dieser Sichtweise sind eindrucksvoll: Forschungsgelder werden nicht mehr in erster Linie eingeworben, weil Forscher interessante Projekte durchführen wollen, für die sie nun einmal Geld brauchen, sondern vor allem deswegen, weil irgendwo gerade Geld zu holen ist. Hoffnungsfrohe Antragsteller stecken ihre knappe Zeit nicht so sehr in ihre Wissenschaft, sondern beschäftigen sich damit, die Modewörter zu lernen, die bei den Drittmittelgebern gerade gut ankommen, die Launen und Vorlieben potenzieller Gutachter zu ergründen, Projektpartner zu finden, für deren Arbeit sie sich zwar nicht interessieren, die bei der Antragstellung aber nützlich sein könnten, und so weiter und so fort.
Die Betreuung der Doktoranden, die aus den derart eingeworbenen Projekten bezahlt werden, ist bisweilen eher suboptimal. Schließlich interessieren sich die Betreuer ja oftmals nicht so sehr für das Thema des Projekts, sondern dafür, dass es Geld einbringt – denn darin besteht ja der eigentliche Erfolg eines Projekts. Viel Zeit für eine vernünftige Betreuung bleibt ohnehin nicht, wenn die Einwerbung von Geld das Ziel der ganzen Veranstaltung ist. Denn kaum ist ein Projekt eingeworben, müssen ja schon die Anträge für die nächsten Projekte geschrieben und die entsprechenden Anträge der Kollegen begutachtet werden.
Im Gegensatz zu eingeworbenen Forschungsgeldern haben Publikationen immerhin noch etwas mit wissenschaftlichen Ergebnissen zu tun. Wenn aber Publikationsstatistiken und Impact-Faktoren zum Maßstab für die Beurteilung von Forschungsprojekten gemacht werden – und darüber, neben der Drittmitteleinwerbung, zum Ziel der Forschung werden –, dann hat auch das groteske Folgen. Weil Wissenschaftler versuchen müssen, so viel wie möglich zu publizieren, gehen Editoren, Reviewer und Leser von Fachzeitschriften in einer Flut von belanglosen und schlecht geschriebenen Manuskripten und Publikationen unter. Es ist ziemlich offensichtlich, dass die meisten wissenschaftlichen Arbeiten gar nicht mehr geschrieben werden, weil die Autoren womöglich etwas Interessantes mitzuteilen hätten und sie daher tatsächlich gelesen würden. Stattdessen werden Paper geschrieben, um die Publikationslisten ihrer Autoren zu verlängern – egal wie. Und das sieht man den so entstandenen Publikationen auch an.
In der Hierarchie der wissenschaftlichen Journale stehen die so genannten Glamour-Journale ganz oben, deren wichtigste Vertreter in den Naturwissenschaften nach ihren Anfangsbuchstaben auch als CNS (Cell, Nature, Science) bekannt sind. Weil es schwierig ist, dort zu veröffentlichen, gelten Publikationen in diesen Journalen gemeinhin als Ausweis höchster wissenschaftlicher Qualität – auch wenn jeder weiß, dass es gerade in Top-Journalen auch andere Maßstäbe für die Annahme von Manuskripten gibt als wissenschaftliche Qualität, beispielsweise den Sensationswert von Entdeckungen oder die guten Beziehungen der Autoren zum Editorial Board. Manche Autoren vermuten sogar, dass Ansehen und Impact-Faktoren von Journalen negativ korreliert sind mit der Zuverlässigkeit der Ergebnisse, die dort veröffentlicht werden [4, 5].
Vor allem: Wenn Publikationen in High-Impact-Journalen über Sein oder Nichtsein in der Forschung entscheiden, dann ist es nicht verwunderlich, wenn mit allen Mitteln versucht wird, die eigenen Arbeiten in diesen Journalen unterzubringen. Vor kurzem wurde berichtet, dass der Anteil der Publikationen, die wegen wissenschaftlichem Fehlverhalten zurückgezogen werden müssen, in Journalen mit hohen Impact-Faktoren besonders hoch ist [6, 7]. Das muss nicht bedeuten, dass in diesen Journalen mehr betrogen würde als in Journalen mit niedrigerem Prestige. Veröffentlichungen in Top-Journalen werden eben gründlicher gelesen und überprüft, sodass Fälle von Betrug dort mit höherer Wahrscheinlichkeit auffliegen. In jedem Fall aber ist offensichtlich, dass der Druck, dort zu publizieren, zuverlässig zu allen Arten von „wissenschaftlichem Fehlverhalten“ führt. Die spektakulärsten Betrugsfälle werden regelmäßig aus denjenigen Ländern und Fachbereichen vermeldet, in denen der Druck besonders hoch ist, in High-Impact-Journalen zu publizieren.
Am entgegengesetzten Ende der Publikations-Hierarchie ist auf der Grundlage von Metriken und Publikationsdruck inzwischen ein ganzes Biotop von Junk-Journalen entstanden. Mit der Durchsetzung des Open-Access-Prinzips, bei dem nicht mehr Leser, sondern Autoren für Publikationen bezahlen, bietet sich cleveren Geschäftsleuten ein innovatives Geschäftsmodell: Dadurch, dass Forscher gezwungen sind, ständig zu publizieren – egal was – und dass Verlage an jeder Publikation eine feststehende drei- bis vierstellige Summe verdienen – egal, ob das publizierte Ergebnis irgendjemanden interessiert –, ist ein Markt für Online-Journale entstanden, die es mit der Begutachtung der eingereichten Arbeiten nicht mehr so genau nehmen. Dabei sind die Übergänge fließend zwischen Journalen, die zwar möglichst schnell und viel publizieren wollen, die aber eingereichte Manuskripte trotzdem noch irgendwie begutachten – möglichst schnell und wohlwollend eben –, und reinen Junk-Journalen, bei denen ein Begutachtungsprozess nur noch vorgetäuscht wird.
In der letzteren Kategorie hat es ein Verlag namens OMICS Group zu einiger Berühmtheit gebracht, nicht zuletzt da er mit permanenten Spam-E-Mails nicht nur Autoren umwirbt, sondern auch wahllos Wissenschaftler aller Fachrichtungen in die Editorial Boards seiner Journale einlädt. Als ich vor einigen Jahren die x-te Spam-Einladung in ein Editorial Board der OMICS Group bekam, zu dem ich fachlich nicht den geringsten Bezug hatte, ließ ich mich im Formtief nach dem Mittagessen zu einem kleinen Experiment verleiten. Ich bewarb mich unter dem Namen Peter Uhnemann um die Aufnahme in das Editorial Board des betreffenden Journals und fügte dieser Bewerbung einen völlig absurden Lebenslauf bei („Peter Uhnemann“ war eine Witzfigur, die Jahre zuvor vom Satiremagazin Titanic erfunden worden war [10] und die mir aus irgendeinem Grund in den Sinn kam, als ich nach einem möglichst absurden Namen suchte). Zu meinem Erstaunen wurde Peter Uhnemann schon am nächsten Tag in das Editorial Board des Journals aufgenommen [9].
Uhnemanns Nonsens-Lebenslauf, in dem er sich als Experte für Spamologie, Oximologie und Endoplutomomik am Daniel-Düsentrieb-Institut in Gera präsentierte, seine Mitgliedschaft in den Editorial Boards des Journal of Highthroughput Spamology sowie des Journal of Junk Publications betonte und sich als ehemaliger Vizepräsident des Universums ausgab, wurde auf der Webseite des Journals veröffentlicht und war dort wochenlang zu sehen. Die OMICS Group hatte sich sogar die Mühe gegeben, kleinere sprachliche Fehler in Uhnemanns Lebenslauf zu verbessern, die ich dort absichtlich eingebaut hatte. Dennoch hätte wohl kaum jemand die seltsame Figur im Editorial Board bemerkt, wenn nicht Jonathan Eisen von der University of California in Davis in seinem bekannten Blog The Tree of Life über die Sache berichtet hätte [2]. Die Geschichte wurde dadurch einigermaßen viral, auch das Laborjournal berichtete in seinem Blog darüber [3]. Die plötzliche Aufmerksamkeit für ein bis dato vollkommen unbekanntes Junk-Journal war möglicherweise auch der Grund dafür, dass Uhnemann bald darauf ein kunstvoll gestaltetes offizielles Zertifikat der OMICS Group erhielt, in dem er als prestigious editorial board member des betreffenden Journals gewürdigt wurde.
Kurze Zeit nach Eisens Blogpost wurde der Besucheransturm auf die Webseite des Journals derart groß, dass der Server zusammenbrach und das Journal zeitweise nicht mehr erreichbar war. Ein schöner Erfolg für die OMICS Group – jedenfalls im Sinne von Metriken und quantitativen Indikatoren für wissenschaftliche Qualität. Die Sichtbarkeit des Journals war ja durch die Witzfigur im Editorial Board zweifellos enorm gestiegen. Zwar nicht unbedingt im Sinne der OMICS Group – aber warum ein Paper zitiert oder eine Webseite angeklickt wird, darauf kommt es bei der Metrik-basierten Erbsenzählerei ja gerade nicht an. Insofern kann man sagen, dass Peter Uhnemann die Ehrung als prestigious editorial board member durchaus verdient hat.
[1] https://www.laborjournal.de/blog/?m=201901
[2] https://phylogenomics.blogspot.com/2012/01/scary-and-funny-functional-researcher.html
[3] https://www.laborjournal.de/blog/?tag=peter-uhnemann
[4] Björn Brembs. Prestigious science journals struggle to reach even average reliability. Frontiers in Human Neuroscience, 12:37, 2018
[5] Björn Brembs. Reliable novelty: New should not trump true. PLOS Biology, 17:e3000117, 2019
[6] Ferric C. Fang and Arturo Casadevall. Retracted science and the retraction index. Infection and Immunity, 79:3855–3859, 2011
[7] Ferric C. Fang, R. Grant Steen, and Arturo Casadevall. Misconduct accounts for the majority of retracted scientific publications. Proceedings of the National Academy of Sciences, 109:17028–17033, 2012
[8] Charles Goodhart. Problems of monetary management: The U.K. experience. In Anthony Courakis, editor, Inflation, Depression, and Economic Policy in the West, pages 111–146. 1981
[9] Burkhard Morgenstern. Fake scientists on editorial boards can significantly enhance the visibility of junk journals. In Mario Biagioli and Alexandra Lippman, editors, Beyond Publish or Perish: Metrics and the new ecologies of academic misconduct. MIT Press, 2019
[10] Oliver Maria Schmitt. Mein Freund Stefan Mappus. Titanic, 05/2011
[11] Brandon M. Stell and Boris Barbour. PubPeer: Scientific assessment without metrics. In Mario Biagioli and Alexandra Lippman, editors, Beyond Publish or Perish: Metrics and the new ecologies of academic misconduct. MIT Press, 2019
[12] Marilyn Strathern. From improvement to enhancement: An anthropological comment on the audit culture. The Cambridge Journal of Anthropology, 19:1–21, 1996