(16.07.2021) Schon lange stehen der Journal Impact Factor und Publikationszahlen als „Währungen“ der Wissenschaft in der Kritik. Das kostenlose Qualitätssystem EQIPD könnte Abhilfe schaffen.
Wie viele Werkzeuge, Initiativen und Organisationen kennen Sie, die sich mit der Qualität wissenschaftlicher Forschung auseinandersetzen – mit dem Ziel, diese zu erhalten beziehungsweise zu verbessern?
Gemeint sind hier zum Beispiel ...
... die ALCOA- und FAIR-Prinzipien für Datenintegrität und -management [1, 2],
... die Embassy-of-Good-Science-Plattform [3],
... die ARRIVE- und PREPARE-Richtlinien für In-vivo-Forschung [4, 5],
... die SOPs4RI(Standard Operating Procedures for Research Integrity)-Initiative [6],
... der DFG-Kodex „Leitlinien zur Sicherung guter wissenschaftlicher Praxis“ [7],
... die Association for Assessment and Accreditation of Laboratory Animal Care International (AAALAC) [8]
... oder der NCR3s Experimental Design Assistant [9] – um nur einige wenige zu nennen.
Illustr.: AdobeStock / fran_kie
Angesichts der wachsenden Zahl an neuen Ideen und Initiativen, wie sortieren Sie die für Sie nützlichsten und wichtigsten Aktivitäten aus? Wie stellen Sie sicher, dass Sie keine Informationen verpassen, die für Ihre Forschung, Projekte und Ziele relevant sein könnten?
Die Autoren dieses Essays beschäftigen sich aus beruflichen Gründen seit mehreren Jahren mit der Robustheit und Reproduzierbarkeit von Forschungsergebnissen sowie Qualitätsanforderungen in der biomedizinische Forschung – genauer der präklinischen Phase der Medikamentenentwicklung. Obwohl wir daher den „Luxus“ genießen, einen signifikanten Anteil unserer Zeit investieren zu können, um einen aktuellen Überblick über laufende Entwicklungen zu bekommen, müssen wir gestehen, dass für uns die Situation zunehmend unübersichtlicher wird. So erfordert es einen hohen Zeitaufwand, erfolgversprechende Ideen von weniger zielorientierten Initiativen zu trennen und aus dem täglichen Informationsfluss herauszufiltern.
Wenn es um die „Gute Forschungspraxis“ in der biomedizinischen Forschung geht, müssen wir zudem berücksichtigen, dass unterschiedliche Stakeholder unter Umständen unterschiedliche Anforderungen an uns stellen: Sind die Forderungen von Förderer X die gleichen wie von Förderer Y? Welche Erwartungen haben potenzielle Industriepartner? Wie sollten Datensätze dokumentiert und archiviert sein, wenn diese im Rahmen von klinischen Studienanträgen regulatorischen Behörden in unterschiedlichen Ländern zur Verfügung gestellt werden sollen? Welche Richtlinien und Checklisten wurden von welchen wissenschaftlichen Fachzeitschriften etabliert?
Die hier erwähnten Fragen beziehen sich in erster Linie auf Forderungen, die von außen an uns herangetragen werden. Wie sieht es nun aber aus, wenn wir die Perspektive umkehren möchten: Wie können wir auf eine einfache, strukturierte Weise aufzeigen, dass wir robuste, reproduzierbare Forschung betreiben, auf die wir stolz sind und die qualitativ hochwertige Daten generiert? Wie können wir dies den unterschiedlichen Partnern, mit denen wir zukünftig zusammenarbeiten möchten, vermitteln, sodass sie vertrauen in unsere Arbeit bekommen?
Oder etwas allgemeiner formuliert: Wie können wir den aktuellen Verwirrungen und Herausforderungen hinsichtlich der Bewertung wissenschaftlicher Produktivität und Qualität unserer Arbeit begegnen? Welche Alternativen zu den „etablierten“ (aber zu recht kritisierten) bibliometrischen Bewertungskriterien wie Journal Impact Factor (JIF) und Anzahl unserer Publikationen gibt es, um auch den Faktor „Datenqualität“ in das inhaltliche „Vermessen“ von Forschungsleistungen einfließen zu lassen?
Wie der „Wissenschaftsnarr“ kürzlich richtigerweise herausgestellt hat, hat das Verb „vermessen“ im Deutschen auch eine negative Konnotation und kann ebenfalls „falsch messen“ (beziehungsweise „überheblich, anmaßend“) bedeuten [10]. Um den Prozess des Vermessens daher fair, vergleichbar und transparent zu gestalten, bedarf es eines geordneten Systems, auf das wir uns beziehen können und das als Bewertungsgrundlage dienen kann: Wenn wir nun in diesem Zusammenhang den JIF und die Anzahl an Publikationen als „Währungen“ definieren, um unsere Forschungsleistungen zu quantifizieren, kann dann Datenqualität beziehungsweise -integrität der entsprechende „Goldstandard“ werden?
Historisch gesehen stammt der Begriff „Goldstandard“ aus der Finanzwelt und beschreibt die Hinterlegung einer Währung mit Gold – um so eine Absicherung und einen Schutz vor zum Beispiel zu starker Bargeldinflation durch die Einführung von Papiergeld zu gewährleisten. Eine Währung war daher immer direkt mit dem Wert des Goldes verknüpft, da es jedem Bürger freigestellt war, zu jeder Zeit sein Bargeld gegen die entsprechende Menge Gold umzutauschen („Verpflichtung zur Konvertibilität“). Mit anderen Worten: Ist der direkte Bezug zum Gold nicht mehr gegeben, besteht die unmittelbare Gefahr, dass eine Währung deutlich an Wert verliert (und sogar nutzlos werden kann).
Solange es nicht in ausreichendem Maße möglich ist, eine nötige inhaltliche Bewertung von Forschungsleistungen zu gewähren, ergibt sich im übertragenen Sinne, dass JIF und Publikationszahlen als „Währungen“ zumindest durch eine ausreichende Qualität und Integrität der publizierten Daten „geschützt“ und abgesichert sein sollten.
Wie aber kann eine Lösung zur Sicherung der Datenqualität und -integrität aussehen, die sowohl unsere Bedürfnisse (nach einer Optimierung laborinterner Prozesse und der Anerkennung der Datenqualität als Leistungskriterium) wie auch die diversen Erwartungen unterschiedlicher Interessensgruppen berücksichtigt?
Zur Beantwortung dieser Frage müssen wir vier Jahre zurückgehen: Im Jahre 2017 wurde das Enhancing-Quality-in-Preclinical-Data(EQIPD)-Konsortium gegründet (ursprünglich: European Quality in Preclinical Data), um die oben skizzierten Herausforderungen in der präklinischen biomedizinischen Forschung gemeinschaftlich anzugehen [11].
Das EQIPD-Konsortium setzt sich aus dreißig akademischen Einrichtungen, Biotech- und Auftragsforschungs-Unternehmen sowie Pharmafirmen zusammen (wie zum Beispiel AbbVie, Janssen, Roche, Novartis, Boehringer Ingelheim, Pfizer, Sanofi) und wird zudem von Fachzeitschriften (unter anderem PLoS, F1000), Förderern (Alzheimer‘s Research UK) und privaten Organisationen (unter anderem AAALAC, ICLAS [Anm. d. Red.: International Council for Laboratory Animal Science], CIOMS [Anm. d. Red.: Council for International Organizations of Medical Sciences]) unterstützt. Finanziell gefördert wurde das EQIPD-Projekt in den ersten drei Jahren durch die Innovative Medicines Initiative (IMI), einem Förderprogramm der Europäischen Union, und der European Federation of Pharmaceutical Industry and Associations (EFPIA).
Der Kern von EQIPD lag in der Entwicklung eines Qualitätssystems (QS) für die präklinische Forschung, das in seiner Form einzigartig sein würde. Eine solche Lösung sollte auf der einen Seite Innovationen fördern, indem es die Generierung robuster und zuverlässiger präklinischer Daten sicherstellt, und auf der anderen Seite flexibel genug sein, um nicht zu einer Belastung für den Laboralltag zu werden und um akademischen Forschern weiterhin ihre wissenschaftlichen Freiheiten zu ermöglichen.
Nun, vier Jahre später, wurde aus dieser Vision Wirklichkeit und das EQIPD-Konsortium hat ein Qualitätssystem entwickelt, das von jedem Wissenschaftler und jeder Forschungseinrichtung weltweit kostenlos genutzt und eingerichtet werden kann [11].
EQIPD konzentriert sich auf die nicht-regulierten Phasen der frühen präklinischen Forschung und kann/soll daher bestehende Qualitätssysteme wie Good Laboratory Practice (GLP) für die regulierten Bereiche der Arzneimittelforschung nicht ersetzen. So liegt zum Beispiel ein wichtiger Fokus von EQIPD auf Aspekten des Studiendesigns, der Durchführung, Analyse und Berichterstattung von Experimenten (wie Verblindung, Randomisierung, Power-Analyse), die entscheidend sind, um kritische Studien so unvoreingenommen („unbiased“) wie möglich durchzuführen und um robuste und belastbare Daten zu gewinnen.Der Kern des EQIPD-QS besteht aus fünf Grundprinzipien, die dafür sorgen, dass das EQIPD-System auch für die nicht-regulierte Forschung (für welche viele Elemente der GLP- oder ISO-Standards unverhältnismäßig, schwer umsetzbar oder nicht relevant sind) attraktiv, zweckmäßig und flexibel an benutzerspezifische Gegebenheiten anzupassen ist:
1) Das Ziel zählt: Für EQIPD ist das Endergebnis eines Prozesses entscheidend und nicht der Weg, wie dieses erreicht wird. So sollte zum Beispiel bei wichtigen Experimenten eine Randomisierung gegeben sein, das heißt, ein Muster bei experimentellen Durchläufen oder der Auswahl von Versuchsobjekten sollte nicht mehr zu erkennen sein. In diesem Fall stellt es EQIPD nun jedem Wissenschaftler frei, ein bestimmtes Werkzeug auszuwählen, um das Ziel der Randomisierung zu erreichen.
2) Autonomie der Wissenschaftler: Auch wenn normalerweise Prozesse wie zum Beispiel Randomisierung und Verblindung von EQIPD als entscheidend erachtet werden, kann es für spezifische Situationen möglich oder auch nötig sein, darauf zu verzichten (zum Beispiel bei vollautomatisierten Arbeitsabläufen oder wenn die Fehlerrate beim Experimentieren durch Randomisierungsprozesse potenziell stark erhöht werden würde). Das EQIPD-System erlaubt diese Form der Flexibilität und Freiheit, solange dies transparent dargestellt wird.
3) „Fit for intended use“: EQIPD definiert die Qualität von Forschungsdaten in Abhängigkeit von der beabsichtigten Verwendung und im Kontext des wissenschaftlichen Umfeldes eines Forschers. Ob die Datenqualität nach Durchführung entsprechender Experimente als ausreichend oder hoch eingestuft wird, kann sich daher von Situation zu Situation unterscheiden.
4) Transparenz und Rückverfolgbarkeit: Die transparente Dokumentation und Berichterstattung ist ein wesentlicher Aspekt des EQIPD-QS, da so für die eigene Arbeit, aber auch für Mitarbeiter oder externe Wissenschaftler nachvollzogen werden kann, welche experimentellen Prozesse durchgeführt und welcher Entscheidungen in Bezug auf Studiendesign, -durchführung oder -analyse getroffen wurden (zum Beispiel welche Datenpunkte für eine abschließende Analyse ein- beziehungsweise ausgeschlossen wurden). Zudem sollten sämtliche Informationen verfügbar sein, die für eine vollständige Rekonstruktion eines Forschungsprozesses notwendig sind.
5) Benutzerfreundlichkeit: Ein wichtiges Grundprinzip von EQIPD ist es, die Arbeit und Implementierung benutzerfreundlich und ressourcenschonend zu gestalten, um auch wissenschaftlichen Einrichtungen oder Biotech-Firmen ohne große finanzielle Rücklagen eine Umsetzung zu ermöglichen. Die Einrichtung des QS kann daher ohne zeitliche Vorgaben und schrittweise erfolgen.
Basierend auf diesen Prinzipien wurden als operativer Rahmen 18 Core Requirements (CRs) definiert, die sicherstellen, dass ein funktionelles QS etabliert werden kann und die (interne) Validität der gewonnenen Daten gewährleistet wird.
Viele Organisationen und Labore werden die meisten der 18 CRs ohne großen Zeit- und Ressourcenaufwand erfüllen können, sofern Laborprozesse bereits im Ansatz strukturiert sind [11]. Es wird daher erwartet, dass das QS in der Regel nicht als Belastung für beteiligte Wissenschaftler empfunden wird. Nach der ersten Implementierungsphase liegt dann der weitere Schwerpunkt auf den Mechanismen, die eine stetige Feinabstimmung und Entwicklung ermöglichen – mit EQIPD in der Rolle eines Partners, der eine kontinuierliche Verbesserung der Forschungsqualität anregt und anleitet.
Als Teil des EQIPD-Projektes wurden außerdem eine Reihe von Applikationen entwickelt, wie ein Online-Trainingsprogramm und das Planning Tool, die Wissenschaftlern und Forschungsinstituten frei zur Verfügung stehen und dabei unterstützen, EQIPD-QS vorzubereiten und zu implementieren.
Insbesondere die EQIPD-Toolbox [12] bietet relevante Informationen zu EQIPD, aber auch umfangreiche Informationen zu Themen der Datenintegrität und -qualität im Allgemeinen. Hier schließt sich der Kreis zu den Fragen, die wir uns zu Beginn des Essays gestellt haben, da die Toolbox als One-Stop-Shop für die „Gute Forschungspraxis“ konzipiert wurde: In der Toolbox werden relevante Informationen gesammelt, gefiltert und gebündelt an einem Ort präsentiert. Dies ermöglicht es Wissenschaftlern – auch EQIPD-unabhängig – einen schnellen Überblick über die neuesten Entwicklungen, Anregungen und Richtlinien, die für ihre Forschung wichtig und nützlich sein könnten, zu bekommen.
Um nun die Akzeptanz eines Qualitätssystems innerhalb der wissenschaftlichen Gemeinschaft im großen Maßstab zu gewährleisten beziehungsweise zu erhöhen, müssen wir der Frage nachgehen: „Warum ist Qualität für uns als Wissenschaftler, für unsere Organisation, für unsere Mitarbeiter oder Kollaborationspartner wichtig?“ Antworten auf diese Frage helfen dabei, die Qualitätsziele einer Organisation zu definieren und bilden das Leitbild, anhand dessen wir Kollegen, Mitarbeiter und sogar unseren Familien und Freunden erklären können, warum wir Ressourcen in die Einrichtung eines solchen Systems investieren. Folgende Punkte und Aspekte können in diesem Zusammenhang zum Beispiel für Doktoranden, Postdocs, Gruppenleiter oder wissenschaftliche Verlage zusammengefasst werden:
Das EQIPD-QS unterstützt Doktoranden und Postdocs während aller Phasen eines Experimentes – von der Versuchsplanung und Durchführung bis zur Auswertung, Dokumentation und Speicherung der Daten. Es hilft Risiken zu identifizieren, die zu einem experimentellen Bias führen können. Somit bietet das EQIPD-QS grundlegendes Wissen und Ressourcen, um jungen Wissenschaftlern zu helfen, ihre Forschungskarrieren auf eine solide Basis zu stellen und die Qualität ihrer Ergebnisse zu maximieren (diese Orientierungshilfen können natürlich nicht nur für Doktoranden und Postdocs, sondern für sämtliche Wissenschaftler relevant sein).
Studenten und Postdocs, die während ihrer Labortätigkeit aktiv an der Etablierung des EQIPD-Systems beteiligt waren oder in einem Forschungslabor mit implementiertem QS gearbeitet haben, können dies in ihrem Lebenslauf aufnehmen und so ihre Kenntnisse über Qualitätsanforderungen in der Forschung aufzeigen.
PIs in Forschungslaboren investieren in der Regel einen Großteil ihrer Zeit darin, die Finanzierung ihrer Arbeitsgruppe zu sichern, Manuskripte zu schreiben, zu reisen und Vorträge zu halten, um ihre Forschung zu präsentieren. Dadurch bleibt oft wenig Zeit für die Ausbildung der Studierenden und Postdocs, die jedes Jahr neu in ein Labor kommen. Außerdem kann es oft schwierig sein, einen Überblick über sämtliche Prozesse und Datensätze zu behalten, die im Laboralltag ablaufen beziehungsweise generiert werden. Lücken in der Dokumentation von Arbeitsabläufen oder Ergebnissen werden jedoch spätestens dann augenscheinlich, wenn entsprechende Mitarbeiter das Labor verlassen und plötzlich relevante Protokolle oder Daten nicht mehr gefunden werden und etablierte Methoden nicht mehr funktionieren.
Das EQIPD-QS adressiert diese Herausforderungen, indem zentralisierte Prozesse zum Umgang mit Protokollen oder detaillierten Dokumentationspraktiken etabliert werden, die für sämtliche Labormitglieder einfach nachvollziehbar und umsetzbar sind.
Speziell in der biomedizinischen Forschung kann EQIPD helfen, die Attraktivität akademischer Projekte für zum Beispiel Pharmaunternehmen zu erhöhen und das Interesse an einer Partnerschaft oder Lizenzierung von Medikamenten-Entwicklungsprogrammen zu steigern. Auch kann dies die Wahrscheinlichkeit erhöhen, dass gegründete Spin-off-Unternehmen eine erfolgreiche Zukunft haben, da die Forschungsprojekte auf einer robusten Datengrundlage aufgebaut sind.
Ein Qualitätssystem hat selbstredend keine Auswirkungen darauf, ob im Labor generierte Ergebnisse eine wissenschaftliche Hypothese bestätigen oder nicht. Es erhöht aber die Wahrscheinlichkeit, dass publizierte Ergebnisse unbiased und aussagekräftig sind. Als Konsequenz gibt dies den Lesern wissenschaftlicher Publikationen eine gewisse Sicherheit, die veröffentlichten Daten für ihre eigene Arbeit berücksichtigen zu können, wenn diese in einem Labor mit implementiertem EQIPD-QS entstanden sind. Zudem sollte es Verlagen helfen, die Anzahl an Publikationen zu reduzieren, die aufgrund unzureichender Datenqualität und einer Missachtung der Guten Forschungspraxis zurückgezogen oder korrigiert werden müssen [13].
Zusammengefasst bietet daher das EQIPD-QS zum einen die Möglichkeit, interne Prozesse besser zu strukturieren und zu optimieren, um die Qualität gewonnener Daten sicherzustellen. Zum anderen können Wissenschaftler, die qualitativ hochwertige Forschung betreiben, dies nun auch direkt ihren Kollaborationspartnern, Förderern, Berufungskommissionen oder Editoren aufzeigen: EQIPD bietet in diesem Zusammenhang ein Evaluierungs- und Zertifizierungsprogramm an, in dem die erfolgreiche Implementierung und die Einhaltung der EQIPD-CRs überprüft und anschließend ein EQIPD-Qualitätssiegel verliehen wird.
Die geringe Reproduzierbarkeit und Robustheit biomedizinischer Forschungsdaten [14] sowie die niedrigen Erfolgsraten bei der Entwicklung neuer Arzneimittel haben mehrere Ursachen [15]. Gründe können zum Beispiel ein unzureichendes Verständnis für die zugrunde liegende Biologie hoch-komplexer Krankheiten wie Alzheimer und Parkinson sein. Hier sind wir gefordert, diese Wissenslücken nach und nach zu schließen.
Scheitern teure und zeitaufwendige translationale Projekte jedoch aufgrund unzureichender interner Validität, statistischer Fehler und mangelnder Qualität der zugrunde liegenden Daten, ist dies nur schwer zu akzeptieren – da vermeidbar – und kann unseren Mitbürgern außerhalb der wissenschaftlichen Gemeinschaft nicht wirklich überzeugend erklärt werden.
Es ist daher erfreulich zu beobachten, dass das Interesse an EQIPD zunehmend größer wird. So haben sich im Laufe der letzten Monate über 100 Wissenschaftler und Experten aus diversen Forschungseinrichtungen, Verlagen, Fachgesellschaften sowie von öffentlichen Förderern in Europa und den USA als Partner mit dem EQIPD-Projekt assoziiert. Wir sehen dies als einen ersten Schritt auf dem Weg, eine Forschungslandschaft zu etablieren, in der zukünftig Zahlenmetriken wie die Anzahl an Veröffentlichungen und der IF durch „Datenqualität“ als Goldstandard ergänzt werden können und in der die Integrität unserer Forschung eine stärkere Rolle bei der Bewertung von Wissenschaftlern einnimmt.
Um EQIPD auch langfristig so aufzustellen, dass es nachhaltig und zukunftsfähig ist (was heißt, dass es fortlaufend weiterentwickelt werden kann), wird im Sommer 2021 der Verein „Guarantors of EQIPD“ gegründet. Dieser Verein hat die wissenschaftliche Aufsicht über EQIPD und ist unabhängig von operationalen Tätigkeiten wie der Begutachtung implementierter EQIPD-Qualitätssysteme.
Die Implementierung mit anschließender Zertifizierung wurde gerade mit Erfolg bei den ersten Laboren in Deutschland, Großbritannien und den Niederlanden durchgeführt. Dieser wichtige Proof-of-Concept zeigt, dass das EQIPD-System tatsächlich kleine und große Veränderungen induzieren kann, die insgesamt das Vertrauen in die gewonnenen Daten und die internen Arbeitsabläufe sowie die Qualität präklinischer Daten erhöhen.
Es ist ein gutes Gefühl zu sehen, dass wir zusammen Lösungen kreieren und Entwicklungen anstoßen können, die für die wissenschaftliche Gemeinschaft interessante neue Optionen für die Sicherung der Datenqualität, der Zusammenarbeit untereinander und die Bewertung von Forschungsleistungen bietet und welche die Art und Weise, wie wir anwendungsbezogene Forschung betreiben, transformieren können.
Das EQIPD-Projekt wurde von der Innovative Medicines Initiative 2 (Joint Undertaking) unter der Fördernummer 777364 finanziert. Dieses Joint Untertaking erhielt Unterstützung von dem Horizont-2020-Programm der Europäischen Union sowie der European Federation of Pharmaceutical Industries and Associations (EFPIA).
Unser Dank gilt dem gesamten EQIPD-Team, insbesondere René Bernard, Anton Bespalov, Sandrine Bongiovanni, Vincent Castagné, Ulrich Dirnagl, Fiona Ducrey, Anja Gilis, Javier Guillén, Isabel A. Lefevre, Malcolm Macleod und Thomas Steckler.
[1] Rattan AK. Data Integrity: History, Issues, and Remediation of Issues. PDA J. Pharm. Sci. Technol. 72: 105-16.
[2] Wilkinson MD, Dumontier M, Aalbersberg IjJ, Appleton G, Axton M, Baak A, et al. The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data 3: 1–9.
[3] The embassy of good science. https://embassy.science/wiki/Main_Page
[4] Sert NP du, Hurst V, Ahluwalia A, Alam S, Avey MT, Baker M, et al. The ARRIVE guidelines 2.0: Updated guidelines for reporting animal research. PLOS Biol. 18: e3000410.
[5] PREPARE: Guidelines for planning animal research and testing - Adrian J Smith, R Eddie Clutton, Elliot Lilley, Kristine E Aa Hansen, Trond Brattelid, 2018 [Abgerufen: 30.5.21]. https://journals.sagepub.com/doi/10.1177/0023677217724823
[6] Standard Operating Procedures for Research Integrity. https://sops4ri.eu/
[7] Leitlinien zur Sicherung guter wissenschaftlicher Praxis. https://www.dfg.de/download/pdf/foerderung/rechtliche_rahmenbedingungen/gute_wissenschaftliche_praxis/kodex_gwp.pdf
[8] AAALAC International. https://www.aaalac.org
[9] du Sert NP, Bamsey I, Bate ST, Berdoy M, Clark RA, Cuthill IC, et al. The Experimental Design Assistant. Nat. Meth. 14: 1024-5.
[10] Boost your Score! – Freiwillige Selbstinszenierung im Wettbewerb der Wissenschaftler. https://www.laborjournal.de/rubric/narr/narr/n_21_04.php
[11] Bespalov A, Bernard R, Gilis A, Gerlach B, Guillen J, Castagne V, et al. Introduction to the EQIPD quality system. Zaidi M, editor. eLife. 10: e63294.
[12] EQIPD Toolbox. https://eqipd-toolbox.paasp.net/wiki/EQIPD_Quality_System
[13] Casadevall A, Steen RG, Fang FC. Sources of error in the retracted scientific literature. FASEB J. 28: 3847-55.
[14] Freedman LP, Cockburn IM, Simcoe TS. The Economics of Reproducibility in Preclinical Research. PLOS Biol. 13: e1002165.
[15] Scannell JW, Blanckley A, Boldon H, Warrington B. Diagnosing the decline in pharmaceutical R&D efficiency. Nat. Rev. Drug Discov. 11: 191-200.