(11.03.2020) Plagiate in wissenschaftlichen Texten nachzuweisen, ist nicht einfach. Erkennungssoftwares sollen das Problem lösen und halten Einzug in Verlage und Universitäten. Die Systeme sind allerdings mit Vorsicht zu genießen.
Maja Grubisic blickt schockiert auf ihren Monitor. Während sich ihre rechte Hand tiefer in ihre Computermaus krallt, brüllen sie die Wörter förmlich an, die vor ihr in fetten Lettern stehen: „A total of 53% of the text of this manuscript […] is identical to that in previous publications. This is a totally unacceptable amount of plagiarism, even if from your own previous work (unless it is from a dissertation).“
Grubisic forscht seit knapp drei Jahren als Postdoc am Leibniz-Institut für Gewässerökologie und Binnenfischerei in Berlin. 2017 promoviert sie an der Freien Universität Berlin und der Universität Trient in Italien. Ein Jahr später reicht Grubisic Teile ihrer Dissertation bei einem Journal für Umweltverschmutzung ein. Ihre Doktorarbeit ist bereits im Online-Register der Freien Universität Berlin hinterlegt und öffentlich zugänglich.
Am darauffolgenden Tag dann die Hiobsbotschaft. Einer der beiden Chefredakteure teilt Grubisic in einer E-Mail mit, ihr Manuskript abzulehnen. Der Grund: Sie habe plagiiert. „Ich war geschockt“, erinnert sich Grubisic an die Ereignisse vor zwei Jahren. „Das war ein ernster Vorwurf, eines Plagiats bezichtigt zu werden – dabei hatte ich doch nichts falsch gemacht.“
Grubisic versucht die Situation dem damaligen Chefredakteur zu erklären und zitiert aus der Einreichungsrichtlinie des Verlags, welche die Veröffentlichung von Teilen aus einer akademischen Arbeit wie einer Dissertation durchaus gestattet. Der Chefredakteur lenkt ein. Aber das Manuskript ist bereits direkt nach Einreichung durch ein automatisches Prüfverfahren gelaufen und durchgefallen. Während die Mitarbeiter des Journals versuchen, das technische Problem zu lösen, entscheidet sich Grubisic, den Text erneut einzureichen. Doch die Plagiats-Erkennungssoftware zieht das Manuskript wieder automatisch aus dem Verkehr. Grubisic kocht: „Ich war wütend – es war doch nur meine Dissertation, was man auch leicht prüfen konnte. Der Editor hörte mir zwar zu, aber selbst er konnte die Situation nicht einfach lösen.“
Immer mehr Fachzeitschriften nehmen die Hilfe von Dienstleistern beziehungsweise Software-Systemen in Anspruch, mit denen die Verlage eingereichte Texte auf Plagiate überprüfen wollen. „Diese Programme funktionieren alle ähnlich“, weiß Norman Meuschke, Informatiker an der Bergischen Universität Wuppertal und der Universität Konstanz. „Der Nutzer speist ein Eingabedokument in das System ein, welches das Dokument gegen eine große Kollektion abgleicht.“ Wie diese Kollektion aussieht, unterscheidet sich von Anbieter zu Anbieter, und stellt gleichzeitig ein großes Qualitätsmerkmal dar. „Große und erfolgreiche Anbieter wie beispielsweise Turnitin stellen die Vergleichskollektion selbst zusammen, sowohl aus frei zugänglichen Internetquellen als auch urheberrechtlich geschütztem Material.“ Bei letzterem würden die Anbieter teils Verträge mit den entsprechenden Verlagen eingehen, um auf beispielsweise Publikationen, Bücher und Zeitschriften zugreifen zu können. Andere Anbieter verzichten auf eine eigene aufwendig gepflegte Kollektion und nutzen das indizierte Internet, das von Suchmaschinen bereitgestellt wird – also eine Index-Kollektion, die ein schnelles Auffinden bestimmter Daten im Internet ermöglicht. „Texte hinter Paywalls fallen da natürlich raus.“
Aktuell gibt es über fünfzig Software-Systeme, online oder offline, die bei der Erkennung von Plagiaten beziehungsweise deren Vorbeugung helfen sollen. Neben Turnitin steht auch das aus demselben Hause stammende iThenticate als Erkennungs-Tool Hochschulen, Verlagen und Forschungseinrichtungen zur Verfügung. Aber auch Systeme wie Urkund, Copyscape oder PlagAware dienen der Plagiatsprüfung – um nur ein paar zu nennen. Neben kostenfreien Angeboten bieten einige Dienstleister unterschiedliche Zahlungsmodelle. Die Kosten richten sich nach der Zahl von Studenten, Wörtern oder durchsuchter Seiten, auch monatliche Tarife sind möglich.
Das Problem vieler vermeintlicher Plagiats-Erkennungssoftwares: Sie sind gar keine. Diese Meinung vertritt zumindest die Plagiatsforscherin Debora Weber-Wulff, die seit 15 Jahren solche Systeme testet und als Informatikerin an der Hochschule für Technik und Wirtschaft (HTW) Berlin forscht. „Viele Plagiats-Erkennungssoftwares sind eigentlich nur Textübereinstimmungs-Erkennungssoftwares“, stellt sie richtig.
Aber was versteht man überhaupt unter einem Plagiat? Dazu zitiert Weber-Wulff auf dem Plagiat-Portal der HTW Berlin (plagiat.htw-berlin.de) den Verfasser des Werkes „Meister des Plagiats oder die Kunst der Abschriftstellerei“ Paul Englisch mit folgenden Worten: „Plagiat ist die aus freier Entschließung eines Autors oder Künstlers betätigte Entnahme eines nicht unbeträchtlichen Gedankeninhalts eines anderen für sein Werk in der Absicht, solche Zwangsanleihe nach ihrer Herkunft durch entsprechende Umgestaltung zu verwischen und den Anschein eigenen Schaffens damit beim Leser oder Beschauer zu erwecken.“
Plagiate zu entdecken, kann komplex sein. Ausgeschlossen die Plagiatsfälle, bei denen einfach Textstellen kopiert und Quellen verschwiegen werden, gibt es einige Indikatoren, die darauf hindeuten, dass mit einem Text etwas nicht stimmt. Recht offensichtliche Indizien sind beispielsweise Schreibstilwechsel, Rechtschreibfehler oder Schriftartänderungen. Schwieriger zu erkennen, sind hingegen Paraphrasierungen oder Textpassagen, die ursprünglich in einer anderen Sprache formuliert wurden. So oder so, Erkennungssoftwares stoßen hier an ihre Grenzen. Der Wuppertaler Informatiker Meuschke ergänzt: „Die aktuellen Systeme leisten nicht mehr als reinen Textvergleich. Um Ideen- oder Übersetzungsplagiate aufzudecken, müssen auch Bilder, Grafiken, Formeln und Quellenverweise überprüfbar sein.“
Meuschke und seine Kollegen vom Lehrstuhl für Data and Knowledge Engineering möchten genau das umsetzen und schicken die Applikation HyPlag ins Rennen der Software-Systeme zur Plagiatserkennung – oder vielmehr einen Prototyp. Denn aktuell lernt die Software noch auf Basis bestätigter Plagiate, fernab vom reinen Textvergleich Indikatoren für Plagiate zu erkennen. So ist das System bereits in der Lage, Paraphrasierungen aufzuspüren. „Wir legen den Fokus darauf, mit dem System etwas zu tun, was aktuellen Softwares nicht gelingt“, sagt Meuschke und gibt ein Beispiel: Um zu überprüfen, ob etwa ein ganzer Absatz möglicherweise aus einer anderen Arbeit stammt, suchen die Forscher mit der Software nach auffälligen Zitierungs-Mustern. „Muster sind dann auffällig, wenn es wenig andere Dokumente gibt, die ähnliche Zitierungen verwenden. Und wenn es im Text im Vergleich zu einem anderen Dokument eine Häufung von Zitierungen gibt, die im räumlichen Zusammenhang stehen – sprich ganze übereinstimmende Zitationsketten. Es ist natürlich kein K.O.-Kriterium für ein Plagiat, allerdings sollte sich der Nutzer in diesem Falle den Text noch mal genauer anschauen.“
Momentan arbeiten die Wuppertaler Wissenschaftler außerdem daran, Schreibstiländerungen zu erspähen. Diese sogenannte intrinsische Plagiatserkennung hat aber auch ihre Tücken. Schließlich sucht man nur innerhalb eines Eingabedokuments stilistische Abweichungen. In der Praxis ist das schwierig: Denn ein Vergleichsdokument gibt es nicht. Und im Falle eines vermeintlichen Treffers ist der Nachweis kompliziert. „Es kann nur die Aussage getroffen werden, dass der fragliche Textteil wahrscheinlich nicht vom vermeintlichen Autor verfasst wurde. Die Frage, von wem der Inhalt stammt, bleibt unbeantwortet“, ordnet Meuschke ein.
Der intrinsische Ansatz könnte möglicherweise auch bei einem anderen Fall von Betrug helfen: Ghostwriting. „Ghostwriting nachzuweisen ist, ganz, ganz schwer“, weiß Meuschke. „Egal ob für Menschen oder Plagiats-Erkennungssysteme. Gute Ghostwriter schreiben Texte von Grund auf – das automatisiert zu erkennen, ist nahezu unmöglich. Denn es gibt de facto keine Quelle. Ob solche Texte jemals ein System findet, ist fraglich.“ Der einzige für Meuschke vorstellbare Ansatz wäre, vorherige Schreibproben des Autors automatisiert zu vergleichen. „So können Verdachtsmomente wie ‚Das ist nicht sein Leistungsniveau’ oder ähnliches gestärkt werden.“ Ein Beweis ist das noch lange nicht.
Die ambitionierten Pläne der Wuppertaler Informatiker, intrinsische Plagiate wie Übersetzungen oder Schreibstiländerungen mittels einer Software automatisiert aufzuspüren, sieht Weber-Wulff kritisch. „Im begrenzten Rahmen ist das möglich, aber ich bezweifle, dass es generell machbar ist.“ Etwa die Identifizierung von übersetzten Textstellen sei schwierig, denn ein englischer Text kann aus vielen unterschiedlichen Sprachen stammen. „Bislang hat noch keine Software geschafft, solche Plagiate zu entdecken. Meiner Meinung nach ist das ein Ding der Unmöglichkeit, so etwas zu finden.“ Auch Schreibstiländerungen empfindet Weber-Wulff als große Hürde für die Software-Entwickler. „Das Problem ist, man braucht eine ziemlich große Datenbank mit Schreibstilproben dieser Person. Und zumindest an der Universität möchte man ja, dass sich der Schreibstil weiterentwickelt und damit verändert.“ Innerhalb eines Dokumentes würden Schreibstiländerungen auch ohne ein Programm dem Lesenden recht zügig auffallen, meint die Berliner Informatikerin. Eine Automation ist hier vielleicht gar nicht notwendig, denn an irgendeinem Punkt muss die Arbeit schließlich gelesen werden.
Die teils freie Verfügbarkeit von Plagiats-Erkennungssoftwares bereitet indessen Wolfgang Cramer Sorgen. Cramer arbeitet als Herausgeber und Co-Chefredakteur des Springerr-Nature-Journals Regional Environmental Change (REC) seit langem mit der Plagiats-Erkennungssoftware iThenticate. Cramer berichtet, dass diese einst bei einem bei REC eingereichten Manuskript einen Plagiatsverdacht geäußert hatte. Cramer hatte daraufhin den Autor umgehend kontaktiert und mit den Ergebnissen der Software und den dazugehörigen Quellen konfrontiert. Die Antwort des Autors hatte Cramer schockiert: „Er sagte, das könne gar nicht sein. Er selbst habe auch eine Plagiats-Erkennungssoftware und damit sein Manuskript geprüft. Der Score wäre viel niedriger.“
Der Vorfall gibt Cramer zu denken. „Wenn die Autoren selbst ihre Artikel anpassen, sodass sie durch die Plagiats-Erkennungssoftware gerade so durchkommen, obwohl es eigentlich Plagiat ist – dann wird’s gefährlich.“ Cramer würde sich daher wünschen, dass die Autoren nur begrenzten Zugriff auf die Software-Systeme bekämen. Im von Cramer geschilderten Fall war das Plagiat dennoch aufgeflogen, möglicherweise weil der Autor mit einer anderen Plagiats-Erkennungssoftware gearbeitet hatte. Könnte demnach mehr Verschwiegenheit darüber, mit welchem Software-System getestet wird, Betrügern ihre Arbeit erschweren?
Meuschke und seine Kollegen verfolgen mit HyPlag einen anderen Lösungsansatz: „Wir möchten die Software-Systeme zur Erkennung von Plagiaten so verbessern, dass der Aufwand der Autoren, ein Plagiat zu verschleiern, steigt und sich irgendwann nicht mehr lohnt.“
Weber-Wulff hingegen setzt auf Prävention und Aufklärung. „Wir müssen den Studierenden beibringen, wissenschaftliche Texte zu schreiben, oder Doktoranden zeigen, wie sie richtig zitieren und warum sie das überhaupt tun müssen. Wir sollten Wissenschaftlerinnen und Wissenschaftlern klarmachen, dass es nicht in Ordnung ist, Arbeiten doppelt bei verschiedenen Journalen einzureichen. Wir versuchen mit Technik, ein wissenschaftliches, ja ein soziales Problem zu lösen. Dabei muss es vielmehr eine Änderung der Kultur geben“, meint Weber-Wulff und fasst ihre Gedanken kurz zusammen: „Weniger Quantität, mehr Qualität. Lieber eine gute Veröffentlichung, als viele kleine, bei denen ich in Versuchung gerate, zu wiederholen. Schwarze Schafe wird es aber immer geben.“
Neben den technischen Grenzen der Erkennungssoftware-Systemen bereitet der Berliner Informatikerin vor allem das Thema Datenschutz Kopfzerbrechen: „Wir wissen nicht, was mit den Daten passiert.“ In einer Untersuchung hatte Weber-Wulff mehrere Softwares zur Plagiat-Erkennung überprüft, die Ergebnisse erschienen auf dem Preprint-Server arXiv (2002.04279). Ein Anbieter gab auf seiner Homepage bis vor kurzem noch an, neun Monate nachdem der Nutzer einen Text getestet hat, diesen als gutes Beispiel für wissenschaftliches Schreiben anderen Leuten zur Verfügung zu stellen. „Derselbe Anbieter betreibt auch einen Ghostwriting-Service“, sagt Weber-Wulff und vermutet, dass die eingereichten Manuskripte nicht als Lehrproben an Ghostwriter weitergeleitet, sondern direkt als Manuskripte verkauft werden. „Die Information wurde mittlerweile von der Homepage entfernt und die Firma bestreitet, Texte zu verkaufen – doch nach wie vor betreiben sie den Ghostwriting-Dienst. Sagen wir mal vorsichtig: Ich bin skeptisch.“ Habe man die Texte erst einmal zur Überprüfung eingereicht, verliere man jegliche Kontrolle.
Der Wuppertaler Informatiker Meuschke sieht das ähnlich: „In dem Moment, in dem man ein Dokument an einen Dritten schickt, muss man ihm vertrauen, dass er das Dokument nicht absichtlich für unlautere Zwecke nutzt und Sicherheitsvorkehrungen trifft, damit die Daten nicht unabsichtlich geleaked werden. Viele Universitäten verbieten den Gebrauch solcher Systeme, weil gar nicht klar ist, wohin die Daten gehen. Viele Server stehen nicht in Deutschland, sondern im Ausland.“ Außerdem müsse der Urheber des Textes informiert werden und sein Einverständnis geben, dass sein Text durch einen Software-Anbieter überprüft wird. Im Falle von Studenten könne das im Zuge der Einschreibung an der Universität geregelt werden. „Bei einem Journal ist das einfacher“, ergänzt Weber-Wulff. „Hier kann eine solche Einwilligung bei der Einreichung des Manuskriptes erfolgen.“
Mit HyPlag versuchen Meuschke und Co. das Problem anders zu lösen. „Wir versuchen Verfahren zu entwickeln, die nicht mehr den Zugriff auf den Volltext brauchen, sondern für den Menschen unleserlich gemachte Merkmale nutzen – doch das wird jetzt etwas zu technisch“, schmunzelt er.
Herausgeber Cramer ist dennoch froh, die Software iThenticate in petto zu haben. „Für den normalen Journal-Betrieb ist die Software gut“, so Cramer. Probleme hatte er noch nie.
Doch das Handling vonseiten der Verlage muss nicht immer reibungslos laufen. Wie beim einleitenden Beispiel von Grubisic berichtete auch der französische Verhaltensforscher Jean-François Bonnefon im Juni des vergangenen Jahres auf Twitter von seinen Erlebnissen. Bonnefon hatte ein Manuskript bei einem Journal eingereicht – und prompt die Ablehnung erhalten. Die Software hatte ein hohes Maß an Text-Überschneidungen mit bereits veröffentlichter Literatur gefunden, schreibt Bonnefon. Der Einreichungsprozess stoppte unmittelbar, sodass die Autoren die Möglichkeit hatten, Quellen nachzureichen, aus denen sie anscheinend kopiert hatten. Das Manuskript erhielten Bonnefon und seine Kollegen mit markierten, beanstandeten Stellen zurück. Bonnefon kommentiert amüsiert: „This is where it gets good.“ Denn die Software hatte nicht nur alle Affiliations als vermeintliche Plagiate identifiziert, sondern auch große Teile des Methodenteils. Bonnefon erläutert, dass sie natürlich alle ihre Paper mit ihren Affiliations signieren und die Protokolle viele Standardsätze enthielten, weil es sich nun mal um Standards handelt.
Doch viel absurder erschienen die Markierungen am Ende des Manuskripts: Nahezu jede Referenz hatte das System markiert – Referenzen, die andere Forscher zuvor auch schon mal zitiert hatten. Bonnefon ist zugleich belustigt und verärgert: „It would have taken two minutes for a human to realize the bot was acting up. But there is obviously no human in the loop here. We‘re letting bots make autonomous decisions to reject scientific papers.“ Der Twitter-Thread ging viral und es folgte ein Bericht in The Scientist („Journals’ Plagiarism Detector May Flag Papers in Error“).
Auch Gregor Kalinkat, der wie Grubisic am Leibniz-Institut für Gewässerökologie und Binnenfischerei in Berlin forscht, berichtet von einer Zurückweisung seines Manuskripts. Der Hintergrund: Die Plagiats-Erkennungssoftware hatte den Preprint des Manuskriptes gefunden und Alarm geschlagen. Der zuständige Redakteur zeigte sich uneinsichtig und das, obwohl Journale Autoren inzwischen ermutigen, Preprints im Sinne von Transparenz und Open Science zu nutzen (siehe Nature 569: 307). „Wir haben uns dann dazu entschlossen, das Paper bei einem anderen Journal einzureichen“, erinnert sich Kalinkat und betont, dass es sich bei der Uneinsichtigkeit und beim unprofessionellen Umgang des Redakteurs vermutlich um einen Einzelfall gehandelt habe.
Dennoch konzentrierten sich unter Zeitdruck stehende Redakteure, Professoren und Administratoren oft auf die Plagiat-Scores der Erkennungssoftwares, wenn sie Entscheidungen treffen, die für Wissenschaftler und Stipendiaten von entscheidender Bedeutung sind, schreibt Weber-Wulff in einem Artikel für Nature (567: 435). Sie, Cramer und Meuschke sind sich einig: Es ist unabdingbar, dass ein Mensch die Ergebnisse der Software-Systeme nicht einfach hinnimmt, sondern kritisch überprüft. „Der Score ist bestenfalls ein Hinweis“, macht Cramer deutlich und ergänzt: „Doch das verstehen leider viele meiner Kollegen nicht. Es kann immer Gründe geben, dass wir ein Paper mit hohem Score publizieren – etwa, weil es vorher lediglich auf einem ausgewiesenen Preprint-Server liegt.“ Außerdem lauern nicht selten hinter vermeintlichen Plagiaten absolut korrekt zitierte Methodenkapitel oder wie bei Bonnefon Affiliations und Referenzlisten. „Jeder Nutzer einer solchen Software sollte zwei Dinge im Kopf behalten: falsch positive und falsch negative Ergebnisse. Ich habe verschiedene Systeme gesehen, die einen Text als vollständig oder teilweise plagiiert eingestuft haben – oder als plagiatfrei“, berichtet Weber-Wulff.
Weber-Wulff ermahnt deshalb zum korrekten Umgang mit den Erkennungssystemen und hält spezielle Trainings für Nutzer für sinnvoll. „Nicht nur, wie die Software bedient wird, sondern auch, wie sie mit den Ergebnissen aus den Systemen umzugehen haben und was diese bedeuten.“ Weber-Wulff hat noch einen weiteren Tipp: „Jeder Redakteur eines Fachjournals, der selbst publiziert hat, sollte eines seiner eigenen Paper mal durch ein paar Erkennungssysteme schicken, um zu sehen, wie groß die Rate der falsch positiven und falsch negativen Ergebnisse ist. Das rückt den Plagiat-Score aus den Ergebnisberichten in ein ganz neues Licht.“
Auch bei Grubisic musste sich letztlich der Chefredakteur einschalten. Er nahm das Resultat der Plagiats-Erkennungssoftware nicht für bare Münze und erkannte glücklicherweise schnell, dass Grubisic keinen Fehler gemacht und es sich bei der vermeintlich kopierten Quelle um ihre eigene Dissertation gehandelt hatte. Dennoch waren insgesamt drei Einreichungen und zwei Wochen Bangen nötig, bis das durch die Plagiats-Erkennungssoftware verursachte Problem gelöst wurde. Grubisics Manuskript schaffte es schließlich in den Review-Prozess und erschien ein halbes Jahr später.