Die Wissenschaft reflektiert die Grundnormen der Forschung

Zu den Grundregeln der modernen, empirischen Wissenschaft gehört, dass Forschungsergebnisse veröffentlicht werden, und dass sie nachvollziehbar, überprüfbar und letztlich bestätigt sind. Die Wiederholung von Experimenten spielt dafür – wie das Peer Review-Verfahren für die Begutachtung von Publikationen – eine Schlüsselrolle. Dass sich Forschungsergebnisse wiederholen lassen und verschiedene Forschungsgruppen bei gleichen Bedingungen übereinstimmende Ergebnisse erzielen, ist eine Vorbedingung dafür, dass wissenschaftliche Erkenntnisse akzeptiert werden und wissenschaftliche Aussagen glaubwürdig sind.

Erklärbare und störende Erschwernisse

Diese Reproduzierbarkeit durchgehend umzusetzen, ist in der Praxis jedoch nicht in jedem Fall ganz einfach: In einer NATURE-Umfrage von 2016 zeigte sich, dass über 70 Prozent von 1576 befragten Forschenden scheiterten, als sie die Experimente einer anderen Wissenschaftler:in reproduzieren wollten, und mehr als die Hälfte schaffte es auch nicht, die eigenen Experimente zu reproduzieren. Das hat nicht zwingend mit unredlicher oder schlechter Wissenschaft zu tun. In der Biologie zum Beispiel gibt es gewisse Resultate, die zum Teil schlecht reproduzierbar sind allein aufgrund der Variabilität des verwendeten Zellmaterials (vgl. ETH-News, 13.03.2019).

Es gibt jedoch tatsächlich Hindernisse, welche die Reproduzierbarkeit empirisch gewonnener Daten teilweise erschweren, und die die wissenschaftliche Gemeinschaft derzeit rege diskutiert. Vor diesem Hintergrund findet nächste Woche an der ETH Zürich die erste Schweizerische Konferenz für Reproduzierbarkeit statt. Diskutiert werden da drei Themen: «Reproduzierbarkeit und Replikation», «Transparenz und offene Wissenschaft» sowie «Meta-Forschung und Bewertung (engl. assessment)». Organisiert wird sie vom Schweizerischen Nationalfonds SNF und vom Schweizerischen Netzwerk für Reproduzierbarkeit SwissRN, dem sich die meisten Schweizer Universitäten angeschlossen haben.

Das SwissRN setzt sich für rigorose Forschungspraktiken und robuste Ergebnisse in der Schweiz ein. «An der Konferenz tauschen sich Forschende darüber aus, welche neuen Techniken und Methoden sich besonders eignen, damit die Forschungsresultate nachvollziehbar und Experimente wiederholbar sind», sagt Daniel Stekhoven. Der Mathematiker vertritt die ETH Zürich im Steuerungsausschuss von SwissRN und ist Mitorganisator der Konferenz. Seit bald zehn Jahren leitet er die ETH-Technologieplattform NEXUS, die biomedizinische Forschungsprojekte unterstützt.

Neue Ansätze für neue Datenvielfalt

Bei der Reproduzierbarkeit werden die Studienergebnisse durch eine neue Analyse der zugrundeliegenden Daten mit den gleichen Methoden überprüft. Bei der Replikation wiederholt eine Forscher:in eine wissenschaftliche Studie in einem neuen Experiment unter möglichst identischen oder auch leicht veränderten Versuchsbedingungen. Zu beachten ist freilich, dass unterschiedliche Definition verbreitet sind.

«Reproduzierbarkeit und Replikation sind für den wissenschaftlichen Prozess wichtig. Um sie in der Praxis umzusetzen, stellen sich jedoch ein paar Herausforderungen», sagt Daniel Stekhoven. Die Gründe dafür liegen nur bedingt am Forschungsprozess: Forschende stellen zumeist eine Hypothese auf, planen dazu ein Experiment und analysieren, ob ihre Annahme zutrifft oder nicht. «Was sich in den letzten Jahren massiv geändert hat», sagt Stekhoven, «sind auf der einen Seite die riesigen, meist hochdimensionalen Datenmengen, die in der empirischen und in der klinischen Forschung bearbeitet werden. Auf der anderen Seite nimmt die Anzahl neuer Forschungspublikationen enorm zu».

Beides sind quantitative Phänomene, die die Überprüfung von Forschungsergebnissen erschweren können und nach neuen statistischen Methoden und erweiterten Ansätzen der Forschungsevaluation rufen – sonst besteht ein Risiko, dass Forschende verfrühte Schlussfolgerungen widerrufen müssen. Tatsächlich nimmt seit geraumer Zeit auch die Anzahl jener Forschungsartikel zu, die nach der Publikation in einem Journal zurückgezogen werden. Auf der Webseite externe Seite Retraction Watch ist jeweils nachzulesen, welche Publikationen aus welchen Gründen zurückgezogen wurden.

Viele Entwicklungen, die der Forschungsqualität abträglich sind, wurden erkannt. Neben den Forschenden haben auch die Hochschulen, forschungspolitische Dachorganisationen und Förderinstitutionen Initiativen und Programme ergriffen, um die Wiederholbarkeit und Transparenz im Forschungsprozesses zu stärken. «An der Konferenz geht es vor allem auch darum, das Know-how über neue Ansätze zu teilen, die im Arbeitsalltag tatsächlich die Qualität der Forschung verbessern und zu einer reproduzierbaren und offenen Forschung beitragen», sagt Leonhard Held, Mitglied im Steuerungsausschuss von SwissRN.

Der Professor für Biostatistik und Open Science Delegierte der Universität Zürich leitet dort das Center for Reproducible Science, das Forschende in guten Forschungspraktiken ausbildet sowie neue Methoden der Reproduzierbarkeit und Replizierbarkeit entwickelt. «Ein aktueller Fokus liegt darauf, dass auch die Methoden der Analyse transparent, dokumentiert und reproduzierbar sein müssen», sagt Held.

Code offenlegen und Forschungsplan vorveröffentlichen

Aufgrund der wachsenden Datenmengen und der zunehmen Anzahl von Analyse-Tools gewinnt die computergestützte Reproduzierbarkeit der Berechnungen (engl. computational reproducibility) an Bedeutung. Bei dieser geht es nicht nur darum, die Ergebnisse einer computergestützten Studie unabhängig zu überprüfen, sondern auch darum, nachzuvollziehen, wie die verwendete Software die Ergebnisse beeinflusst und darum, ob sich die Berechnungen wiederholen lassen. Ein zunehmend an Bedeutung gewinnender Ansatz betrifft die Offenlegung des verwendeten Codes.

In der biomedizinischen Forschung und in den Life Sciences, sagt Stekhoven, sei es heute schon so, dass die Forschenden, wenn sie eine Studie in einem Journal veröffentlichen wollen, die verwendeten molekularen Daten auf ein Archiv hochladen müssten. Bei den computergestützten Methoden hingegen reiche es in der Regel, wenn sie im Methodenteil oder im Anhang kursorisch beschrieben seien – ausser ein Journal wie etwa Bioinformatics fokussiere ganz auf Methoden. «Für die computergestützte Reproduzierbarkeit hätte idealerweise jedes publizierte Paper jeweils einen Link für den Code zu einem GitHub Repository und einen zu einem Archiv für die Daten.»  Solche Lösungen gibt es bereits: für molekulare Daten gibt es das externe Seite ENA (European Nucleotide Archive) oder das externe Seite EGA (European Genome-Phenome Archive).

Reproduzierbarkeit und Replikation sind zwei Kernaspekte einer offenen Wissenschaft. Open Science oder Open Scholarship gehen jedoch weiter: sie umfassen auch den freien Zugang zu Publikationen und Daten. Dazu gehören die Förderprogramme für offene Forschungsdaten, die der ETH-Rat, das Führungsgremium des ETH-Bereichs, und Swissuniversities, die Dachorganisation der Schweizer Hochschulen, lanciert haben. Dazu gehören die Data Stewards (m/w/d), die Forschungsgruppen im Management offener Forschungsdaten und bei reproduzierbaren Datenworkflows unterstützen. Als Leitlinie für den Datenaustausch dienen die FAIR-Prinzipien (engl. Findable, Accessible, Interoperable, Reusable), die den Datenaustausch fördern, ohne bedingungslose Offenheit einzufordern.

Ein Ansatz zu mehr Transparenz, der nun diskutiert wird, ist die Prä-Registrierung. Gemeint ist damit, dass Forschende ihren Forschungsplan und das Design eines geplanten Experiments veröffentlichen, bevor sie ein Experiment durchführen, Daten erheben und eine Studie veröffentlichen. Solche Prä-Registrierungen können mit oder ohne Begutachtung erfolgen, sie erhalten in der Regel jedoch einen DOI (externe Seite Digital Object Identifier), der sie wie eine Publikation zitierbar macht.

Prä-Registrierungen können die Transparenz erhöhen, weil sich die finalen Ergebnisse mit dem ursprünglichen Plan vergleichen lassen. Zudem tragen sie dazu bei, eine Verzerrung beim Publizieren zu vermeiden, indem vor allem positive Resultate in Journals erscheinen. Eine begutachtete Registrierung garantiert eine Publikation auch für negative Resultate, wenn etwa eine Hypothese nicht bestätigt wird. «Die Prä-Registrierung ist ein wichtiges Werkzeug der Open Scholarship. Sie hat sich bei klinischen Studien und in der Psychologie bewährt und ist auch für andere Disziplinen der empirischen Forschung interessant», sagt Leonhard Held.

Neuer CV für andere Leistungsbeurteilung

Mit Blick auf die Wiederholbarkeit von Forschungsarbeiten begrüsst Held auch neuere Ansätze der Forschungsbewertung und der wissenschaftlichen Leistungsbeurteilung, die nicht allein quantitativ auf die Anzahl Publikationen und Zitationen setzen. Als gute Ansätze für Research Assessments bezeichnet er die Initiativen externe Seite DORA und externe Seite CoARA sowie ein externe Seite neues CV-Format, das der SNF 2022 eingeführt hat: Dieses will zum Beispiel die Qualität der wissenschaftlichen Arbeit und den Wert von Forschungstätigkeiten, die nicht zu Publikationen führen, angemessener erfassen.  

An dieser Stelle kommt die externe Seite Meta-Forschung ins Spiel: weil all diese neuen Ansätze und Massnahmen für Reproduzierbarkeit, Replikation und Transparenz ihrerseits überprüft werden müssen, um sicherzustellen, dass sie wirklich die erwartete Wirkung entfalten. «Alle neuen Ansätze, die wir zur Diskussion stellen, verfolgen ein Ziel: wir wollen die Qualität der Forschung verbessern», sagt Held.