Registered report

Ein Registered report (Registrierter Bericht) ist eine spezielle Einreichungsform in wissenschaftlichen Zeitschriften, bei welcher zunächst nur die methodische Vorgehensweise begutachtet wird. Die Datenerhebung und konkrete Datenauswertung erfolgt dann im zweiten Schritt, nachdem bereits die prinzipielle Zusage (engl. in-principle acceptance) zur Veröffentlichung des finalen Manuskripts gefällt wurde. Durch die Offenlegung der wissenschaftlichen Vorgehensweise und der Publikationsannahme unabhängig von den Studienresultaten sollen der Publikationsbias und daraus resultierende fragwürdige wissenschaftliche Praktiken wie HARKing und p-Hacking unterbunden werden.

Ein registrierter Bericht ist eine spezielle Form der Präregistrierung von Studien, welche ein zentrales Element der Open-Science-Praktiken darstellt.

Hintergrund

Das Ziel beim empirisch-quantitativen Testen von Theorie (vgl. statistischer Test) ist es, die Anwendbarkeit einer Theorie zu überprüfen. Der traditionelle Begutachtungsprozess bevorzugt jedoch teilweise Ergebnisse, die eine Theorie stützen, sowie solche Ergebnisse, die besonders neuartig sind und herkömmlichen Theorien widersprechen. Durchgeführte Studien, welche die aufgestellten Hypothesen nicht nachweisen konnten, werden Nullresultat genannt und sind meist viel schwieriger zu publizieren bzw. werden auch einfach häufig gar nicht publiziert (vgl. Publikationsbias). Der Einfluss solcher Erwartungen an die Studienergebnisse führt zu falschen Anreizen für fragwürdige wissenschaftliche Praktiken wie etwa HARKing und p-Hacking.

Ein verwandter Problemfall ist, wenn Gutachter oder Herausgeber von Autoren im Rahmen des Begutachtungsverfahren fordern, eine „passendere“ Theorie zu verwenden als ursprünglich geplant – häufig, um die vorgenannten Erwartungen an Studienergebnisse zu erfüllen. Solche Forderungen führen dazu, dass Autoren nun im Nachgang solange nach einer „passenden“ Theorie suchen, bis diese von den Daten bestätigt wird. Diese Theorie ersetzt dann im Manuskript die ursprüngliche Theorie und die Reihenfolge Hypothesenbildung–Hypothesentest wird damit unzulässigerweise verkehrt. Dies hat zur Folge, dass sich letztlich Theorien in Veröffentlichungen immer so verhalten, wie es von den Gutachtern bzw. Herausgebern ohnehin erwartet wurde. Die ursprünglich nicht zum Testen dieser Theorie erhobenen Daten stützen nun scheinbar diese Erwartungen. Dadurch etablieren sich Theorien, die eigentlich nutzloser sind, als es derartige veröffentlichte Artikel suggerieren. Auch dieser Problemfall macht das Testen von Theorien praktisch nutzlos.

Verfahren

Bei einem registrierten Bericht erstellen Autoren einer geplanten Studie ein erstes Manuskript mit dem theoretischen und empirischen Hintergrund, Hypothesen, Forschungsdesign, geplanten Datenanalysen sowie ggf. Pilotdaten. Nach Einsendung bei der Fachzeitschrift wird dieses erste Manuskript begutachtet, noch bevor die eigentlichen Daten erhoben werden. Im Falle einer positiven Begutachtung wird das nach Datenerhebung zu erstellende Manuskript unabhängig von den Studienergebnissen bereits prinzipiell angenommen. Nach Abschluss der Studie wird das Manuskript mit den Resultaten und Auswertungen erweitert und wieder eingereicht. Die zweite Begutachtungsrunde dient dann vor allem der Prüfung auf die Einhaltung des präregistrierten Studienprotokolls.

Bei registrierten Berichten, bei dem insbesondere auch negative Ergebnisse publiziert werden können, ist wichtig, dass die durchgeführten Tests eine niedrige Falsch-negativ-Rate haben (also eine hohe Richtig-negativ-Rate, bzw. Trennschärfe eines Tests).

Weblinks

• Webseite zu Registered Reports (auf Englisch) beim Open Science Framework (OSF)
• Webseite zu Präregistrierung mit Abschnitt zu Registered Reports beim Leibniz-Zentrum für Psychologische Information und Dokumentation