The Future is Open Science – Folge 60: Replication Games

Dr. Doreen Siegfried
Leitung Marketing und Public Relations, ZBW – Leibniz-Informationszentrum Wirtschaft

Prof. Dr. Jan Marcus
Professor für Angewandte Statistik, Freie Universität Berlin

[00:00:00] Intro

[00:00:03] Jan Marcus:
Ja, das ist schön, dass man mit anderen Leuten zusammenarbeitet und vor allen Dingen an so einem Projekt, was nach einem Tag dann im Wesentlichen abgeschlossen wird. Also wann hat man das in der Wissenschaft sonst schon mal? Meine Projekte dauern einfach immer Jahre.

[00:00:18] Jan Marcus:
Und ansonsten glaube ich, ist es gut, wenn Leute aus unterschiedlichen Stufen dabei sind. Für Promovierende ist es auf jeden Fall super, weil es dann sehr, sehr früh in der eigenen Wissenschaftskarriere verankert wird. Ich glaube, die können viel lernen.

[00:00:35] Jan Marcus:
Und ich glaube, es ist auch ein Anreiz für einige Leute, dass man eben die Möglichkeit hat, als Co-Autorin oder Co-Autor bei einem dieser Meta-Paper geführt zu werden. Zum Beispiel bei diesem Nature Papier.

[00:00:50] Doreen Siegfried:
Hallo und herzlich willkommen zu einer neuen Folge von „The Future is Open Science“, dem Podcast der ZBW. Mein Name ist Doreen Siegfried und ich treffe mich hier mit ganz unterschiedlichen Leuten aus dem Wissenschaftsbetrieb, die Ihnen verraten, wie sie in ihrer täglichen Arbeit Open Science voranbringen. Heute sprechen wir über Spiele in der Wissenschaft oder genauer über ein Format, das Wirtschaftsforschung zum Mannschaftsspiel macht, mit Regeln, mit Zeitdruck, mit Zusammenarbeit. Und mit der Frage, ob wissenschaftliche Ergebnisse am Ende wirklich standhalten. Und dazu habe ich mir einen Gast eingeladen, der Professor ist für Angewandte Statistik an der Freien Universität Berlin. Er forscht nicht nur zur Frage, wie reproduzierbar Wissenschaft eigentlich ist. Er hat die Replication Games sozusagen erstmalig nach Berlin geholt und damit auch erstmalig nach Deutschland. Und um welche Art von Wissenschaftsspiel es sich hier genau handelt, das erfahren wir gleich. Herzlich willkommen, Professor Dr. Jan Marcus.

[00:01:54] Jan Marcus:
Frau Siegfried, vielen Dank für die Einladung. Ich freue mich.

[00:01:56] Doreen Siegfried:
Viele könnten sich vielleicht von unseren Zuhörenden unter dem Format Replication Game noch nicht so viel vorstellen. Was ist ein Replication Game? Was muss man sich vorstellen?

[00:02:08] Jan Marcus:
Also bei den Replication Games handelt es sich um eintägige Events. Bei dem man versucht, einen wissenschaftlichen Artikel in einem Team zusammen zunächst zu reproduzieren. Also man guckt, ob, wenn man die Daten und den Code hat, ob man im Idealfall nur auf ein Knöpfchen drücken muss, und dann kommen die ganzen Ergebnisse rausgesprudelt. Also ob man es erstmal computergesteuert reproduzieren kann. Und dann überlegt man mit den anderen Mitgliedern des Teams, ob man… Ja, wie man weiter vorgeht mit diesem Artikel. Ob man noch zusätzliche Robustheitsprüfungen durchführt. Ob man irgendwie den Code sich noch mal genauer anguckt oder auch noch mal schaut, ob das, was da im Artikel beschrieben wird, ob das mit dem Code so zusammenpasst. Und man kann bei diesen Replication Games, kann man entweder vor Ort teilnehmen oder ─ das Ganze sind so hybride Events. Man kann also auch zugeschaltet daran teilnehmen. Und vor Ort macht es natürlich noch ein bisschen mehr Spaß, weil man dann direkt mit den anderen Leuten zusammenarbeiten kann. Aber ich finde auch eine Hybride- oder eine Online-Teilnahme macht eben…, ermöglicht auch eine Teilnahme von Leuten, die sonst nicht teilnehmen könnten. Weil sonst eben ja die, die kein großes Forschungsbudget haben die Leute… oder zum ersten Mal, als ich an so einem Replication Game teilgenommen habe, hatten wir noch ein kleines Kind dabei. Da wäre ich wahrscheinlich nicht irgendwo hingereist, aber durch die hybride Option konnte ich dann so auch daran teilnehmen.

[00:03:26] Doreen Siegfried:
Ja, okay. Sie haben jetzt gesagt, also eine eintägige Veranstaltung. Wie muss man sich das vorstellen, tatsächlich vom ersten Begrüßen bis zur Verabschiedung? Wie läuft so ein prototypischer Tag ab?

[00:03:40] Jan Marcus:
Ja, am besten muss man anfangen, bevor es mit dem Tag losgeht.

[00:03:43] Doreen Siegfried:
Ja.

[00:03:44] Jan Marcus:
Da ist nämlich die Vorbereitung schon mal ganz gut, dass man bis dahin eigentlich ein Paper ausgewählt haben sollte in der Gruppe oder sich darauf geeinigt hat, was man eben reproduzieren und replizieren möchte. Am Tag selber gibt es dann eben dann die Begrüßung, wo alle Teams dann eben gemeinschaftlich begrüßt werden. Dass man eben nicht nur mit seinem eigenen Team in einer größeren Gemeinschaft ist, sondern mit allen anderen Teams, die dann da sind. Und dann hängt es von jedem Team ab, wie es dann weitergeht. Ich glaube, ganz wichtig ist, dass es innerhalb der Teams dann eine gute Aufteilung gibt. Im Idealfall haben auch alle vorher das zu replizierende Paper vorher gelesen. Und dann das, was die meisten Teams machen, dass man erstmal mit dieser Reproduzierbarkeitsprüfung anfängt. Ja, was so ein Mindeststandard eigentlich sein sollte, um zu gucken, ob man erstmal auf dieselben Ergebnisse kommt, wie die Originalautoren. Bei dem Replication Game in Berlin, was wir gemacht haben, habe ich auch in einer Gruppe teilgenommen. Da haben wir uns dann nach der Reproduzierbarkeit dann, nachdem wir das festgestellt hatten, dass es eben reproduzierbar ist, so ein bisschen aufgeteilt. Ja, dann haben einige so bestimmte Robustheitsprüfungen durchgeführt. Andere haben dann noch mal genau abgeglichen: Was steht im Text, in dem Manuskript drin? Was ist im Code? Passt das irgendwie zusammen? Und wiederum andere sind dann so den ganzen Code durchgegangen und haben versucht, die ganzen Schritte nachzuvollziehen, die die Originalautoren da gemacht haben. Oder eben geguckt, ob da sich irgendwelche Fehler eingeschlichen haben. Und das ist dann so die Arbeit im Team und zwischendrin gibt es dann eben eine Mittagspause oder sowas, wo man die anderen Teams dann trifft. Dass man mal kurz durchatmen kann, so ein bisschen Erfahrungen austauschen kann und nach dem Mittagessen geht es dann direkt wieder weiter. Am Ende des Tages sollte man eben dann so einen kleinen Report schreiben. Dafür gibt es dann so eine strukturierte Vorlage. Im Idealfall macht man das noch an dem Tag selber. Tatsächlich passiert es dann eben oft, dass der Report dann auch noch danach finalisiert werden kann. Ja, und mit diesen ganzen Reports, die dann eingegangen sind, die Ergebnisse von diesen einzelnen Reports, die werden dann zusammengefasst zu einem sogenannten Meta-Paper. Also wo es dann eben nicht nur um die Replikation von einzelnen Studien geht, sondern wo man versucht, so einen größeren Überblick über den Stand der Replikationen in den wissenschaftlichen Zweigen dann eben zu bekommen. Und diese Meta-Paper werden von dem Institute for Replication, unserem Partner bei diesen Replication Games, zusammengeschrieben. Und da ist jetzt erst kürzlich eins von diesen in Nature erschienen…

[00:06:12] Doreen Siegfried:
Ah, okay.

[00:06:12] Jan Marcus:
… also in dem Nature Journal. Und ein anderes ist jetzt in Proceedings of National Academy of Science veröffentlicht worden. Also dass man eben sieht, da ist ein großes Interesse über Wissenschaftsgrenzen hinweg, an dem Stand der Reproduzierbarkeit, am Stand der Replizierbarkeit.

[00:06:27] Doreen Siegfried:
Ja, okay. Also, wenn da was in Nature erscheint, das ist ja dann auf jeden Fall schon der Ritterschlag, würde ich sagen. Also das heißt, wenn ich es richtig verstanden habe: Wenn ich an so einem Replication Game teilnehmen will, muss ich mir vorher schon tatsächlich irgendwie eine Studie überlegt haben oder ausgesucht haben und auch schon meine Teammitglieder mitbringen.

[00:06:48] Jan Marcus:
Ganz so viel Vorarbeit braucht man noch nicht mal da reinstecken.

[00:06:53] Doreen Siegfried:
Okay.

[00:06:53] Jan Marcus:
Das Schöne ist, dieses Institute for Replication, mit dem wir das zusammen gemacht haben, die haben ganz viel Erfahrung darin, solche Replication Games aufzusetzen. Die machen vorher schon so eine Vorauswahl von Papieren, die sich eignen für so eine Replikation. Und man kann natürlich sein eigenes Team mitbringen. Man kann aber auch einfach sagen: „Ich habe Lust teilzunehmen. Lost mich oder ordnet mich doch bitte einem Team dann zu.“ Und da wird dann eben geguckt, dass das so von der Statistiksoftware, die man nutzt, so ein bisschen passt und auch so thematisch, dass es da eine Nähe gibt. Und dann bekommen die Teams, egal ob die jetzt zusammengewürfelt worden sind oder schon vorher festgelegt sind, die bekommen eine Liste mit möglichen Papieren vorgelegt und können sich dann eins aussuchen, von denen, wo sie denken, die Methodik verstehen sie hier ganz gut oder es ist auch inhaltlich einfach total spannend, was dann da ist. Die Hürden sind relativ niedrig, daran teilzunehmen. Gut ist es nur eben, wenn man vorher schon dieses Papier gelesen hat und vorher eben eins ausgewählt hat als Team, dass man dann an dem Tag des Replication Games direkt starten kann.

[00:07:56] Doreen Siegfried:
Ja, ja, okay, dass man da nicht erst noch versuchen muss, das überhaupt zu verstehen. Okay. Jetzt klingt ja der Titel Replication Game bewusst spielerisch, so ein bisschen wie Olympische Spiele. Was ist denn das Spielerische an den Replication Games?

[00:08:10] Jan Marcus:
Also, ich glaube ja, dass dieser Titel gewählt wurde, um so Leute, die so ein bisschen spielerischer veranlagt sind, wie ich, um die zu gewinnen…

[00:08:17]
[beide lachen]

[00:08:17] Jan Marcus:
…für die Teilnahme.

[00:08:19] Doreen Siegfried:
Hat ja funktioniert.

[00:08:20] Jan Marcus:
Hat funktioniert, ja. Ne, im Ernst. Also da ist jetzt nicht irgendein Wettkampfgedanke, der dahintersteckt. Aber ich glaube, das Spielerische, das signalisiert dann eben, dass hier so eine gewisse Leichtigkeit da drin ist und dass eben Teamarbeit ganz wichtig ist. Ja, also eine gewisse Leichtigkeit sage ich, weil es ist jetzt, die Karriere von einzelnen Leuten entscheidet sich nicht an diesem Replication-Game-Tag oder sowas. Es ist auch nicht das, was jetzt die Karriere völlig verändern wird, was da rauskommt. Also dadurch so eine gewisse Leichtigkeit. Aber eben wichtig ist auch diese Teamarbeit und der Spaß, der dann dahintersteckt. Ja, das ist schön, dass man mit anderen Leuten zusammenarbeitet und vor allen Dingen an so einem Projekt, was nach einem Tag dann im Wesentlichen abgeschlossen wird. Also, wann hat man das in der Wissenschaft sonst schon mal? Meine Projekte dauern einfach immer Jahre, wo man da irgendwie lange dran arbeitet und die Erfolgsergebnisse dann erst sehr, sehr spät dann sieht. Und hier ist das Schöne, dass man es eben relativ schnell abgeschlossen hat und zusätzlich noch was Neues einfach kennenlernt, neue Leute kennenlernt, neue Studien, neue Methodik, neue Arten des Codierens.

[00:09:24] Doreen Siegfried:
Ja, okay. Also das heißt, man muss nicht am Ende des Tages als erster fertig sein und über die Ziellinie sprinten, sondern es geht… Es ist ein Mannschaftsspiel. Ja. Okay. Was unterscheidet denn jetzt das Format Replication Game von einem normalen Workshop oder von der normalen Methodenveranstaltung?

[00:09:42] Jan Marcus:
Bei einem normalen Workshop ist es ja oft so, dass die Leute ihre Forschungsarbeiten vorstellen, wenn die so ein bisschen work in progress sind. Also schon vorher viel vorbereitet haben. Das ist hier nicht der Fall, dass man gar nichts erst mal vorbereiten muss. Oder auch bei einer klassischen Methodenveranstaltung ist es meistens so, dass jemand vorne irgendwie was doziert, was vorträgt. Auch das ist hier nicht. Sondern es ist viel, viel interaktiver und es hängt viel stärker von einem selber ab, was man da eigentlich rauszieht. Also es, würde ich sagen, es ist gar nicht zu vergleichen eigentlich mit Workshops oder diesen klassischen Methodenveranstaltungen, außer dass man mit fremden Menschen oder teilweise fremden Menschen dann an einem Ort sich trifft. Aber sonst vom ganzen Ansatz ist es dann sehr anders, weil man eben auch ein klares Ziel hat für diesen einen Tag, nämlich dass man diesen Report am Ende des Tages dann abgeschlossen hat.

[00:10:28] Doreen Siegfried:
Ja, okay. Und würden Sie sagen, dieser Ansatz „Ich bin im Team. Ich habe nach einem Tag irgendwie abends 18:00 Uhr oder spätestens am nächsten Tag einen fertigen Beitrag“… Würden Sie sagen, das hilft tatsächlich, Hemmschwellen gegenüber Replikationsarbeit abzubauen? Oder kommen sowieso nur Leute zu so einem Replication Game, die das schon fünfmal gemacht haben?

[00:10:50] Jan Marcus:
Ne, ich glaube eindeutig, dass es hilft, Hemmschwellen abzubauen gegenüber Replikationsstudien. Es sind sehr viele Promovierende, die auch mitmachen daran, die darüber dann schon auch mal in Kontakt kommen mit Replikationen, die dann eben sehen, „Okay, das ist auch für meine eigene Forschung total wichtig.“ Man kann ja immer auf beiden Seiten von so einem Replication Game stecken. Es kann sein, dass meine eigene Arbeit irgendwann auch mal reproduziert oder repliziert werden soll. Das heißt, dass man dann schon darüber nachdenkt, wie muss ich mein Code eigentlich aufsetzen, damit andere Leute da nicht total drüber nachdenken oder grübeln, wie das irgendwie gemeint sein könnte oder was man hier jetzt macht. Also deshalb glaube ich, dass gerade bei Promovierenden dann schon sehr früh die Hemmschwellen dann herabgesenkt werden, sich damit zu beschäftigen oder aber auch die Wichtigkeit davon herausgestellt wird.

[00:11:39] Doreen Siegfried:
Ja, okay. Jetzt habe ich sie ja anmoderiert …

[00:11:42] Doreen Siegfried:
[lacht]

[00:11:43] Doreen Siegfried:
…mit den Worten, dass Sie sozusagen die Replication Games nach Deutschland geholt haben. Sie haben letztes Jahr, also 2025 im September, an der FU tatsächlich Replication Games veranstaltet. Sie waren der Hauptinitiator. Wie fällt jetzt Ihr persönliches Fazit aus so ungefähr ein halbes Jahr später?

[00:12:06] Jan Marcus:
Sehr positiv. Also, würde ich noch mal machen. Hat in der Organisation viel, viel Spaß gemacht. Und war auch gar nicht so super aufwendig, weil wir eben mit diesem Institute for Replication einfach einen sehr guten und sehr professionellen Partner hatten, die schon extrem viel Erfahrung mit diesen Replication Games hatten. Also für mich als lokalen Organisator hat das sogar bedeutet, dass ich an dem Tag selber nicht nur Organisator war, sondern auch Teilnehmer. Also ich konnte einfach in einem Team dann auch mitmachen. Hat mir also doppelt Freude bereitet darüber.

[00:12:36] Doreen Siegfried:
Ja, okay. Das ist natürlich sehr komfortabel, wenn man da sozusagen nicht nur am Spielfeldrand stehen muss, sondern auch mitspielen darf, wenn wir mal in diesem Bild bleiben. Wenn Sie jetzt diesen Tag in wenigen Sätzen beschreiben: Was haben Sie beobachtet? Was ist da passiert, auch bei den Leuten, die mitgemacht haben?

[00:12:56] Jan Marcus:
Sehr unterschiedlich natürlich, was die einzelnen Leute mitgenommen haben. Am Anfang,  die, die sich gar nicht damit auskannten, haben dann gedacht, „Oh, das geht total schnell und ist total einfach.“ Und dann hat man erst mal gemerkt: Oh, selbst so was wie computational reproducibility, also dass man einfach nur auf einen Knopf drückt und dann dieselben Ergebnisse bekommt, auch das ist gar nicht so einfach zu erreichen, wenn man eine andere Software nutzt oder irgendwelche Pfade nicht so richtig passen, dass man das erstmal anpasst. Und, das, was ich dann beobachtet habe, dass viele Leute dann auch unterschätzen, wie schwierig es ist, das quasi noch mal genau zu verstehen: Was wurde im Paper gemacht und wie hängt das mit dem Code eigentlich zusammen?

[00:13:32] Doreen Siegfried:
Ja.

[00:13:32] Jan Marcus:
Weil man da sehr viel Wissen eigentlich dann auch braucht über… Oder sich da einarbeiten muss. Was sind eigentlich die ökonometrisch statistischen Methoden, die da passieren? Wie werden die umgesetzt und ist das sinnvoll in diesem Kontext?

[00:13:44] Doreen Siegfried:
Ja, okay. Sie haben ja selbst auch schon als Teilnehmer vorher bei Replication Games mitgemacht. Was war jetzt bei Ihrem eigenen… Gab es irgendwas, wo Sie sagen würden, das war jetzt ein bisschen anders als erwartet? Oder war das genau so, wie Sie es auch selbst schon erlebt haben im Vorfeld?

[00:14:01] Jan Marcus:
Also als Teilnehmer habe ich bislang immer nur virtuell teilgenommen.

[00:14:05] Doreen Siegfried:
Okay.

[00:14:05] Jan Marcus:
Jetzt war es das erste Mal, dass ich vor Ort war, was total nett war. Ich habe nur am Anfang erwartet, dass dann bei der Begrüßung jemand sowas sagt wie: „Let the games begin“.

[00:14:13] Doreen Siegfried:
Ja, auf jeden Fall.

[00:14:14]
[beide lachen]

[00:14:15] Jan Marcus:
Das kam nicht. Das habe ich dann gesagt und hoffe, dass das sich natürlich jetzt für weitere Spiele auch etabliert da.

[00:14:20] Doreen Siegfried:
Ja, okay. Das ist jetzt natürlich gesetzt. Sehr schön. Wie ist denn Ihre Idee tatsächlich zu einem solchen Replication Game entstanden? Warum haben Sie das gemacht?

[00:14:31] Jan Marcus:
Also, ich habe selber zweimal schon teilgenommen. Also einfach so ein Interesse daran gehabt. Fand ich irgendwie total spannend, eben weil es auch so eine abgeschlossene Veranstaltung dann war und eben dieses Spielerische zumindest im Titel hatte. Und dann ist das Institute for Replication auf mich zugekommen und hat mich gefragt, ob ich nicht Interesse hätte, sowas in Berlin zu veranstalten. Und brauchte ich gar nicht lange drüber nachdenken. Habe dann direkt zugesagt, habe mich eigentlich gefragt, warum ich nicht selber auf die Idee gekommen bin, das zu machen, weil wir in Berlin einfach auch eine große Community haben, die generell an Wissenschaft interessiert ist. Also nicht nur in der Szene der Ökonominnen und Ökonomen, aber auch in anderen Disziplinen, die eben auch an Replikation und Reproduktion interessiert sind. Und das hat eben dann viel Freude gemacht, auch da bei diesem Replication Game zu sehen, es sind jetzt nicht nur Leute aus der Volkswirtschaftslehre, die kommen, sondern es kamen dann eben auch Leute aus Politikwissenschaft, aus der Epidemiologie…

[00:15:27] Doreen Siegfried:
Ah, okay.

[00:15:27] Jan Marcus:
Also von der Charité hatten wir auch Leute da. Und wir hatten sogar auch ein Team, was extra aus Polen angereist ist,

[00:15:34] Doreen Siegfried:
Ah, ja.

[00:15:34] Jan Marcus:
weil die in unterschiedlichen Universitäten und unterschiedlichen Städten in Polen waren und für die Berlin einfach vom Ort her dann ganz gut passte. Die haben also ihr eigenes Event dann noch da draufgesetzt.

[00:15:44] Doreen Siegfried:
So einen kleinen Betriebsausflug quasi an die FU. Ja, okay. Gab es denn irgendwas, wo Sie sagen würden, das hat Ihnen jetzt als Initiator besonders Freude gemacht? Also gab es einen Moment, wo Sie dachten, „Okay, jetzt läuft’s.“? War das der Punkt, als Sie gesagt haben: „Mögen die Spiele beginnen“ oder gab es irgendeinen Moment, wo Ihr Herz ganz frei wurde?

[00:16:08] Jan Marcus:
Ja, kann man vielleicht wirklich so sagen, als ich gesagt habe:  „Mögen die Spiele beginnen.“ Als das dann kam, weil dann alle Leute vor Ort da waren. Dann sah man, dass die Leute, die sich angemeldet hatten, sich nicht nur angemeldet hatten, sondern auch vor Ort dann waren. Und dann wusste man eben, okay, wenn man jetzt vor Ort ist, selbst wenn irgendetwas passiert, man kann immer noch miteinander reden und dann irgendwelche Lösungen finden. Aber erstmal, dass alles da vor Ort war. Das war so was, wo mir so ein Stein vom Herzen gefallen ist und wo ich gedacht habe, okay, ja, komme was wolle, jetzt kriegen wir alles hin, was kommt, dass wir das zum erfolgreichen Abschluss bringen.

[00:16:37] Doreen Siegfried:
Ja, okay. Wenn wir jetzt vielleicht unseren Zuhörer:innen erklären, also, die vielleicht auch so eine Veranstaltung machen wollen. Was waren vielleicht die häufigsten Hindernisse bei den Teams?

[00:16:50] Jan Marcus:
Ein großes Hindernis war, dass man erstmal ein Team zusammenbekommen musste. Wenn das einmal war, war für mich als lokaler Organisator natürlich der große Vorteil, dass von diesem Institute for Replication sogar extra so ein sogenannter Game Master dann vorbeigekommen ist, …

[00:17:07] Doreen Siegfried:
Ah, okay.

[00:17:08] Jan Marcus:
… der da extra für die Spiele da war. Der hatte sogar auch noch eine Unterstützung hier aus dem Berliner Umkreis dabei. Und die haben dann die einzelnen Teams dann auch betreut und haben denen auch mit Rat und Tat zur Seite gestanden, wenn die irgendwelche Fragen hatten. Was ich da mitbekommen hatte, war ein großes Problem oder eine Herausforderung wirklich diese Reproduzierbarkeit, dass man also dieselben Ergebnisse bekommt. Und dafür ist eben wichtig, dass die Originalstudien auch eben Code und Daten bereitstellen. Dass ist das, was dieses Institute for Replication im Vorfeld dann auch schon mal checkt, um dieses allergrößte Hindernis schon im Vorfeld auszuräumen. Wenn man keinen Zugang zu den Daten hat und auch keinen Zugang zu den Codes, dann ist es unmöglich, das zu reproduzieren. Zumindest innerhalb von einem Tag. Und ansonsten gab es eben verschiedene Schwierigkeiten, was ja individuell für die Papiere dann auch war, wo man dann verstehen musste, was war jetzt hier eigentlich gemeint? Ist der Code vollständig oder nicht? Oder warum gibt es jetzt eine Fehlermeldung, die ich habe? Oder wie soll ich damit umgehen, wenn jetzt unterschiedliche Ergebnisse rauskommen, die man da hat? Aber da war es eben gut, dass unsere Partner vom Institute for Replication da vor Ort waren und sich um diese Fragen dann auch gekümmert haben mit ihrer ganzen gesammelten Expertise.

[00:18:23] Doreen Siegfried:
Ja, okay. Also das heißt, ich höre schon raus, wenn ich solche Replication Games machen will, sollte ich mir auf jeden Fall das Institute for Replication ins Boot holen.

[00:18:33] Jan Marcus:
Absolut. Das kann ich auf jeden Fall empfehlen das Institute for Replication.

[00:18:37] Doreen Siegfried:
Also, wenn Sie vielleicht noch mal so ein bisschen auf die Studien gucken, die da letztlich mitgebracht wurden. Können Sie vielleicht irgendwie so ein bisschen Kategorien entwerfen, wo Sie sagen, diese Art von Problemen lässt sich schnell lösen und diese Art von Problemen eher nicht so schnell?

[00:18:54] Jan Marcus:
Ja, also ich glaube, schneller lösen lässt sich zumindest die Verfügbarkeit von Daten und Code. Ja, das sollte eigentlich bei Studien einfach Standard sein. Bei Veröffentlichung. Dass das immer mitgeliefert wird. Ich weiß, bei Daten gibt es dann manches Mal Schwierigkeiten, weil man die Daten eben nicht teilen darf, weil ja jemand anderes die gesammelt hat oder da Persönlichkeitsrechte betroffen sind. Aber bei Code ist zumindest sehr wichtig, dass der dann eben geteilt werden kann. Und da gibt es eigentlich keine guten Gründe, weshalb Code nicht geteilt werden sollte. Das heißt, Code sollte immer geteilt sein, Daten im Idealfall schon, dass man die eben auch nutzen kann für die Reproduktion und dass man dann erstmal diese Computerreproduktion hinbekommt. Wenn man das erstmal geschafft hat als Team, dann ist man schon einen guten Schritt weiter, weil man dann eben auf die Spezifika des einzelnen Papiers eingehen kann.

[00:19:47] Doreen Siegfried:
Ja, ja, okay. Also wollen Sie das noch mal machen, frage ich mal? Würden Sie sagen, okay, das machen wir jetzt gerne noch mal in Berlin?

[00:19:56] Jan Marcus:
Also eigentlich kann ich mir das gut vorstellen. Also das erste Replication Game, an dem man teilnimmt, da lernt man besonders viel dazu. Und beim zweiten und dritten ist es vielleicht ein bisschen weniger, dass die Leute dann auch müde sind, das zu machen. Das heißt, man muss gucken, dass man dann auch wieder genug neue Leute hat. Aber in so einem großen Raum wie Berlin kann ich mir vorstellen, das alle zwei oder alle drei Jahre zu machen, dass da wieder genug frische Leute sind, die irgendwie Lust haben, das mitzumachen.

[00:20:19] Doreen Siegfried:
Ja, okay, auf jeden Fall. Das glaube ich. Manche können ja auch einfach nicht an dem Tag, weil sie vielleicht krank sind oder verreist oder wie auch immer. Wenn Sie das jetzt noch mal machen wollten, ein zweites Mal, gibt es irgendwas, wo Sie jetzt schon wissen, das würde ich auf jeden Fall anpassen, anders machen?

[00:20:37] Jan Marcus:
Eigentlich nicht viel. Also mit dem Institute for Replication ist das wirklich sehr, sehr gut. Die sind da auch sehr professionell, haben da auch so einen Rahmen. Ich würde auch gucken, dass ich die Wegbeschreibung zu den Räumen noch deutlicher mache, …

[00:20:47]
[beide lachen]

[00:20:47] Jan Marcus:
… weil nicht alle dann eben die Freie Universität in Berlin mit ihren Räumlichkeiten dann kennen. Bzw. die Räumlichkeiten auch manchmal sehr, sehr verwirrend sind. Aber das haben wir alles gut dann hinbekommen und alle Teilnehmenden haben das gefunden, den Weg, am Ende.

[00:21:00] Doreen Siegfried:
Ich glaube, das ist definitiv ein lösbares Problem. Machen wir doch mal weiter mit konkreten Tipps und Tricks. Also auch für Leute aus anderen Orten in Deutschland, die das vielleicht auch bei sich machen wollen. Also, wir haben jetzt schon mal gelernt, okay, ich hole mir auf jeden Fall das Institute for Replication dazu. Worauf muss ich dann vielleicht auch achten bei der Zusammensetzung der Teams? Also, was macht ein gutes Replication Team aus? Braucht es da unterschiedliche Kompetenzen, die gut verteilt sein sollten oder was wäre da Ihre Empfehlung?

[00:21:32] Jan Marcus:
Ich glaube, gut ist, wenn in einem Team alle Leute dieselbe Statistiksoftware verwenden oder sich zumindest damit auskennen. Und im Idealfall ist das sogar auch dieselbe Software, die in dem Originalpapier genutzt wurde. Dann profitiert man am stärksten. Ansonsten glaube ich, dass es gut ist, wenn das recht heterogen zusammengesetzt ist das Team. Es sollte, meines Erachtens, auf jeden Fall jemand mit ein bisschen mehr Erfahrung dabei sein. Also eine Person, die … Oder eine Wissenschaftlerin oder ein Wissenschaftler, der auch schon Erfahrungen mit dem eigenen Publizieren gemacht hat. Weil das hilft dann auch, um Verständnis für die Originalautoren ein bisschen zu haben. Wenn man selber schon mal publiziert hat, dann weiß man, es wäre natürlich wünschenswert, alles im Code super gut zu dokumentieren. Aber man weiß eben auch, dass man selten die Zeit hat oder sich die nimmt, im Nachgang noch mal seinen Code durchzugehen, zu entrümpeln, zu kommentieren oder sowas. Also, dass man da, wenn man selber publiziert hat, den Originalautoren ein bisschen großzügiger gegenüber sein kann. Und ansonsten glaube ich, ist es gut, wenn Leute aus unterschiedlichen Stufen dabei sind. Für Promovierende ist es auf jeden Fall super, weil es dann sehr, sehr früh in der eigenen Wissenschaftskarriere verankert wird. Ich glaube, die können viel lernen. Die haben auch manchmal so ein… Gerade wenn man im Nachgang noch ein bisschen was macht, haben Promovierende dann auch etwas mehr Zeit als jetzt gestandene Professorinnen oder Professoren, die in ganz viel Gremienarbeit involviert sind, so dass man sich dann im Nachgang auch die Arbeit so ein bisschen teilen kann. Und ich glaube, es ist dann auch gut, wenn es einige gibt, die die Methoden kennen. Es müssen nicht alle das kennen. Und wichtig ist, glaube ich, dass alle ein Interesse an dem Papier haben oder an der Forschungsfrage, die das Originalpapier behandelt. Dass man da so einen gemeinsamen Nenner hat und einfach interessiert daran ist, was da eigentlich passiert und wie robust die Ergebnisse sind, wie reproduzierbar oder replizierbar die Ergebnisse auch sind.

[00:23:22] Doreen Siegfried:
Das heißt, dem entnehme ich, dass die schon eher alle auch aus der gleichen Fachdisziplin kommen sollten. Oder würden Sie sagen, ach, ich kann die Teams auch mischen. Da kann auch, wie Sie sagten, jemand aus der Politikwissenschaft dabei sein oder jemand aus der Medizin. Solange die irgendwie wissen wollen, was da Person X aus der VWL herausgefunden hat. Oder ist das eher kontraproduktiv? Ne.

[00:23:46] Jan Marcus:
Ne, wenn es dieselbe Software und inhaltlich, ein inhaltliches Interesse daran, kann es sogar sehr befruchtend sein, dass die einen sich vielleicht stärker mit der Identifikation von kausalen Effekten auskennen und andere Disziplinen kennen sich vielleicht stärker mit Messfehlern oder generell mit Messungen dann aus, mit Skalierungen und Indexbildung oder sowas und sehen, was man da noch machen kann. Aber ich glaube, wichtig ist eben das gemeinsame Interesse und dass man zumindest irgendwie eine gemeinsame Software hat oder sich auf eine verständigt, die man da hat. Ansonsten wird es innerhalb von einem Tag dann sehr schwierig.

[00:24:22] Doreen Siegfried:
Ja, okay. Welche Rolle – weil Sie sagten, okay, es ist auf jeden Fall sinnvoll, da so ein Senior Researcher dabei zu haben und die Doktorand:innen können viel lernen – welche Rolle spielen denn da eventuell so gruppendynamische Effekte? Also, besteht die Gefahr, dass die Doktorand:innen oder vielleicht auch sogar noch die Studierenden, je nachdem wie jung die sind, sich da so ein bisschen an den Senior Researcher ranhängen?

[00:24:45] Jan Marcus:
Ich hoffe nur im Positiven dann ranhängen,

[00:24:48] Doreen Siegfried:
Ja.

[00:24:49] Jan Marcus:
weil ich kenne es von vielen Leuten, die am Anfang dann erstmal unsicher sind.

[00:24:52] Doreen Siegfried:
Ja, ja. Das meine ich.

[00:24:53] Jan Marcus:
„Oh, kann ich da überhaupt mitmachen? Ich kenne das ja auch gar nicht. Oder diese Methoden, ich kenne sie nicht bis ins Detail. Und ist das dann nicht total peinlich, wenn ich damit mache“. Und da können so Senior Researchers dann, glaube ich, so ein bisschen die die Ängste dann auch nehmen. Dass sie dann sagen, okay, man kann gar nicht alles kennen, was es gibt. Aber die Senior Researchers haben dann eben auch mehr Erfahrung, vielleicht wie man auch so ein Projekt zum Abschluss bringt. Dass man so ein bisschen die Zeit dann auch immer im Hinterkopf behält und weiß, okay, wir können jetzt nicht alles machen, was wir uns irgendwie vorstellen könnten. Weil wir haben nur diesen einen Tag im wesentlichen Zeit, um das zu machen. Und ansonsten, glaube ich, funktionieren Teams dann am besten, wenn sie ein gutes Verhältnis von Distanz und Nähe haben. Also in dem Sinne, dass es dann gut ist, wenn man sich für wichtige Sachen dann zusammen austauscht, also da viel Nähe hat. Aber dann ist man natürlich auch produktiver, wenn man trotzdem Phasen hat, wo jede/jeder für sich alleine dann auch ein bisschen arbeitet, dass man dann die Arbeitskraft am sinnvollsten nutzt. Und da wäre es natürlich dann schlecht, wenn eine Doktorandin oder ein Doktorand nur neben dem Senior Researcher daneben sitzt und über die Schulter guckt. Aber meine Erfahrung ist, dass die Promovierenden oft beim Codieren sogar dann noch viel, viel fixer sind oder sich besser auskennen, weil sie es selber machen als die … oder viel häufiger noch selber machen als die Senior Researcher, die dann doch seltener die Chance haben, in den Code dann reinzugucken. Also meine Erfahrung war, dass man so komplementäre Skills dann auch mit da reinbringt und davon dann eben auch profitieren kann.

[00:26:22] Doreen Siegfried:
Ja, okay. Und legen die Teams dann vorab so eine Art Zeitplan fest, dass sie sagen, „Okay, wir starten um neun. Bis elf sollten wir zumindest diese computational reproducibility gecheckt haben. Bis zwölf sollten wir das gemacht haben, weil dann ist die Mittagspause.“ Also, legt das Team vorab irgendwie so einen Plan fest oder läuft das irgendwie so ganz organisch?

[00:26:48] Jan Marcus:
Ja, ich glaube sehr gut organisierte Teams, die würden das vorher stärker strukturieren. In den Teams, in denen ich mitgemacht habe, haben wir das nie gemacht oder geschafft, weil wir uns untereinander auch nicht so kannten, weil wir auch nicht so viel Erfahrung mit diesen Replication Games oder Replications an sich hatten. Und das ist, glaube ich, der Hauptgrund – es ist vorher total schwer zu antizipieren, wie lange bestimmte Schritte dauern. Es kann sein, dass diese computational reproducibility, dass das ein Klick ist und dann ist man fertig damit.

[00:27:22] Doreen Siegfried:
Ja, okay.

[00:27:22] Jan Marcus:
Es kann aber auch sein, dass da total viele Sachen sind, wo man den Code noch mal anfassen muss und es dann einfach mehrere Stunden dauert. Es sind viele Sachen dabei, die man selber nicht so kontrollieren kann, vom Zeitumfang. Deshalb, glaube ich, ist es auch selbst bei erfahrenen Teams relativ schwierig, das im Vorfeld zu machen. Was wir dann gemacht haben war, dass wir eher so zwischendrin mal geguckt haben, gerade so nach der Mittagspause: „Okay, jetzt haben wir noch so und so viel Zeit. Wo stehen wir? Was können wir realistisch jetzt noch machen und wer übernimmt es dann bis zum Ende?“ Und dass wir dann irgendwie das so ein bisschen zusammentragen, dann auch am Ende nochmal. Und das glaube ich, erscheint mir auch jetzt, wo ich drüber nachdenke, auch als die sinnvollere Herangehensweise, dass man das nicht alles im Vorfeld schon macht, weil da zu viele Unbekannte drin sind. Aber wenn man dann einmal so, so drinsteckt und das schon so ein bisschen besser abschätzen kann, dass man dann frühzeitig anfängt, auch über das Ende des Tages nachzudenken, was man bis dahin dann eben geschafft haben möchte.

[00:28:18] Doreen Siegfried:
Ja, okay. Sie haben ja jetzt gesagt, dass es ein kooperatives Event war. Wie war denn genau die Zusammenarbeit mit dem Institute for Replication angelegt? Also, wer hat welche Aufgaben vor Ort gemacht? Welche Aufgaben lagen beim Partner? Wie haben Sie sich das aufgeteilt?

[00:28:37] Jan Marcus:
Also, ich war dann als lokaler Organisator für die Organisation vor Ort dann zuständig. Das beinhaltet das Buchen und zur Verfügung stellen von Räumlichkeiten, technischen Support, Organisation von Catering und insbesondere Werbung machen, …

[00:28:52] Doreen Siegfried:
Ja.

[00:28:52] Jan Marcus:
… weil ich als lokaler Organisator natürlich so die Community in Berlin dann besser kenne, da oder in verschiedene Communities auch rein strahlen kann. Und das Institute for Replication hat quasi alles andere gemacht.

[00:29:03]
[beide lachen]

[00:29:03] Jan Marcus:
Das bedeutet also den großen Teil der Arbeit. Heißt dann, so was wie diese Vorauswahl von möglichen Papern zu treffen. Auch die Zusammenstellung von den Teams hat das Institute for Replikation gemacht. Dann eben die Präferenz der einzelnen Teilnehmenden für Software oder Inhalte berücksichtigt und auch so ein bisschen so den Senioritätsgrad der Teilnehmende. Die haben dann auch das, also das Institute for Replication hat dann auch die konkrete Paper Auswahl mit den Teams koordiniert. Das war alles im Vorfeld. Und am Tag selber dann so das Erläutern von den Spielregeln und das den Teams beratend zur Seite stehen. Das hat das Institute for Replication dann während der Spiele gemacht. Und danach waren die dann eben auch involviert, weil die ganzen Reports, die dann geschrieben wurden, die teilt das Institute for Replication auch dann mit den Originalautoren, mit der Möglichkeit, dass die dann auch Stellung dazu nehmen. Und bevor die das an die Originalautoren schicken, gucken die aber zumindestens einmal dann darüber, dass das so gewisse Etikette dann auch berücksichtigt. Weil es geht insgesamt darum nicht um persönliche Anfeindungen, sondern es geht darum, die Wissenschaft voranzu …

[00:30:10] Doreen Siegfried:
Auf jeden Fall.

[00:30:10] Jan Marcus:
… voranzutreiben. Und das finde ich total gut, wie das Institute for Replication das macht. Dass man zum Beispiel nicht sagt, „die Autoren sagen das und das“, sondern dass man das ein bisschen neutraler macht. Und „in dem Manuskript steht das und das“, also dass es da nicht so eine persönliche Ebene dann da reinkommt, sondern dass dann eben die Originalautoren und die Replikatoren, dass die irgendwie beide so ein bisschen dazu beitragen, dass sich die Wissenschaft dann auch noch weiterentwickelt, nachdem die Originalstudie veröffentlicht worden ist. Und das ist eben auch das, was das Institute for Replication übernimmt. Diese Kommunikation mit den Originalautoren und dann irgendwann später, dass die ganzen Reports zu solchen Meta-Papern dann zusammengestellt werden, wo dann noch mal so übergeordnete Forschungsfragen behandelt werden.

[00:30:52] Doreen Siegfried:
Okay. Also das heißt, wenn ich mir mal angucke, das Institute for Replication macht solche Replication Games ja schon seit einiger Zeit in allen möglichen Orten, in Tokio, in London und jetzt auch in Berlin. Also, würden Sie sagen, es gab jetzt nicht das spezielle Berliner Modell, sondern man hat die Erfahrung jetzt in die Community gebracht und es denken eh alle global und ähnlich?

[00:31:18] Jan Marcus:
Genau. Natürlich gibt es dann immer vor Ort dann so ein bisschen Lokalkolorit. Also wir sind danach, haben auch noch das soziale Event dann gemacht, wo alle Teams dann dabei waren. Das war natürlich dann berlinspezifisch. Und ich würde sagen, was dann auch so ein bisschen berlinspezifisch war, war schon so diese interdisziplinäre Community, die wir dann da hatten, dass wir eben hier sehr viele Forscher von ganz unterschiedlichen Institutionen und ganz unterschiedlichen Bereichen hatten. Und das haben auch so die Game Master vom Institute for Replication gesagt, dass irgendwie die grobe Struktur ist sehr ähnlich zwischen den Replication Games, …

[00:31:52] Doreen Siegfried:
Ja.

[00:31:52] Jan Marcus:
…  aber doch ist jedes Replication Game dann irgendwie anders, weil es lebt ja auch von den Leuten, die dann vor Ort da sind und das machen.

[00:31:59] Doreen Siegfried:
Ja, ja, okay. Sie haben ja gesagt, sie waren lokal auch dafür zuständig, dass die ganze Veranstaltung beworben wurde. Würden Sie sagen, mit so einem Partner im Boot ist das auf jeden Fall ein Merkmal, was Pluspunkte bringt. Also erhöht das die Wahrnehmung der Veranstaltung. Gab es also positive Marketingeffekte?

[00:32:26] Jan Marcus:
Ja, und zwar in beide Richtungen.

[00:32:28] Doreen Siegfried:
Ah, ja.

[00:32:28] Jan Marcus:
Also ich glaube, dass es sowohl für das Institute für Replication als auch für uns als lokale Organisatoren gut ist, dass es ja unterschiedliche Netzwerke sind und dass die Netzwerke oder dass man dann voneinander dann profitiert. Also das Institute for Replication ist in der Volkswirtschaftslehre schon relativ bekannt, aber eben auch noch nicht bei allen. Das heißt, jede neue Veranstaltung, die man macht, macht dieses Institut bekannter. Aber auch über die Ökonomengrenze hinweg wird das Institut dann bekannt. Und für uns war es natürlich ein Riesenvorteil, dass das Netzwerk und die Reichweite, was das Institute for Replication über Newsletter, über Verteiler, über soziale Medien hat, natürlich auch dazu geführt hat, dass noch mal viel mehr Leute daran teilgenommen haben. Also da würde ich sagen, das ist wirklich eine sehr sinnvolle Kooperation und was für beide Seiten eben positiv ist.

[00:33:18] Doreen Siegfried:
Okay. Sie haben ja eingangs noch gesagt, die Teams, die daran teilnehmen, die sollen sich vorher ein Paper aussuchen. Was muss denn so das ideale Replication Paper für so eine Veranstaltung mitbringen, außer dass natürlich die Daten zur Verfügung stehen?

[00:33:36] Jan Marcus:
Genau, also das ist, glaube ich das Wichtigste. Die Daten und der Code müssen vorhanden sein, sonst schafft man das nicht an einem Tag. Das ist so ein Sanity Check, was quasi das Institute for Replication macht. Dann in den Gruppen, in denen ich war, haben wir immer geguckt, dass wir irgendwie das Papier einigermaßen verstehen, was dann da gemacht wurde. Ja, das ist auch so Methodiken sind, mit denen wir uns ganz gut auskennen und das haben wir jetzt nicht bis ins letzte Detail oder in die letzte Fußnote dann durchgeschaut. Und dass wir irgendwie alle ein Interesse daran hatten. Ja, das ist irgendwie was, wo wir gedacht haben, okay, das ist irgendwie spannend. Ja, da würden wir gerne mehr darüber wissen. Hier würden wir mal gucken, ob das robust ist. Also ganz ja, dass wir irgendwie interessiert waren an dem Paper.

[00:34:19] Doreen Siegfried:
Und konnten am Ende des Tages alle Paper repliziert werden? Oder haben Sie da auch irgendwie festgestellt, „Oh. Das ist ja ein super spannendes Paper, aber wir konnten es irgendwie nicht reproduzieren, geschweige denn replizieren.“?

[00:34:34] Jan Marcus:
Also, insgesamt haben die Ergebnisse von diesen Replication Games mein Vertrauen in die Wissenschaft erhöht.

[00:34:40] Doreen Siegfried:
Ah, okay.

[00:34:41] Jan Marcus:
Man hört sonst immer irgendetwas von der Replication Crisis und dann werden auch einige Studien sehr prominent behandelt. Ja, wo man eben sieht, okay, hier ist wirklich Betrug passiert und diese Studien gibt es auch. Ja, also das ist ganz wichtig, dass man sieht, es gibt diese Studien, aber dass man eben auch sieht, das ist eben nur ein kleiner Teil der Menge. Ja, ein großer Teil der volkswirtschaftlichen Studien, meiner Meinung nach, ist wirklich seriöse Forschung, wo kein Betrug irgendwie drin ist, so dass eben ein Großteil der Studien in diesen Replication Games erstmal reproduziert werden können. In einem dieser Meta-Paper sind wir vielleicht bei einer Quote von fast 90 % und das eben über 70 % der Robustheitsprüfung dann eben auch das Original Ergebnis bestätigen.

[00:35:24] Doreen Siegfried:
Ja, okay.

[00:35:24] Jan Marcus:
Und wenn irgendwie ein Test jetzt das Originalergebnis nicht bestätigt, dann kann es ja auch immer zwei Sachen bedeuten. Das kann bedeuten, dass das Originalergebnis falsch ist. Es kann aber auch sein, dass die Reproduktion oder die Replikation oder die Robustheitsprüfung, die da gemacht wurde, nicht ganz so sinnvoll ist oder vielleicht nicht genug statistische Power hat oder sowas. Also mein Vertrauen ist insgesamt gestärkt worden durch diese Replication Games in die Wissenschaft.

[00:35:50] Doreen Siegfried:
Ja okay. Nun muss ja tatsächlich, wenn jemand, wenn ein Paper nicht replizierbar ist, muss ja nicht gleich irgendwie kriminelles Interesse dahinter stecken oder der Wunsch irgendwas zu vertuschen. Vielleicht ist auch einfach nicht ordentlich gearbeitet worden, im Sinne von nicht richtig gut dokumentiert oder irgendwo was vergessen oder so, das könnte ja theoretisch auch sein.

[00:36:11] Jan Marcus:
Genau. Ich glaube, diese Fälle von absichtlichem Betrug, dass die wirklich die absolute Seltenheit sind. Das, was dann eher häufiger vorkommt, dass Wissenschaftler und Wissenschaftlerinnen auch nur Menschen sind und Menschen machen Fehler.

[00:36:21] Doreen Siegfried:
Ja.

[00:36:22] Jan Marcus:
Und in einem dieser Meta-Papers ist dann herausgekommen, dass dann in einem 1/4 der Papiere, dann auch irgendwelche Codierungsfehler gefunden worden sind. Die meistens keine großen Auswirkungen hatten, aber was eben ein bisschen falsch codiert worden ist. Und ich glaube, das hilft auch, diese Transparenz herzustellen, dass man weiß, okay, ja, es sind Menschen, die machen Fehler. Wir müssen anderen Menschen das auch zugestehen, dass sie diese Fehler machen. Wichtig ist, dass es eben dann keine strategischen Fehler sind, die irgendwer macht, um dann bestimmte Ergebnisse zu produzieren am Ende. Und auch dafür können Replikationen, solche Replication Games, sehr hilfreich sein.

[00:36:57] Doreen Siegfried:
Was würden Sie denn sagen, was motiviert denn tatsächlich Menschen, also Forschende in diesem Fall, einen ganzen Tag lang an der Replikation fremder Studien zu arbeiten und da in die FU zu kommen und an einem Replikation Game teilzunehmen?

[00:37:14] Jan Marcus:
Ich würde sagen, das ist so ein Bündel an Gründen.

[00:37:16] Doreen Siegfried:
Ja.

[00:37:17] Jan Marcus:
Ein guter Grund ist natürlich immer, an die Freie Universität nach Berlin zu kommen. In Dahlem haben wir einen sehr schönen Campus. Das mag vielleicht einige Leute motiviert haben. Abgesehen davon, glaube ich, finden viele Leute das attraktiv, dass es eben nur ein Tag ist, den man da hat, wo man konzentriert an irgendetwas arbeitet. Dann der Austausch mit anderen Forschenden, glaube ich, ist auch sehr interessant. Als Promovendin oder Promovend arbeitet man ja häufig alleine. Hier ist man, dass man wirklich die ganze Zeit so zusammenarbeitet. Also dieser Teamarbeit, Teamgeist, die Perspektive ist sehr wichtig. Und dann glaube ich, ein wichtiger Grund ist auch, dass man Lust hat, was Neues kennenzulernen.

[00:37:55] Doreen Siegfried:
Ja.

[00:37:55] Jan Marcus:
Also einmal in Bezug auf das Paper, die original Forschungsfrage, dass man noch mal eine neue Literatur kennenlernt. Aber auch, dass man so codierungsmäßig ein bisschen was Neues sieht und dann sieht, „Ah, so und so haben die das codiert, das ist ja elegant gelöst“, oder „Ah, das ist die und die Methode. So sieht die also aus, wenn man die in statistischer Software umsetzt“, dass man also darüber auch eine ganze Menge dazulernt. Und ich glaube, es ist auch ein Anreiz für einige Leute, dass man eben die Möglichkeit hat, als Co-Autorin oder Co-Autor bei einem dieser Meta-Paper geführt zu werden. Zum Beispiel bei diesem Nature Papier. Da gab es dann über 300 Co-Autorinnen und Co-Autoren, die dabei waren, weil es eben die ganzen Replikatorinnen und Replikatoren von diesen Replication Games dann auch mit dabei waren. Also ein Bündel von Maßnahmen, dass halt Leute Lust haben, daran teilzunehmen.

[00:38:42] Doreen Siegfried:
Ja, okay. Sie hatten eingangs schon gesagt, die Leute, die dann am Abend nach Hause gehen, die reflektieren vielleicht für sich noch mal neu, wie sie tatsächlich ihre Daten aufbereiten, damit andere das replizieren können. Jetzt haben Sie gerade schon gesagt, ein Treiber ist auch tatsächlich die Neugier einfach an anderen Methoden, an anderen Zugängen. Gibt es darüber hinaus noch Punkte, wo Sie sagen würden, das nehmen die meisten Leute nach einem solchen Tag nach Hause mit an Inspirationen, an Learnings, an Impressionen?

[00:39:19] Jan Marcus:
Ich glaube, dass den Leuten dann bewusst wird, dass Replikation und Reproduktion inzwischen Mainstream sind.

[00:39:26] Doreen Siegfried:
Ja.

[00:39:26] Jan Marcus:
Dass es eben dazu gehört, zum wissenschaftlichen Prozess, dass jede eigene Arbeit auch möglicherweise irgendwann… Dass andere versuchen, das zu reproduzieren, zu replizieren. Aber dass es inzwischen auch ganz normal ist, dass man einfach mal die Ergebnisse bestätigt, die die Originalpapiere hatten. Früher war es dann häufig so, dass Leute sehr skeptisch gegenüber Replikation, Reproduktion waren und dass man dann oft nur die Möglichkeit hatte, damit publiziert zu werden, wenn man die Ergebnisse der Originalstudien spektakulär überworfen hat. Das ist jetzt weniger der Fall, sondern dann ist es eher so diese Zusammenarbeit und das ist das, was ich auch hoffe, was viele der Teilnehmenden da mitnehmen – die Zusammenarbeit. Dass man nicht antagonistisch im Verhältnis zu den Originalautoren steht, sondern es geht irgendwie als Wissenschaftlerin und Wissenschaftler suchen wir irgendwie nach Wahrheit und niemand von uns hat diese Wahrheit mit Löffeln gefuttert, sondern es ist ein iterativer Prozess, wo wir dann weiter dran arbeiten, um eben auch das System, die Wissenschaft als Ganze voranzubringen.

[00:40:26] Doreen Siegfried:
Ja und auch um die Wissenschaft als Ganzes robust auch zu machen, durch solche Replications, die ja sozusagen immer so der Mörtel sind zwischen diesen ganzen Bausteinen. So stelle ich mir das zumindest vor. Gibt es denn am Ende eines solchen Tages für die Leute, die mitgemacht haben, auch eine Art von Urkunde oder Medaille oder irgendwas, was so auf dieses Game einzahlt, also irgendeine Art von Preis, Pokal oder so?

[00:40:51] Jan Marcus:
Bislang gibt es das noch nicht, aber das ist vielleicht eine nette Idee für die Zukunft, …

[00:40:56]
[beide lachen]

[00:40:56] Jan Marcus:
… das noch mal zu machen. Ansonsten ist es so, dass quasi so in der Wissenschaft gängigen Währung dann auch gerechnet werden kann, weil man kann diese Replication Reports, die man geschrieben hat, die kann man auch als eigene Paper publizieren. Das haben wir zum Beispiel bei unserer ersten Teilnahme an einem Replication Game auch gemacht, wo wir dann den Report, den wir da produziert haben, auch beim Journal of Commons und Replikations in Economics dann veröffentlicht haben, was dann ja auch so eine… Es war dann keine Urkunde, aber es war zumindest so was, was die wissenschaftliche Währung dann ist. Und dann sind im Nachgang natürlich diese Meta-Paper dann entstanden, wo man dann zumindestens auch einen formalen Nachweis hat, dass man daran dann teilgenommen hat. Aber das weiß man natürlich im Vorfeld noch nicht.

[00:41:43] Doreen Siegfried:
Ja, ja, okay. Was würden Sie denn sagen, was ist so das Potenzial solcher Replication Games, um tatsächlich so das Thema Replication aus der Nische rauszuholen? Also Sie sagten, okay, es gehört zum Standard das zu tun, aber es wird ja noch nicht so oft veröffentlicht. Also es gibt meines Wissens nicht zu viele Outlets, wo ich tatsächlich eine Replikationsstudie veröffentlichen kann. Also welche Effekte kann so ein Replication Game haben, Ihrer Meinung nach?

[00:42:10] Jan Marcus:
Ich glaube mehrere. Eines davon ist erstmal Bewusstsein zu schaffen, wie wichtig das Ganze ist. Dann ist es auch wichtig, dass es gerade bei Doktorandinnen und Doktoranden schon früh in der Karriere ansetzt. Und das sind ja dann irgendwann die Senior Researchers, die auch dann die institutionellen Rahmenbedingungen dann verändern können. Also dass man da, dass die irgendwann dann auch als Multiplikatorinnen und Multiplikatoren, aber auch als Entscheidungsträger im Wissenschaftssystem fungieren und dass das dann eben auch Leute sind, die positive Erfahrungen mit Replikationen gemacht haben, gesehen haben, wie wichtig das ist, glaube ich, dass kann auch dazu beitragen, dass Replikationen noch weiter im Mainstream verankert sind.

[00:42:53] Doreen Siegfried:
Ja, okay. Und würden Sie sagen, das Format ist besonders für Nachwuchsforschende besonders geeignet oder haben Sie da so ein Ranking? Für wen ist so ein so ein Tag besonders sinnvoll?

[00:43:07] Jan Marcus:
Ehrlich gesagt, würde ich sagen, für alle Gruppen von Forschenden. Ich würde sagen, gerade auch für Senior Researchers. Oder auch für Professorinnen und Professoren auf Lebenszeit. Das macht einfach mal Spaß. Weil man auch mal ein Ergebnis nach einem Tag dann sieht. Ja, und weil man als Senior Researcher oft gar nicht so viel Zeit hat für ein einzelnes oder Forschungsprojekt, dass man hier mal einen Tag rausnimmt, die E-Mails ausstellt, sich nur darauf konzentriert. Das macht also viel Freude. Und für die Doktorandinnen und Doktoranden ohnehin, für Postdocs auch. Also ich denke, für Studierende, wenn überhaupt, dann in höheren Semestern, weil man schon einiges an Rüstzeug mitbringen muss, was so das Statistische und Ökonometrische anbelangt. Aber da experimentiert das Institute for Replication gerade auch, inwiefern Studierende in höheren Semestern… wie die mit ChatGPT und Claude dann ausgestattet werden können und ob die das dann auch schaffen, so gut zu oder so schnell zu reproduzieren und Robustheitsprüfungen durchzuführen. Also das bleibt spannend zu sehen. Man sieht, das Spektrum, für wen es interessant ist, diese Replication Games, erweitert sich dadurch auch noch mal weiter.

[00:44:17] Doreen Siegfried:
Ja, okay. Das ist noch mal ein ganz anderes Thema. Aber finde ich interessant, wie sich das da weiterentwickelt tatsächlich mit der Nutzung von KI-Tools, wie man da solche Checks machen kann. Wenn… vielleicht so gegen Ende… Vorletzte Frage. Also, stellen Sie sich vor, Sie haben jetzt jemanden aus München, Jena, Kiel, Hamburg, egal, vor sich, der sagt: „Okay, ich habe jetzt schon gehört, es wurde jetzt mehrfach das Institute for Replications erwähnt. Mit denen arbeite ich auf jeden Fall zusammen.“ Was hätten Sie noch für Tipps für Leute, die Ihnen das nachtun wollen?

[00:44:56] Jan Marcus:
Ich würde die Leute bestätigen: „Macht das“.

[00:44:58] Doreen Siegfried:
Macht das.

[00:44:59] Jan Marcus:
Das macht Spaß. Es ist nicht unendlich viel Aufwand. Das Institute for Replication hat da eben schon eine gute Struktur, gute Konzepte und für einen selber macht es auch viel Spaß, weil man dann einfach noch mal viel mehr Leute aus der lokalen Community oder auch darüber hinaus kennenlernt, die an Replikation und Reproduktion interessiert sind. Also von daher, meine Ermutigung: Macht das. Ihr kriegt das schon hin.

[00:45:21] Doreen Siegfried:
Okay. Das heißt, ich brauche aber ein bisschen Geld für das Catering oder kostet es Eintritt oder wie funktioniert das?

[00:45:27] Jan Marcus:
Da hatten wir tatsächlich das Glück, dass das Institute for Replication sogar auch das Catering finanziell übernommen hat. Also das heißt, das, was wir machen mussten, ist die Räumlichkeiten zur Verfügung stellen.

[00:45:37] Doreen Siegfried:
Okay.

[00:45:38] Jan Marcus:
Und die Teilnehmenden müssen auch nichts dafür bezahlen. Das heißt, es ist alles relativ Low Cost, zumindest für die lokalen Organisatoren. Also würde ich sagen, die größte Hürde ist, dass man eben eine kritische Masse an Leuten begeistert dafür, dass sie da vor Ort hinkommen bzw. auch virtuell daran teilnehmen.

[00:45:56] Doreen Siegfried:
Okay. Und wie viel Vorlauf müsste ich eventuell einplanen? Also, wenn ich mir jetzt vorstelle, alle klingeln jetzt beim Institute for Replication durch und sagen, „ich möchte es gerne bei mir vor Ort durchführen.“ Die haben ja sicherlich auch nicht unendlich viele Mitarbeiter und Mitarbeiterinnen. Also wie viel Vorbereitungszeit sollte ich ungefähr einplanen?

[00:46:18] Jan Marcus:
Da ist es wie so oft, je mehr Zeit man in der Vorbereitung hat, umso entspannter wird es dann hinten raus. Ich würde denken, dass wir hier über einen Zeitraum von ein paar Monaten reden.

[00:46:28] Doreen Siegfried:
Ja, okay.

[00:46:28] Jan Marcus:
Also, ich denke, ein halbes Jahr oder sowas ist schon ganz gut, weil das diese Game Master vom Institute for Replication, dass die das so ein bisschen an ihre Reisepläne dann anpassen können. Wenn die jetzt irgendwie in Europa sind, dass sie dann eben nicht nur für ein Spiel dann da hinfliegen müssen. Aber ansonsten braucht man nicht viel Zeit in der Vorbereitung. Wichtig ist eben Raum-Reservierung, hängt dann von den örtlichen Gegebenheiten ab, wie lange das dauert. Und dann muss man ja irgendwann Werbung dafür machen. Das heißt, da wäre es dann auch schlecht, wenn man erst zwei Wochen vorher damit beginnt.

[00:46:58] Doreen Siegfried:
Ja, okay. Alles klar. Und vielleicht allerletzte Frage. Wenn Sie jetzt sozusagen den Sinn der Replication Games nach dieser ersten Erfahrung an der FU Berlin formulieren müssten in einem Satz. Was wäre so dieser eine Satz?

[00:47:16] Jan Marcus:
Forscherinnen und Forscher spielerisch an den Sinn und die Herausforderung von Reproduktion und Replikation heranzuführen.

[00:47:27] Doreen Siegfried:
Ja, wunderbar. Also, dann bedanke ich mich. Das ist doch ein super Schlusswort. Und ich sage auch Danke an Sie an den Kopfhörern. Ich hoffe, es hat Ihnen gefallen. Lassen Sie uns gerne Lob oder Kritik da, sei es via E-Mail, Mastodon, YouTube oder LinkedIn. Wir freuen uns natürlich auch, wenn Sie unseren Podcast abonnieren. Wir werden alle wichtigen Links zu den Replication Games und zu Erfahrungen usw. damit in die Shownotes packen und ich freue mich aufs nächste Mal.

[00:47:54] Jan Marcus:
Vielen Dank!