Folge 48: Leibniz Open Science Day

The Future is Open Science – Folge 48: Leibniz Open Science Day

Audio

Dr. Doreen Siegfried
Leitung Marketing und Public Relations, ZBW – Leibniz-Informationszentrum Wirtschaft

Prof. Dr. Marianne Saam
Professorin für Digitale Wirtschaftswissenschaft, Universität Hamburg und Leitung Programmbereich Open Economics, ZBW – Leibniz-Informationszentrum Wirtschaft

[00:00:00] Intro

[00:00:03] Marianne Saam:
Aber ich finde es einfach toll. Und das Statement „Open Science opens the domain to anyones’ bad and superficial procedures“. Also „Open Science öffnet die Tür zu der Domäne von allerwelts schlechter und oberflächlicher wissenschaftlicher Prozedur.“

[00:00:28] Marianne Saam:
Und da erlebe ich gerade einen starken, starken Bewusstseinswandel, dass wir auch ein gemeinsames Interesse daran haben, reproduzierbarer zu programmieren, weil sonst unsere Forschung auch irgendwie unordentlich ist, auch für uns selber.

[00:00:50] Marianne Saam:
Aber ich glaube, dass dieser Fokus auf Wirtschaftswissenschaften und angrenzende Wissenschaften auch noch mal ermöglicht, konzentrierter in die Tiefe bestimmte Problematiken anzusehen, die vielleicht in der Soziologie oder in der Psychologie gar nicht so im Vordergrund stehen. Und gleichzeitig fand ich den Mix ganz spannend.

[00:01:14] Doreen Siegfried:
Hallo und herzlich willkommen zu einer neuen Folge von „The Future is Open Science“, dem Podcast der ZBW. Mein Name ist Doreen Siegfried und ich treffe mich hier mit ganz unterschiedlichen Leuten aus dem Wissenschaftsbetrieb, die Ihnen verraten, wie sie in ihrer täglichen Arbeit Open Science voranbringen. Heute sprechen wir über den ersten Leibniz Open Science Day, der unter dem Titel stand „Metaperspektiven in den Sozialwissenschaften“. Es ging um die Frage: Wie kann wirtschafts- und sozialwissenschaftliche Forschung zur Bewältigung gesellschaftlicher Herausforderungen beitragen und welche Rolle spielt Metawissenschaft dabei? Wir sprechen über die Bedeutung von Replikation, Transparenz und Metastudien für die Forschung und den Wissenstransfer. Um dies alles zu beleuchten, habe ich mir eine Forscherin eingeladen, die sich intensiv mit dem Thema Open Science in der Wirtschaftsforschung auseinandersetzt und auch mit der Frage, wie wirtschaftswissenschaftliche Erkenntnisse in gesellschaftliche und politische Diskurse übersetzt werden können. Sie ist Professorin für Digitale Wirtschaftswissenschaft an der Universität Hamburg und leitet in der ZBW gleichzeitig noch den Programmbereich Open Economics. Und sie war eine der Mitgestalterinnen, Gestalterinnen des Leibniz Open Science Day Number One. Herzlich willkommen, Professor Dr. Marianne Saam.

[00:02:35] Marianne Saam:
Ja, vielen Dank, Doreen. Ich freue mich über die Gelegenheit, noch mal auf diesen Tag zurückzuschauen. Wir haben den ja ein Stück weit auch gemeinsam gestaltet. Du warst mit deinem Team vor Ort und hast dafür gesorgt, dass alles reibungslos läuft, dass die Leute rein und wieder rauskommen, vortragen können und irgendwie was zu essen kriegen und glücklich sind. Auch jenseits der inhaltlichen Bespielung. Und ja, wie das so ist mit so einem Ereignis. Das ist dann schnell auch wieder vorbei. Und jetzt ist eine schöne Gelegenheit, da noch mal zurückzublicken.

[00:03:12] Doreen Siegfried:
Ja, super. Was war denn deine Motivation, den ersten Leibniz Open Science Day zu organisieren? Und warum wurde der Fokus ausgerechnet auf Metaperspektiven in den Sozialwissenschaften gelegt?

[00:03:25] Marianne Saam:
Ja, in den ersten Jahren, in denen ich hier war, das sind jetzt inzwischen bald dreieinhalb, da haben wir ja geschaut, wie kann die ZBW als Infrastruktur sich da noch mehr mit der Fachcommunity vernetzen zum Thema Open Science und was gibt es da schon. Wo ist vielleicht noch Bedarf und wo ist vielleicht auch kein Bedarf. Und wir hatten ja dann schon ein Symposium 2023, wo wir eher von einer praktischen Seite gestartet sind, wo wir gesagt haben, wer macht denn Open Science oder wer übt Praktiken aus, die die Person selber als Open Science einordnen würde und sieht sich da vielleicht auch ein bisschen so in der Vorreiterrolle? Und wer möchte das gerne teilen? Wer möchte sich dazu vernetzen? Wer möchte diese Agenda auf einer praktischen, aber auch auf einer wissenschaftspolitischen Ebene voranbringen? Und das war auch ein sehr schönes Event. Gleichzeitig hatte ich den Eindruck, es war jetzt nicht so riesengroßes Interesse, um exakt das in demselben Format wieder fortzusetzen. Also wir haben uns da getroffen, wir haben uns da gekannt oder kennengelernt, aber ich sah nicht so den Bedarf, das jetzt exakt in derselben Form im nächsten Jahr wieder zu machen. Und ich bin auch mehr und mehr in die Forschungsagenda auf dem Gebiet eingestiegen. Das war in meiner früheren Karriere nicht so sehr mein Forschungsschwerpunkt, ist das jetzt hier aber zunehmend an der ZBW. Nämlich an der Forschung zu Open Science und habe gesehen, dass das wirklich ein sehr aktives Feld ist in dem Moment. Und dass es gerade im deutschsprachigen Raum aber noch nicht so regelmäßige Vernetzungsvenues gibt. Zumindest nicht mit einem wirtschaftswissenschaftlichen Schwerpunkt. Und dann hatte ich ja auch Mitstreiter: Jörg Ankel-Peters vom RWI in Essen und Levent Neyse und Macartan Humphreys vom Wissenschaftszentrum Berlin, die selber auch da sehr aktive Forscher sind und auch in dieser Community vernetzt sind. Und dann war es jetzt auch erst mal ein Versuch, zu sagen, „Hey, lass uns einen Call for Paper dazu machen. Lass uns schauen, wer sich bewirbt und was für eine Agenda wir da gestalten können.“ 

[00:05:42] Doreen Siegfried:
Ja, okay. Das beantwortet auch die zweite Frage, wie das Programm eigentlich zusammengestellt wurde. Also Ihr habt einen Call for Paper gemacht. Nach welchen Kriterien wurden da die Referent:innen und auch die Themen ausgewählt?

[00:05:54] Marianne Saam:
Also, ich glaube, das ist, wie oft in der Wissenschaft, ziemlich irgendwie bottom up. In dem Sinne, dass was, was wir gerade machen oder was wir das, wovon wir selber den Eindruck haben, dass andere das gerade machen und wichtig finden, das wird dann mal aufgeschrieben. Und dann wird ein bisschen sortiert und dann haben wir einen Call for Paper. Also, in dem wir eben eigene Forschungsinteressen, aber auch Felder, die wir persönlich als aktiv oder interessant empfinden, aufgeschrieben haben. Auch, dass man im Zweifel immer ein bisschen ein Auge hat drauf, natürlich inklusiv zu sein. Also das vielleicht so zu formulieren, dass einem vielleicht eine Art Paper, die wir jetzt noch nicht im Kopf hatten, die aber auch interessant ist, sich da auch angesprochen fühlt. Gleichzeitig, dass auch unser eigener Fokus deutlich wird und das dann nicht zu beliebig wird, was eingereicht wird. Aber das ist eigentlich ja relativ schnell geschehen und dann haben wir den verschickt. Und eben dann gerade, da wir das zum ersten Mal gemacht haben, das Event, konnten wir natürlich auch nicht so ganz einschätzen, wie die Response ist. Die fanden wir ziemlich gut. Das waren knapp 50 Papers. Und dann war es ein Standardvorgehen, wie wir das in der VWL oft machen. Das war jetzt nichts irgendwie anderes, bloß weil das jetzt Open Science heißt. Wir haben ja gesagt, man kann sich mit einem Extended Abstract bewerben. Also manche haben ein Paper geschickt, manche haben so eine Skizze eines Papers von 1, 2, 3 Seiten geschickt. Und dann haben wir alle drei oder vier, also drei von uns, die das schwerpunktmäßig gemacht haben, haben sich alle Paper angeguckt. Und ich bin dann so vorgegangen: Was, habe ich wirklich den Eindruck, sind Top Paper, die man auch unabhängig vom konkreten Forschungsthema unbedingt einladen sollte? Was sind Paper, die ich eher als unpassend ansehe? Und was sind Paper, wo ich dann sagen würde, “Na ja, klar, wir haben nur begrenzt Zeit, also auch Zeit-Slots. Aber je nach inhaltlichem Interesse der anderen könnte ich mir die Paper gut vorstellen“. Und wir hatten, wie das auch häufig der Fall ist, eben mehr Paper, die wir gut fanden als wir jetzt Zeit-Slots hatten. Und dann war die Entscheidung eine Mischung aus ja, gewisse Diversität auch an Themen sicherzustellen, auch zu schauen, dass wir geographisch und hinsichtlich Genderbalance ja auch nicht einseitig auswählen. Und dann haben wir auch nach persönlichen Interessensschwerpunkten im Zweifel entschieden.

[00:08:39] Doreen Siegfried:
Ja, okay. Wie habt Ihr euch denn als wissenschaftliches, ich nenne es jetzt mal Organisationskomitee, zusammengefunden? Habt Ihr schon vorher zusammengearbeitet? Und Du hattest ja gesagt, „Wir haben die Kollegen vom WZB dabei gehabt und vom RWI“. Gibt es da unterschiedliche Perspektiven, die jeder, jede so mitbringt?

[00:08:57] Marianne Saam:
Ja, also sicherlich gibt es in so einem Fall immer auch unterschiedliche Perspektiven. Ich glaube, wenn man es schon mal eine Weile gemacht hat, also ich habe ja früher auch schon Workshops oder Konferenzen an anderen Institutionen mitorganisiert, dann fällt das gar nicht mehr so auf. Das fällt eigentlich einem eher auf, wenn es nicht gut klappt. Und das kann ich also hier… Da ist mir also in der Hinsicht nichts aufgefallen, was mir da im Gedächtnis hängen bleibt. Wir, also mit Jörg Ankel-Peters war ich schon im Kontakt. Er war ja auch bei unserem vorigen Symposium dabei. Wir hatten auch schon mal einzelne Gespräche, weil er schon lange aktiv ist auf dem Gebiet, was wir da in Zukunft noch machen können. Auch mit Levent Neyse war ich schon im Kontakt. Aber wir waren uns, glaube ich, zu Beginn der Organisation noch nicht persönlich begegnet. Er hat ja ein großes Projekt bei der Leibniz-Gemeinschaft eingeworben, das Lab²-Projekt. Das versteht sich so als Inkubator für kollaborative und transparente Wirtschaftswissenschaften und so ein Hub for Replicability und Meta Science. Also Hub verstehe ich so, dass es eben nicht nur geht um die Aktivitäten, die dort selber von den Projektmitarbeitenden gemacht werden, sondern es auch ganz viel um Vernetzung mit solchen Aktivitäten im internationalen Forschungsraum geht. Und das ist ein sehr vielversprechendes Projekt. Ja, durch das wir auch schon mal kurz im Kontakt waren, weil er mich auch im Rahmen der Netzwerkaktivitäten angesprochen hatte. Aber wir haben uns tatsächlich erst relativ spät jetzt auch mal persönlich gesehen, als ich dann schon einmal, ich glaube, das war vor unserem Workshop, war ich einmal zu einer Labs²- Aktivität in Berlin.

[00:10:51] Doreen Siegfried:
Na ja, okay. Also vielleicht für uns Zuhörerinnen und Zuhörer. Wir packen mal die Links zu dem Lab², mal in die Shownotes und falls gleich noch weitere Hinweise kommen, können Sie da auch nachschauen. Marianne, was waren denn für Dich so inhaltliche Highlights der Veranstaltung? Ich meine, Du kanntest jetzt natürlich schon die Abstracts usw. Aber was waren so die Besonderheiten?

[00:11:17] Marianne Saam:
Ja, das… Also auf die Frage habe ich mich jetzt auch sehr gefreut in der Vorbereitung, weil ich zum einen natürlich überlegt habe, was fällt mir spontan dazu noch ein und ich habe auch was gemacht, was ich jetzt sonst von selber nicht machen würde. Ich habe noch mal eine kleine Rückschau gehalten. Und ich kann auch sagen, wenn man jetzt nicht selber die Paper in der eigenen Forschungstätigkeit schon intensiv gelesen hat, dann ist es ein Riesenunterschied zwischen mal Abstracts durchscrollen und mal live die Paper zu hören, auch zu hören, wie die Leute das darstellen, welche Diskussion entsteht. Und ich hatte zwei, nee, ich würde sagen drei Highlights, die waren jetzt aber wirklich geprägt von meinen ureigensten Interessen. Also, das soll jetzt nicht so verstanden werden, als wären die anderen Sachen weniger interessant gewesen, aber jeder kommt ja auch mit einem subjektiven Mindset da rein.

[00:12:06] Doreen Siegfried:
Nee, klar.

[00:12:07] Marianne Saam:
Und dann kann ich noch ein bisschen danach was sagen zu Sachen, die ich jetzt noch mal noch mal wieder durchgelesen habe und mich dran gefreut und gemerkt habe, dass ich das eigentlich auch ziemlich interessant fand, dass ich das nur nicht mehr so ganz, ganz so präsent hatte. Also das erste Highlight vormittags war ein Vortrag von Prashant Garg aus London. Ein Doktorand, der ja jetzt, glaube ich, schon ein fortgeschrittener Doktorand ist, aber eben tatsächlich noch in diesem jungen Stadium der Karriere. Und dafür war das auch eine sehr beeindruckende Präsentation. Der Titel ist „Causal claims“, also kausale Behauptungen. Und das war für mich deswegen so interessant, weil ich hier am meisten Bezug zu dem traditionellen Kerngeschäft der Bibliothek gesehen habe. Natürlich ist das, was jetzt Prashant Garg da gemacht hat, nicht exakt das, was eine Bibliothek heute macht. Und ich will jetzt auch nicht unbedingt behaupten, sie sollte genau das machen. Aber wenn wir überlegen, wie entwickelt sich denn die Bibliothek weiter in Zeiten der KI, dann ist das ein Paper, aus dem ich da Inspiration gewonnen habe. Was haben er und sein Co-Autor Thiemo Fetzer dort gemacht? Sie haben aus einer großen Anzahl an Working Papers, aus sehr renommierten Working-Paper-Reihen, die ihnen zugänglich waren, haben sie Behauptungen extrahiert in einer strukturierten Weise. Also haben eben das Papier, wenn man so will, kleingeschnippselt und haben gesagt: „Wo sind denn da die Kernbehauptungen?“ Also, jetzt ich… Eine Behauptung in einem Paper könnte sein: „Mindestlohn führt nicht zu mehr Arbeitslosigkeit“ oder sowas in der Art. Der wäre in einem guten Papier dann noch ein bisschen spezifischer, da würde dann wahrscheinlich gesagt, in welchem Land und in welcher Zeit oder so. Aber nur um ein Beispiel zu geben, was könnte denn jetzt gemeint sein mit so einer Behauptung. Und die haben… sind mal von der Hypothese gestartet, dass in den Wirtschaftswissenschaften in den letzten Jahrzehnten die Ansprüche sehr gestiegen sind an kausale Nachweise in dem… Kausal meint hier, ich habe ein statistisches Design, von dem ich meine, dass ich…, dass jetzt ─ um mal bei dem Beispiel zu bleiben ─ dass jetzt die gleich konstant bleibende Beschäftigung wirklich darauf zurückzuführen ist, dass eben der Mindestlohn da keine schädlichen Wirkungen hatte und dass nicht möglicherweise noch andere wichtige Wirkungsketten vorliegen, die wir hier völlig ausgeblendet haben. Ja und das geschieht eben zum einen, indem man diese anderen Wirkungsketten in angemessener Weise berücksichtigt und zum anderen ─ und das andere ist eigentlich das Häufigere oder auch das, was als überzeugender angesehen wird ─  das geschieht dadurch, dass man ein Design hat, was man in irgendeiner Weise als experimentell oder quasi experimentell darstellen kann. Und er hat mal geschaut, ja ist das denn… wir haben so den Eindruck, dass das die Wirtschaftswissenschaften sehr verändert hat. Aber kann man das denn empirisch belegen? Und das hat er gemacht und hat statistische Auswertungen durchgeführt über den Anteil, die Anzahl an Behauptungen in Papers, den Anteil an diesen sogenannten kausalen Behauptungen, die eben nicht nur sagen, da korreliert etwas statistisch, sondern ich habe bestimmte Methoden, die mich zuversichtlich stimmen im Hinblick darauf, dass das eine wirklich auch kausal das andere bewirkt. Und dann hat er noch weitere Dinge untersucht. Wie unterscheidet sich das nach Forschungsfeldern und wie unterscheidet sich das nach Journals, wo dann Sachen publiziert werden? Und das fand ich sehr inspirierend für mich als eine Forscherin, die gleichzeitig an einer Bibliothek arbeitet.

[00:16:27] Doreen Siegfried:
Ja, okay. Und vielleicht als kleiner… Was kam raus bei der Untersuchung?

[00:16:32] Marianne Saam:
Ja, das, was auch vermutet worden war, dass der Anteil dieser kausalen Claims angestiegen ist. Es ist auch so, dass wir so ein bisschen eine Intuition davon haben, dass das, dass es in manchen Forschungsfeldern wesentlich schwieriger ist, solche Daten zu haben, die diese kausalen Methoden ermöglichen. Und mein Take Away war auch, dass das zumindest der Tendenz nach bestätigt werden konnte, dass das so ist. Zum Beispiel in der Makroökonomie. Wir können jetzt nicht eben mal mit den Zentralbankzinsen experimentieren oder so, da sind wir eben auch eingeschränkt im Hinblick auf experimentelle oder quasi experimentelle Daten. Und ja, dann auch dass natürlich das Bestreben in einer hochrangigen Zeitschrift, dass das auch zu beobachtbaren Pattern führt…

[00:17:23] Doreen Siegfried:
Ah, ja.

[00:17:23] Marianne Saam:
…in der Art der Claims, die überhaupt ausgewählt werden für die Untersuchung.

[00:17:27] Doreen Siegfried:
Ja, okay. Also eher auch eine kritische Auseinandersetzung mit dem Wissenschaftsbetrieb und Publikationsverhalten auf einer gewissen Ebene?

[00:17:36] Marianne Saam:
Ja, also ich glaube, wie für die VWL typisch, habe ich das als sehr faktenorientiert erlebt. Also, dass… die Message war jetzt nicht unbedingt so, das und das sollte man machen oder das sollte man nicht machen. Aber erst mal, ja, was machen wir denn jetzt eigentlich? Und das habe ich jetzt in… Also da gibt es sicherlich auch weitere Arbeiten, aber das mal so diesen Ansatz, das so umfangreich und so auch die Tiefe der Paper analysiert zu sehen, habe ich jetzt noch nicht so oft gesehen.

[00:18:05] Doreen Siegfried:
Ja, okay. Und hast Du weitere Highlights oder war das sozusagen die Nummer eins unumstößlich, die Dich inspiriert hat?

[00:18:13] Doreen Siegfried:
[lacht]

[00:18:13] Marianne Saam:
Nee. Ich hatte ja drei ausgesucht. Also erstmal, da gibt es auch noch eine Webseite. Da gibt es auch so ein Tool, wo man irgendwie Claims angucken oder untersuchen oder so kann. Das war nicht so sehr Gegenstand des Talks, aber das vielleicht noch die Shownotes. Ich meine, dass es heißt Causalclaims.com, aber vielleicht können wir es noch mal nachgucken und nachtragen.

[00:18:33] Doreen Siegfried:
Das reichen wir nach und packen dann irgendwie in die Shownotes rein.

[00:18:36] Marianne Saam:
Ja, genau. Dann Highlight ─ jetzt mal chronologisch gesehen ─  Highlight Nummer zwei war unser Keynotespeaker Harry Collins. Das war ein Kontakt, den Jörg Ankel-Peters hergestellt hat. Harry Collins ist ein international führender Wissenschaftssoziologe. Er ist tatsächlich Ökonom:innen nicht unbedingt bekannt, was wahrscheinlich daran liegt, dass wir oft sehr disziplinär arbeiten. Ja, dass auch wenn jemand eine Berühmtheit in der Soziologie ist, dass… sofern er jetzt nicht direkt in den deutschen Tageszeitungen gestanden hat, passiert das dann mal, dass wir ihn vielleicht vorher noch nicht so bewusst wahrgenommen haben. Und ich glaube, das war daher auch eine sehr fruchtbare Begegnung, weil es unglaublich spannend war. Aber weil es eben für viele von uns neu war, was er zu sagen hatte. Ich habe dann auch in meiner Bluesky-Nachricht über diesen Talk mal so das provokantes Statement rausgepickt und auf das würde ich jetzt auch gleich noch mal zurückkommen.

[00:19:41] Doreen Siegfried:
Ja.

[00:19:41] Marianne Saam:
Ich muss natürlich dazu sagen, dass der Gesamtbeitrag und auch der gesamte, ja, Dienst, den uns Harry Collins erwiesen hat, mit seiner Bereitschaft zu kommen, wirklich auch sehr konstruktiv war und sich nicht auf dieses Statement reduzieren lässt. Aber ich finde es einfach toll. Und das Statement „Open Science opens the domain to anyone’s bad and superficial procedures“…

[00:20:10] Doreen Siegfried:
[lacht]

[00:20:10] Marianne Saam:
…also „Open Science öffnet die Tür zu der Domäne von allerwelts schlechter und oberflächlicher wissenschaftlicher Prozedur.“ Das ist auch sicherlich wieder so eine eigene Ecke, aus der ich so kommen. Zum einen habe ich so ein bisschen so ein Faible für Soziologie, auch wenn ich da nicht wahnsinnig bewandert bin. Und zum anderen mag ich auch Ideen, die entweder mich selber oder Sachen, die ich auch so ein bisschen als etablierte Weisheiten wahrnehme, provozieren. Ja, und das provoziert natürlich in Bezug auf Open Science, wie es auch in vielen Kontexten dargestellt wird. Aber ich glaube, dass die Perspektive durchaus sehr hilfreich ist, Open Science besser zu machen oder auch einfach präzise darin zu sein, was Open Science ist, was es kann und was es auch nicht ist und was es auch nicht kann.

[00:21:05] Doreen Siegfried:
Und wie würdest Du dieses Statement interpretieren?

[00:21:09] Marianne Saam:
Ich würde, also ich muss dazu sagen, dass ich nicht Harry Collins super interessante Bücher gelesen habe deswegen… Also das ist jetzt meine eigene Auslegung. Ich kann jetzt nicht nachprüfen, ob er das auch jetzt genauso meinte. Aber so wie ich den gesamten Vortrag auch erlebt habe, würde ich es mal so interpretieren: Gute Wissenschaft funktioniert häufig durch Vertrauen in eng verbundenen Communities. Das sind heute in der internationalen Wissenschaft auch Communities, die sich in diesem System erst bilden. Das sind Menschen, die sich kennenlernen wollen oder müssen, über Universitäts-, über Ländergrenzen hinweg und die eine Begeisterung teilen für ein bestimmtes Untersuchungsfeld und dann eine Community bilden. Diese Community ist nicht völlig geschlossen, die ist dynamisch, aber die beruht auf persönlicher Begegnung und Vertrauen. Und die kann auch nicht beliebig ausgeweitet werden. Und das Internet mit den Möglichkeiten, auch viele Sachen anzuklicken, runterzuladen, vielleicht auch verbunden mit der Förderung, dass Forschung digital möglichst zugänglich sein könnte, sollte. Das macht es möglich, dass wir uns alles irgendwie reinziehen. Aber das, das sorgt nicht automatisch dafür, dass die Dinge, zu denen wir dann Zugang haben, dass die auch qualitativ gute Wissenschaft darstellen. Und wir sind auch nicht in der Lage, extern gute Wissenschaft beliebig irgendwie nachzuprüfen. Also, wenn ich keine, wenn ich keine klinische Psychologin bin, dann werde ich selbst wenn ich vielleicht Grundkenntnisse der Statistik habe, dann werde ich nicht die Fähigkeit entwickeln können, die Güte von Forschung in der klinischen Psychologie einzuschätzen, in derselben Weise, wie das die Community dieser Forschenden machen könnte. Und das ist mal so mein Eindruck von dem, was das Statement meinen könnte.

[00:23:37] Doreen Siegfried:
Also heißt jetzt, wenn ich es jetzt richtig verstanden habe, in meinen eigenen Worten: Open Science ist dann sinnvoll, wenn es den Austausch in einer fachlich begrenzten Community stärkt. Weil dann kriege ich gutes Feedback, die verstehen auch was ich gemacht habe, was die Methoden sind usw.

[00:23:58] Marianne Saam:
Ja so… Ja, das könnte eine Schlussfolgerung daraus sein. Ich will auch nicht sagen, dass ich das Statement jetzt vollumfänglich teile. Da habe ich… Ich denke, das ist, so einen einzelnen Satz isoliert zu sehen, das ist eh da nur begrenzt aussagekräftig. Aber ja, so in die Richtung würde ich es verstehen, dass eben diese Communities das Vertrauen, solche Begegnungen, wie wir sie auch geschafft haben mit diesem Event, dass das nicht… Also das kann vielleicht in geeigneter Weise komplementiert werden durch solche digitalen Tools, aber das ist eben nicht ersetzbar. Und das ist im Kern der Ort, wo gute wissenschaftliche Praxis auch gestaltet wird.

[00:24:46] Doreen Siegfried:
Okay. Ein anderer Kollege sagte vor geraumer Zeit mal „Open Science, it’s all about cooperation“. Was ja, sozusagen, ähnlich communityorientiert sich anhört, wie das Statement. Okay.

[00:25:01] Marianne Saam:
Ja, vielleicht wenn ich noch ein…, weil…

[00:25:04] Doreen Siegfried:
Ja, klar.

[00:25:04] Marianne Saam:
…es war wirklich also so dicht an Anregungen. Ein anderes Highlight war: Wir sind ja so mit unserer empirischen Forschung in den Wirtschaftswissenschaften. Das empfinde ich auch selber, muss ich sagen, häufig als mühsam, obwohl das ja ist, was ich auch hauptsächlich mache. Und das war… Da hatte ich auch noch ein bisschen einen Eye-Opener. Wir haben ja… In den Wirtschaftswissenschaften sind wir ja sehr fokussiert auf statistische Signifikanz und so. Unser Kernkriterium ist eben, dass unter den Annahmen der Stichprobentheorie, wenn ich einen positiven Zusammenhang finde, also wenn ich zum Beispiel sage, „Na ja, die Subvention Y, die hat irgendwie zu mehr Innovation geführt“, dass ich dann sage, „Ich kann… also das Risiko, dass ich hier einen Zusammenhang sehe, obwohl da gar keiner ist, ist höchstens 5 % unter den…“. Also, dass, die statistische Software, die errechnet mir unter den Annahmen der statistischen Theorie diese Wahrscheinlichkeit aus und was wir für signifikant halten, das ist dann signifikant, wenn die Wahrscheinlichkeit, dass wir hier fälschlicherweise einen Zusammenhang behaupten, wenn er unter fünf 5 % oder niedriger liegt. Das entspricht bezogen auf sogenannte Standardabweichung ─ das ist ein statistisches Maß für Abweichungen vom Durchschnitt  ─  dem sogenannten Zwei-Sigma-Kriterium. Also eine Spanne von zwei Standardabweichungen und was eigentlich total simpel ist als Argument. Was wir aber so selten ansehen, das hat uns Harry Collins hier noch mal vor Augen geführt, nämlich dass das rein statistische Mittel, um das Problem zu überwinden, ist nur mehr Sigma. Also noch strenger mit sich sein da. Er hat gesagt, das habe ich mir selber noch nicht angeguckt, Physik sei eine Fünf-Sigma-Wissenschaft. Also da werden so Sachen, wo wir alle sagen, na ja, da haben wir einen statistischen Zusammenhang. Wenn ich da Harry Collins richtig verstehe, würden die Physiker sagen: „Ich sehe da keinen. Das ist alles Zufall“. Ja, das würde… Das ist natürlich aber so, dass mit der Komplexität menschlichen Verhaltens sind natürlich auch unsere Beobachtungen in der Wirtschaftswissenschaft ganz anders als in der Physik. Also, wir haben da viel mehr Neues und Rauschen drin und das hilft uns nichts oder hilft uns nur in wenigen Fällen, da sehr viel strenger mit uns selber zu sein. Und er sieht die Lösungen dann eher woanders. Da muss ich sagen, das muss ich noch ein bisschen vertiefen. Da geht es, glaube ich, auch viel um Mixed Method Design, also Zusammenspiel von quantitativen und qualitativen Methoden. Das ist nicht so sehr mein eigenes Gebiet. Aber das ist die Inspiration, die ich noch mitgenommen habe, über den Vortrag hinaus auch noch mal was von ihm zu lesen und sein Argument hier besser zu verstehen. Aber dieses so Zwei-Sigma ist nicht viel, Fünf-Sigma wäre was, das war ein Eye-Opener. Aber auch ein bisschen frustrierend, weil wir eben nicht als Wirtschaftswissenschaftler: innen nicht in dieser Fünf-Sigma Welt leben.

[00:28:21] Doreen Siegfried:
Ja, okay. Gehört ja auch zu den Sozialwissenschaften streng genommen das Fach. Ja, okay. Und Nummer drei vielleicht so ganz kurz mal skizziert.

[00:28:31] Marianne Saam:
Ja, genau. Das geht auch kürzer. Das war dann am Nachmittag. Das war auch ein Papier, von dem Jörg Ankel-Peters Co-Autor ist, wenn ich es richtig in Erinnerung habe. Und da ging es darum, dass wir jetzt sehr viele Reproductions machen. Ja, es gibt ja auch in der wirtschaftswissenschaftlichen Community jetzt viele Initiativen für Ex Post Reproductions, also Paper zu reproduzieren, die schon veröffentlicht sind. Und das Paper ging da um einen Vorschlag für ein Protokoll einer standardisierten Reproduktion. Und das war halt für mich sehr hands on. Ich gebe ja auch das Journal of Comments and Replications in Economics mit heraus. Wir starten ein Projekt demnächst, wo es um Reproductions auch geht. Und das war sehr hands on und da war ich auch sehr dankbar für den Aufhänger: Oh ja, schau dir das mal an, ehe du jetzt selber irgendwie alle möglichen Reproduktionen machst oder Hilfskräfte machen lässt und dann hinterher erst merkst: Oh, wäre vielleicht ganz gut, wenn wir uns über die Vorgaben noch ein bisschen mehr Gedanken gemacht haben, weil transparente Forschung oder Aktivitäten zur Erhöhung der Forschungstransparenz müssen natürlich auch selber transparent sein.

[00:29:46] Doreen Siegfried:
Ja, klar.

[00:29:46] Marianne Saam:
Und manchmal gehört dazu eben Standardisierung. Und es war sicherlich in der Debatte jetzt gut, nicht ganz früh hier schon zu standardisieren. Aber jetzt hat die Forschungscommunity hier schon Erfahrungen gesammelt und da ist es auch für mich wichtig, mir dann unterschiedliche Vorschläge anzusehen, was ich auch in meiner eigenen Arbeit da standardisieren möchte.

[00:30:08] Doreen Siegfried:
Okay. Wo wir schon gerade über Reproduktion und vielleicht sogar Replikation sprechen: Welche Rolle spielt denn die Replikationskrise in den Wirtschafts- und Sozialwissenschaften? Und wie hat der Leibniz Open Science Day dieses Thema adressiert? Oder hat er das überhaupt adressiert?

[00:30:26] Marianne Saam:
Ja, also das adressieren wir natürlich. Ich glaube, das Narrativ, was wir in den Wirtschaftswissenschaften, vor allem in der VWL, wo ich verortet bin, haben, ist nicht das einer Krise. Ich möchte jetzt an der Stelle mal nicht werten, wie man das von außen sehen könnte. Aber ich glaube, dieses Krisennarrativ, das wurde eher in der Psychologie bedient, hat vielleicht auch da noch mehr Medieninteresse nach sich gezogen. In der VWL gibt es ganz einzelne Studien, die Medieninteresse nach sich gezogen haben. Aber insgesamt nehmen wir selber, glaube ich, die Situation nicht als krisenhaft wahr, sondern wir erfahren einfach Dinge darüber, wie Forschung irgendwie schwierig ist. Und das ist nicht deswegen schwierig, weil wir sie irgendwie so schlecht machen, sondern weil es einfach schwierig ist zu organisieren. Und so würde ich es eher sehen, dass wir jetzt… Also wir hatten diese Credibility Revolution, dafür gab es ja auch einen Nobelpreis, und da ging es aber vor allem um statistische Methodik. Da ging es nicht darum, wie kommen denn die Daten in den Computer rein und wieder raus. Und da erlebe ich gerade einen starken Bewusstseinswandel, dass wir auch ein gemeinsames Interesse daran haben, reproduzierbar zu oder reproduzierbarer zu programmieren, weil sonst unsere Forschung auch irgendwie unordentlich ist, auch für uns selber, ja. Und zum anderen ─ darüber haben wir, glaube ich, auch früher schon mal gesprochen bei einem vergangenen Podcast ─ gibt es eben Bemühungen von Fachgesellschaften, auch die Anforderungen bei Journaleinreichungen hier höher zu setzen, indem sie sagen: „Wir möchten nicht nur, dass Leute Euer Paper lesen und sagen, das ist gut oder schreibt noch mal das ein bisschen um oder rechne noch mal das. Sondern wir möchten auch zumindest glaubhaft nachvollziehen können, dass Euer Programmcode in STATA oder R oder MathLab oder zunehmend auch Python, dass der tatsächlich die Ergebnisse produziert, die auch in eurem PDF als Dateien oder Grafiken abgebildet sind. Und das ist, würde ich sagen, sehr pragmatische Vorgehensweise. Aber es gibt eigentlich auch wenig gute Argumente, das überhaupt nicht zu machen. Und da ist gerade auch bei den Fachgesellschaften, allen voran der American Economic Association, aber auch bei anderen in den letzten Jahren viel passiert.

[00:33:06] Doreen Siegfried:
Wie planst du denn, mit den Partnern den Leibniz Open Science Day weiterzuentwickeln?

[00:33:12] Marianne Saam:
Also, ich hatte den Eindruck, dass das eine richtig schöne Community war an dem Tag. Also es war nicht so eine große Zuhörendenschaft, was aber oft eben auch genau diesen Austausch befördert, so dass man vielleicht auch mit vielen von denen, die da sind, auch mal persönlich sprechen kann. Es war auch eine große Anzahl von Nachwuchsforschenden da, bei denen ich auch den Eindruck hatte, die haben jetzt nicht so viele vergleichbare Gelegenheiten, die also vergleichbar spezialisiert sind. Ich meine, da waren aufstrebende Forschende dabei, die wahrscheinlich nicht…, denen es nicht wahrscheinlich an Einladungen per se mangelt. Aber ich hatte das Gefühl, dass das Besondere, was wir da anbieten können, schon dieser spezifische Fokus ist. Und da haben wir jetzt gesagt, das machen wir jetzt einfach nochmal. Ist jetzt noch zu früh, um jetzt sagen zu können: „Machen wir den Call jetzt genauso oder passen wir da manches etwas an, um auch mögliche Einreichende noch ein bisschen anders anzusprechen?“ Aber auch, dass dieses das jetzt mal erstmal noch ein zweites Mal zu machen und zu schauen, etabliert sich das als Format. Das ist auch so eine Entwicklung, die ich auch von anderen Konferenzen kenne, wo ich ja vielleicht im Hintergrund ein bisschen mitorganisiert habe oder wo ich eher als Teilnehmerin bin. Dass gerade, wenn man so das Gefühl hat, in genau dem Feld gibt es eigentlich noch nicht so ein jährliches Meeting, dass man zumindest mal ein paar Jahre das macht und dann schaut, ist das vielleicht eher was Temporäres? Ja, gab es da im Moment mal so ein Aufmerksamkeitsfokus? Und nach ein paar Jahren würde man sagen, das macht man jetzt nicht mehr. Oder es gibt auch solche Formate, wo Leute sich über 15, 20 Jahre jedes Jahr wieder treffen. Natürlich mit einem Forschungsprofil, was dann auch mit der Zeit geht. Ja, und dann kommen wir ja alle drei auch aus Leibniz-Einrichtungen. Und auch ja, da würde ich auch das Framing noch mal angucken. Wie sprechen wir auch möglichst viele aus anderen Leibniz-Einrichtungen an? Auch so, dass wir einen guten Mix haben aus Wirtschaftswissenschaften, wo wir selber eben alle herkommen und den Wirtschafts- und Sozialwissenschaften, die eben eine ähnliche quantitative Methodik haben. Und wo deswegen auch ganz gut so ein gemeinsamer Austausch auf so einer metawissenschaftlichen Ebene entstehen kann.

[00:35:41] Doreen Siegfried:
 Ja, okay. Also an alle Wirtschaftsforschenden und Sozialwissenschaftler:innen da draußen, die jetzt sich mit Metaforschung beschäftigen. Hier gibt es das Familientreffen nenne ich es jetzt mal. Mal sehen, wie lange das funktioniert. Sehr schön.

[00:35:56] Marianne Saam:
Ja.

[00:35:56] Doreen Siegfried:
Glaubst Du denn, dass dieses Symposium dazu beitragen kann, die Metawissenschaftscommunity… Du hast ja gerade gesagt, die ist sehr aktiv, aber hat jetzt noch nicht so ein so standardisierte Austauschformate. Also, dass dieses Symposium dazu beitragen kann, diese Community in Deutschland oder Europa zu stärken?

[00:36:18] Marianne Saam:
Ja, ich denke insbesondere so rund um die Wirtschaftswissenschaften, also ganz interdisziplinär gibt es da schon verschiedene Formate. Aber ich glaube, dass dieser Fokus auf Wirtschaftswissenschaften und angrenzende Wissenschaften auch noch mal ermöglicht, konzentrierter in die Tiefe bestimmte Problematiken anzusehen, die vielleicht in der Soziologie oder in der Psychologie gar nicht so im Vordergrund stehen. Und gleichzeitig fand ich den Mix ganz spannend, auch noch mal eine Inspiration zu haben, in dem Fall durch Harry Collins, von jemandem, der da selber nicht verortet ist und der da auch sehr kritisch auch im Übrigen auf unsere Disziplin guckt. Also diesen Mix fand ich sehr charmant. Und da würde ich sagen, haben wir im deutschsprachigen Raum auf jeden Fall ein Alleinstellungsmerkmal und wahrscheinlich international jetzt auch noch nicht so viele andere Events, dass die Leute irgendwie da, dass ihnen das zu viel wird, sondern ich habe das Gefühl, da hätten Lust wirklich welche wiederzukommen oder das weiter zu empfehlen. Und auch diese informelle Unterhaltung, die vielleicht… Also ich werde zum Beispiel auch jemanden einladen, den ich dort getroffen habe und andere kannten sich teilweise auch schon oder haben sich kennengelernt. Das heißt innerhalb eines Jahres, da bleibt dieser Dialog natürlich völlig dezentral am Laufen. Ja, und das kriegt auch nicht jeder von den anderen mit. Aber nach einem Jahr sieht man sich wieder…

[00:37:47] Doreen Siegfried:
Trifft man sich mal wieder. Ja.

[00:37:48] Marianne Saam:
Oder sieht Leute, die gesagt haben: „Letztes Jahr war mein Kollege da und hat mir davon erzählt“. Und das macht dann auch richtig Freude. Und das ist auch sowas was, das kann man nicht so richtig in eine Tabelle schreiben oder sowas. Was dieser besondere…, das Besondere daran ist, gegenüber dem jetzt einfach Paper zu lesen oder Videocalls zu machen oder zu sehr großen Konferenzen zu gehen.

[00:38:10] Doreen Siegfried:
Ja, okay. Du hattest ja gesagt, auf dem Leibniz Open Science Day waren jetzt viele Nachwuchsforschende, aber auch durchaus ja ein paar Senior Researchers. Wie waren denn so die Rückmeldungen der Teilnehmenden? Was hast Du so gehört?

[00:38:28] Marianne Saam:
Ja, also die Rückmeldungen…

[00:38:29] Doreen Siegfried:
Vielleicht ein, zwei Beispiele.

[00:38:31] Marianne Saam:
Ja, ich habe jetzt tatsächlich also so richtig irgendwie sozusagen die mundgerechten Zitate habe ich nicht mehr da, aber ich war noch einen Moment da, als das Ganze dann schon am…, ja, als die Leute am Abreisen waren. Und da hatte ich den Eindruck, dass das jetzt nicht so war: Okay, ich gehe jetzt schnell mein Köfferchen holen und saus dann mal raus. Sondern dass die Unterhaltung eigentlich noch im Gange war. Ja, dass manche auch noch dann irgendwie zusammen Abend gegessen haben und das wirklich… Ja oder auch, dass zum Beispiel der Koautor von Prashant Garg auf Bluesky geschrieben hat: „Ja, das ist die Konferenz, um dieses Papier zu präsentieren.“ Das war ja nicht deswegen, weil das jetzt unsere supertolle Konferenz im zehnten Jahr ist, die er empfohlen hat, sondern weil er, glaube ich, wahrgenommen hat, dass es einfach der Überschrift nach, des Calls nach, ein besonderes Format ist. Ich glaube, es war vor allem die Diskussionsatmosphäre. Denn eine Sache, woran man manchmal merkt, dass Formate, ich will nicht sagen festgefahren sind, aber eine andere Funktion erfüllen… Bei sehr großen Konferenzen gibt es manchmal das Phänomen, dass es vielleicht für einen vor allem wichtig sein kann, da das in seinen CV zu schreiben oder in den Kaffeepausen zu sein oder um mal wen zu sehen. Aber da sind manchmal… In den Parallel Sessions kann man manchmal Pech haben und man sitzt da mit sehr wenig Zuhörenden und hat vielleicht auch sehr wenig Feedback. Also wenn man Pech hat, kann man auch wo reden und dann ist hinterher vielleicht noch eine Frage und dann war es das an Austausch zu meinem Papier. Und ich kann dann zwar noch in die Kaffeepause gehen und Leute wieder sehen, die ich vor zehn Jahren gesehen habe und fragen, ob die Diss fertig ist und wie es den Kindern geht oder so, aber zu meinem Paper habe ich nicht mehr viel Austausch. Und hier hatte ich den Eindruck, dass auch die Kaffeepausen… Also zum einen, dass die Leute mehr fragen wollten, vor allem in der Plenumssession, als überhaupt Zeit war ─ zu jedem Papier. Ja, und dass auch in den Parallel Sessions, wo dann ja natürlich auch weniger Zuhörende waren, dass doch sehr viel genuines Interesse war, die eigene Arbeit zu teilen und über den anderen mit über deren Arbeit zu reden, weil es unmittelbar relevant für die eigene Arbeit ist. Und das ist sicherlich ein Format, was wir jetzt nicht erfunden haben. Das kenne ich auch aus vielen anderen Fachgebieten, also Teilgebieten der Wirtschaftswissenschaften. Aber ich würde sagen, für Meta Science im deutschsprachigen Raum mit Fokus, oder mit einer gewissen Konzentration, in Wirtschaftswissenschaften, ist das jetzt etwas, was wir hier ganz nett und erfolgreich mal ausprobiert haben und was wir, glaube ich, gerne weiterführen könnten.

[00:41:31] Doreen Siegfried:
Ja, das ist doch ein sehr schönes Schlusswort. Das ist keine Veranstaltung, wo die Leute im Publikum mit einem Laptop sitzen und ihre E-Mails lesen, sondern wo sie mit roten Wangen diskutieren bis in die Pause und bis auch noch nach die Veranstaltung hinein.

Also vielen Dank. Vielen Dank auch an Sie, liebe Zuhörer:innen. Wir hoffen, diese Episode hat Ihnen gefallen. Teilen Sie uns gerne Ihre Meinung mit. Ob Lob oder auch gerne konstruktive Kritik per E-Mail, auf Mastodon, YouTube, Bluesky oder LinkedIn. Und wenn Ihnen unser Podcast gefällt ─ „The Future Open Science“, dann freuen wir uns natürlich, wenn Sie uns abonnieren. Bis zum nächsten Mal. Ich freue mich darauf.

[00:42:13] Marianne Saam:
Vielen Dank.