{"id":61,"date":"2022-08-18T14:10:59","date_gmt":"2022-08-18T12:10:59","guid":{"rendered":"3375eda7-6247-485c-b7e1-af3d9be7f105"},"modified":"2026-01-15T13:03:53","modified_gmt":"2026-01-15T12:03:53","slug":"fos-21-replikation-und-transparenz","status":"publish","type":"podcast","link":"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/","title":{"rendered":"FOS 21 Replikation und Transparenz"},"content":{"rendered":"\n    <div class=\"pwp4-wrapper intrinsic-ignore\" id=\"podlovewebplayer_9bcffb57869c9c5b3c27fe1e9c4f760c2ade28b9\" data-episode=\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/?podlove_action=pwp4_config\"><audio controls=\"controls\" preload=\"none\">\n  <source src=\"https:\/\/podcast.zbw.eu\/fos\/podlove\/file\/62\/s\/webplayer\/c\/website\/fos_21.mp3\" type=\"audio\/mpeg\"\/>\n<\/audio><\/div>\n  \n  \n\n    \n\n\t<div class=\"podlove-contributors-cards\">\n\t\t\t<\/div>\n\n\t<style>\n\t\t.podlove-contributors-cards {\n\t\t\tmargin-bottom: 1rem;\n\t\t\tbackground: white;\n\t\t\toverflow: hidden;\n\t\t\tborder-radius: 0.375rem;\n\t\t\tbox-shadow: 0 1px 3px 0 rgba(0, 0, 0, 0.1), 0 1px 2px 0 rgba(0, 0, 0, 0.06);\n\t\t}\n\t\t.podlove-contributors-card {\n\t\t\tdisplay: flex;\n\t\t\talign-items: center;\n\t\t\tpadding: 1rem 1.5rem\n\t\t}\n\t\t.podlove-contributors-card-inner {\n\t\t\tdisplay: flex;\n\t\t\talign-items: center;\n\t\t\tflex: 1 1 0;\n\t\t\tmin-width: 0;\n\t\t}\n\t\t.podlove-contributors-card-avatar {\n\t\t\twidth: 50px;\n\t\t\theight: 50px;\n\t\t\tborder-radius: 0.25rem;\n\t\t\toverflow: hidden;\n\t\t\tflex-shrink: 0;\n\t\t}\n\t\t.podlove-contributors-card-person {\n\t\t\tflex: 1 1 0;\n\t\t\tmin-width: 0;\n\t\t\tpadding: 0 1rem;\n\t\t\tdisplay: grid;\n\t\t\tgrid-template-columns: repeat(2, minmax(0, 1fr));\n\t\t\tgap: 1rem;\n\t\t}\n\t\t.podlove-contributors-card-person-details {\n\t\t\tcolor: #999\n\t\t}\n\t\t.podlove-contributors-card-services {\n\t\t\tflex-wrap: wrap;\n\t\t\tdisplay: flex;\n\t\t\talign-items: center;\n\t\t\talign-content: center;\n\t\t\tjustify-content: flex-end;\n\t\t}\n\t\t.podlove-contributors-card-services-service {\n\t\t\tdisplay: inline-block;\n\t\t\tflex-shrink: 0;\n\t\t\tpadding-left: 0.5rem;\n\t\t\ttext-decoration: none;\n\t\t\tbox-shadow: none;\n\t\t}\n\t<\/style>\n\n\n\n\n\n\n<div class=\"zbw_shownotes\">\n\n\n\n<p>LINKS UND HINTERGR\u00dcNDE:<\/p>\n\n\n\n<p><a href=\"http:\/\/www.jcr-econ.org\/\" target=\"_blank\" rel=\"noreferrer noopener\">Journal of Comments and Replications in Economics (JCRE)<\/a><\/p>\n\n\n\n<p><a href=\"https:\/\/www.socialsciencereproduction.org\/\" target=\"_blank\" rel=\"noreferrer noopener\">Social Science Reproduction Platform (SSRP)<\/a><\/p>\n\n\n\n<p><a href=\"https:\/\/i4replication.org\/\" target=\"_blank\" rel=\"noreferrer noopener\">Institute for Replication (I4R)<\/a><\/p>\n\n\n\n<p><a href=\"https:\/\/social-science-data-editors.github.io\/template_README\/\" target=\"_blank\" rel=\"noreferrer noopener\">A template README for social science replication packages<\/a><\/p>\n\n\n\n<p><a href=\"https:\/\/aeadataeditor.github.io\/\" target=\"_blank\" rel=\"noreferrer noopener\">AEA Data Editor<\/a><\/p>\n\n\n\n<p><a href=\"https:\/\/aeadataeditor.github.io\/year-archive\/\" target=\"_blank\" rel=\"noreferrer noopener\">AEA Data Editor Blog Posts<\/a><\/p>\n\n\n\n<p><a href=\"https:\/\/twitter.com\/AEAData\" target=\"_blank\" rel=\"noreferrer noopener\">AEA Data Editor auf Twitter<\/a><\/p>\n\n\n\n<\/div>\n\n\n\n<div data-wp-context=\"{ &quot;autoclose&quot;: false, &quot;accordionItems&quot;: [] }\" data-wp-interactive=\"core\/accordion\" role=\"group\" class=\"wp-block-accordion is-layout-flow wp-block-accordion-is-layout-flow\">\n<div data-wp-class--is-open=\"state.isOpen\" data-wp-context=\"{ &quot;id&quot;: &quot;accordion-item-1&quot;, &quot;openByDefault&quot;: false }\" data-wp-init=\"callbacks.initAccordionItems\" data-wp-on-window--hashchange=\"callbacks.hashChange\" class=\"wp-block-accordion-item is-layout-flow wp-block-accordion-item-is-layout-flow\">\n<h3 class=\"wp-block-accordion-heading has-small-font-size\"><button aria-expanded=\"false\" aria-controls=\"accordion-item-1-panel\" data-wp-bind--aria-expanded=\"state.isOpen\" data-wp-on--click=\"actions.toggle\" data-wp-on--keydown=\"actions.handleKeyDown\" id=\"accordion-item-1\" class=\"wp-block-accordion-heading__toggle\"><span class=\"wp-block-accordion-heading__toggle-title\">Episode 21 als Text<\/span><span class=\"wp-block-accordion-heading__toggle-icon\" aria-hidden=\"true\">+<\/span><\/button><\/h3>\n\n\n\n<div inert aria-labelledby=\"accordion-item-1\" data-wp-bind--inert=\"!state.isOpen\" id=\"accordion-item-1-panel\" role=\"region\" class=\"wp-block-accordion-panel is-layout-flow wp-block-accordion-panel-is-layout-flow\">\n<p>The Future is Open Science \u2013 Folge 21: Replikation und Transparenz<\/p>\n\n\n\n<p>Dr. Doreen Siegfried<br>Leitung Marketing und Public Relations, ZBW \u2013 Leibniz-Informationszentrum Wirtschaft<\/p>\n\n\n\n<p>Lars Vilhuber<br>Data Editor der American Economic Association, Direktor des Labor Dynamics Institute, Cornell University<\/p>\n\n\n\n<p>[00:00:03] Doreen Siegfried:<br>Willkommen bei \u201cThe Future is Open Science\u201d, dem Podcast der ZBW. Hier verraten Ihnen interessante Menschen aus dem Wissenschaftsbetrieb, wie sie in ihrer t\u00e4glichen Arbeit Open Science voranbringen. Wir tauchen ein, in die Tiefen der Wissenschaftskommunikation im digitalen Zeitalter und verraten Ihnen handfeste Tipps und Tricks zu Open Science in der Praxis. Ich bin Doreen Siegfried und freue mich sehr, Host dieses Podcast zu sein.<\/p>\n\n\n\n<p>[00:00:33] Doreen Siegfried:<br>Hallo und herzlich willkommen zu einer neuen Folge von \u201eThe Future is Open Science\u201c, dem Podcast der ZBW. Heute zu Gast der \u00d6konom und Data Editor der American Economic Association und Direktor des Labor Dynamics Institute an der Cornell University. Das Labor Dynamics Institute mit seinem Replication Lab f\u00fchrt die Reproduzierbarkeits\u00fcberpr\u00fcfung f\u00fcr die acht Zeitschriften der AEA durch. Herzlich willkommen, Lars Vilhuber.<\/p>\n\n\n\n<p>[00:01:05] Lars Vilhuber:<br>Danke f\u00fcr die Einladung.<\/p>\n\n\n\n<p>[00:01:06] Doreen Siegfried:<br>Wir sprechen \u00fcber Reproduzierbarkeit und Replizierbarkeit in den Wirtschaftswissenschaften. Herr Vilhuber, Sie leben und arbeiten seit vielen Jahren in den USA. Wie erleben Sie dort die innerwissenschaftliche Diskussion rund um das Thema Reproduzierbarkeit?<\/p>\n\n\n\n<p>[00:01:26] Lars Vilhuber:<br>Ich krieg da nicht unbedingt den komplett repr\u00e4sentativen \u00dcberblick nat\u00fcrlich in der Position, in der ich bin. Aber die Tatsache, dass ich dazu ausgesucht wurde, um Data Editor zu werden, sagt mir, da ist sehr viel Diskussion. Einer der Hintergr\u00fcnde, warum ich mich denn \u00fcberhaupt bereit erkl\u00e4rte, war, dass ich in einer Konferenz der AEA vor ein paar Jahren sa\u00df und es Leute gab, die monierten, wirtschaftswissenschaftliche Studien seien nicht replizierbar. Und insbesondere zeigten sie mit dem Finger auf die, die Daten haben, die nicht frei zug\u00e4nglich sind, was in der Volkswirtschaft in der Wissenschaft sehr h\u00e4ufig vorkommt. In empirischen Studien sind es 40 bis 50 % aller Studien, die Daten haben, die nicht frei zug\u00e4nglich sind. Und das wurde einfach pauschal abgesagt. Mein Hintergrund ist, dass ich als Arbeits\u00f6konom lange Zeit mit solchen Daten gearbeitet habe und eigentlich sehr genau wei\u00df, dass wenn man sich in einen Raum setzen muss, der auf der anderen Seite vom Campus ist und dann nur dort abgekapselt vom Internet arbeiten muss, man macht das sehr konzentriert, man will keine Zeit verschwenden und man achtet sehr auf Reproduzierbarkeit. Aber wie kann man das weitergeben an die Gemeinschaft im Allgemeinen? Also stand ich damals auf und sagte \u201eDas ist nicht wahr. Wir wissen nicht, wie reproduzierbar das ist, aber die sind nicht von vornherein nicht reproduzierbar. Es reduziert nur die Anzahl der Leute, die das machen k\u00f6nnen.\u201c Und das entwickelte sich dann zu einem Statement, was dann die AEA ja umgesetzt hat, um zu sagen, du bist jetzt Data Editor. Und im Allgemeinen kommt es sehr gut an. Es kriegt also in der Regel sehr wenig Beschwerden \u00fcber dieses als zu viel Arbeit, das ist es nicht wert, das ist es eigentlich immer wert. Und das sagen alle. Es ist sehr offen. Es ist sehr respektvoll f\u00fcr die Schwierigkeiten, das zu machen. Jeder sagt, es ist mehr Arbeit, als sie gedacht haben, aber dass das Endresultat es wert ist. Also im Allgemeinen sehr positiv.<\/p>\n\n\n\n<p>[00:03:39] Doreen Siegfried:<br>Ja, okay. Nun ist es ja so, dass es in den Wirtschaftswissenschaften, laut meiner Wahrnehmung, ja diese Beschwerden ja schon seit den Siebzigern gibt, also und auch die Kritik daran, dass empirische Forschungsergebnisse nicht repliziert bzw. reproduziert werden k\u00f6nnen. Also die 70er Jahre sind jetzt schon 50 Jahre her, also quasi ein halbes Jahrhundert. Was ist denn seitdem passiert?<\/p>\n\n\n\n<p>[00:04:04] Lars Vilhuber:<br>So wie ich das sehe, hat sich sowohl der Frust aufgebaut, sodass dann irgendwann mal auch was gemacht wurde. Aber vor allen Dingen die Technologie hat geholfen, es einfacher zu machen. Selbst in den Anfang der Zwotausender war es noch sehr schwierig, \u00fcberhaupt Daten oder Code robust weiterzugeben. Das ging dann \u00fcber \u201eIch schick dir mal eine Floppy oder ich tu das mal auf meine Website\u201c, weil nirgendwo anders ist was, wo man das machen kann. Das ist mittlerweile anders. Es gibt robuste Archive in allen L\u00e4ndern der Welt f\u00fcr alle Gegebenheiten, die kosten heutzutage f\u00fcr die meisten Verbraucher nichts, f\u00fcr die meisten Wissenschaftler ist es gratis. Die meisten Studien sind mittlerweile laufen sehr viel schneller, so dass man das Ganze dann auch in Minuten und nicht in Wochen machen kann. Das hei\u00dft nicht, dass alle Studien das machen. Es gibt noch sehr, sehr intensiv von der Computerverwendung her Studien und das letzte ist auch, dass von der Computer Science dann Techniken reinkamen, wie man das Ganze dann auch besser aufzieht. Es hilft, dass mit den Jahren auch weniger Software benutzt wurde, weniger Varianten von Software. Also in gewissen Bereichen der volkswirtschaftlichen Studien ist STATA im Prinzip dominierend. Und das ist zwar keine freie Software, aber jeder hat Zugang zu dem Wissen, wie man das laufen lassen muss. Das ist anders als in den 70er, 80er Jahren, wo dann mein spezial Fortran-Programm oder das andere Spezialprogramm dann nicht komplett reproduzierbar war mit verschiedenen Leuten. Das kam dann alles zusammen. Zudem kam dann eben der allgemeine wissenschaftliche Hintergrund Data Citation Principles, dass man also auch Daten besser archivieren kann, dass man sie dann auch besser zitieren kann. Das ist auch eine Reaktion auf die Tatsache, dass das oftmals ein Problem war, was es eben \u2026 Und dann haben sich halt diese Archive entwickelt, dann haben sich Techniken entwickelt, wie man das besser macht. Ich glaube, da ist Frust und Technologie zusammengekommen, um zu sagen, jetzt ist es m\u00f6glich, also machen wir es jetzt.<\/p>\n\n\n\n<p>[00:06:25] Doreen Siegfried:<br>Ja, okay. Das hei\u00dft, der Traum in den Wirtschaftswissenschaften doch noch eine, nennen wir es mal Kultur der Replikation zu etablieren, ist realistischer geworden. Oder wie ist Ihre Einsch\u00e4tzung?<\/p>\n\n\n\n<p>[00:06:38] Lars Vilhuber:<br>Ich sehe eigentlich in der Arbeit, die wir f\u00fcr die AEA machen und mittlerweile \u2013 ich habe es gerade gestern nachgeschaut, haben wir 1.300 Artikel bisher analysiert \u2013 gro\u00dfartige Probleme sind da nie, kleine Probleme sind da immer. Und insofern sind wir noch entfernt von, was man vereinfacht Push Button Replicability sagt. Aber im Gro\u00dfen und Ganzen wissen Forscher zumindest in allgemeinen Gegenden der Volkswirtschaft, dass andere die Forschung versuchen werden, zu replizieren. Was, wo es noch hapert, ist im gewissem Sinne Kenntnis unter den Wissenschaftlern, wie man das machen muss. Auf Englisch nenne ich das computational Empathy.<\/p>\n\n\n\n<p>[00:07:27] Doreen Siegfried:<br>Ja.<\/p>\n\n\n\n<p>[00:07:27] Lars Vilhuber:<br>Dass man sich in die Schuhe des anderen hineinsetzt und sagt, \u201eWas muss der jetzt machen, um das zu machen, was ich schon gemacht habe?\u201c<\/p>\n\n\n\n<p>[00:07:34] Doreen Siegfried:<br>Ja, verstehe.<\/p>\n\n\n\n<p>[00:07:34] Lars Vilhuber:<br>Das machen wir, wenn wir schreiben, das machen wir nicht unbedingt, wenn wir Code schreiben. Und das ist eigentlich meines Erachtens das gr\u00f6\u00dfte Problem. Wenn wir das l\u00f6sen, dann ist das eigentlich relativ gut im Verh\u00e4ltnis zu der Zeit.<\/p>\n\n\n\n<p>[00:07:48] Doreen Siegfried:<br>Okay. Ja, super. Immer mehr wirtschaftswissenschaftliche Fachzeitschriften haben ja ihre Data Policies versch\u00e4rft so in den letzten Jahren. Wie werden diese eigentlich in der Praxis durchgesetzt? Also wird das alles nachgerechnet oder reicht allein die Existenz von Daten und Code? Und die Zeitschriften sind schon ganz gl\u00fccklich?<\/p>\n\n\n\n<p>[00:08:11] Lars Vilhuber:<br>Die Tatsache, dass ich diese Position bei der AEA habe, ist Beweis daf\u00fcr, dass einfach eine Policy zu haben nicht ausreicht. Denn die hatte die AEA ja seit 2004. Und das stellte sich dann immer noch als sehr problematisch heraus. In der Pilotstudie, die ich mit ein paar Studenten gemacht hatte f\u00fcr eine der Zeitschriften der AEA, waren etwa von dem, wo wir Daten hatten, nur die H\u00e4lfte, so dass man mit minimalen \u00c4nderungen da was machen konnte. Die andere H\u00e4lfte war problematisch, dass es einfach nicht lief. Das hei\u00dft nicht, dass die falsche Resultate gaben, sondern sie liefen einfach nicht auf unseren Computern, wenn es da nicht ging. Also einfach eine Policy haben reicht nicht. Nachdem ich dann die Stelle \u00fcbernommen habe, stellte ich noch andere Sachen fest, die auch relevant sind f\u00fcr das. N\u00e4mlich die Datenverf\u00fcgbarkeit ist meistens sehr schlecht beschrieben. Auch das muss man erst lernen und das hat zeigt Bedarf f\u00fcr einen Editor, der dann damit reingeht und sagt, \u201eIst deine Beschreibung auch so, dass jemand anders das nachvollziehen kann?\u201c, wenn es nicht ein klick drauf und lad runter ist, was ja die meisten Daten sind. Also sind da zwei Sachen, die darauf hinweisen, dass eine \u00dcberpr\u00fcfung der Pakete notwendig ist. Allerdings muss diese Pr\u00fcfung nicht unbedingt vor der Ver\u00f6ffentlichung stattfinden. In meinem Falle f\u00fcr die AEA findet das vor Ver\u00f6ffentlichung statt. Aber nicht jeder hat die Ressourcen einen Data Editor zu haben. Was in anderen Disziplinen, aber nicht in der Volkswirtschaft, gang und g\u00e4be ist, ist, dass wenn was schiefgeht, dass dann auch das Risiko ist, dass ein Papier wieder runtergenommen wird von der Zeitschrift, eine Retraction. Und damit im Prinzip eine Bestrafung besteht, wenn der Code nicht replizierbar ist. Das ist aber auch eine Politik, die eine Zeitschrift machen muss. Nicht alle Zeitschriften sind so radikal, dass sie das dann machen. Also muss irgendwo muss ein Mechanismus sein, um das dann tats\u00e4chlich auch zu \u00fcberpr\u00fcfen.<\/p>\n\n\n\n<p>[00:10:12] Doreen Siegfried:<br>Das hei\u00dft, bei den Zeitschriften, die Sie jetzt gerade genannt haben, wo vorab keine Pr\u00fcfung durchgef\u00fchrt wird, sondern sozusagen erst im Nachhinein, das ist dann aber sozusagen eine \u00dcberpr\u00fcfung nicht durch die Zeitschrift selbst, sondern durch die Peers, durch die Community?<\/p>\n\n\n\n<p>[00:10:29] Lars Vilhuber:<br>Ja, aber wir wissen auch, dass \u00dcberpr\u00fcfung durch die Peers, das keine Konsequenzen hat, nicht besonders effektiv ist. Das muss also irgendwo, blo\u00df, weil da ein oder zwei Leute gesagt haben, gegebenenfalls mit Beweisen, dass das nicht funktioniert, f\u00fchrt in der Regel zu wenig, im Sinne von \u201edie werden dann nicht mehr zitiert\u201c oder etc. Eine Retraction ist da sehr effektiv, weil dann ist kein Artikel mehr da, der ein falsches Archiv hat, dass zitiert werden k\u00f6nnte. F\u00fcr die AEA war es halt wichtiger zu sagen, das k\u00f6nnen wir vorher korrigieren und dann finden wir solche Probleme vorher, bevor wir dann etwas ver\u00f6ffentlichen, das da passiert. Da gibt es Grauzonen dazwischen, die kann man beispielsweise wie Peer Review effektiver machen. Da gibt es unterschiedliche Methoden. Das Replication Wiki versucht das seit Jahren zu machen. Ich bin mit einem neuen Projekt \u2013 wir haben gerade vor einer Woche in Kanada ein Pilotprojekt gemacht, wo wir bereits ver\u00f6ffentlichte Artikel von der Canadian Journal of Economics, die auch so eine Politik hat, die eben, die hat einen Data Editor, sie hat aber keinen, der tats\u00e4chlich die Codes laufen l\u00e4sst. Also haben wir es mit Unterst\u00fctzung von der Zeitung im Nachhinein gemacht. Und das wird jetzt in den n\u00e4chsten Wochen, Monaten von dem Data Editor zu Emails f\u00fchren, zu den Autoren, um zu sagen, \u201eHey, hier ist ein kleiner Fehler in dem Programm. Das m\u00fcssen wir ab\u00e4ndern\u201c oder \u201eHier ist die Beschreibung der Daten nicht richtig. Das m\u00fcsste abge\u00e4ndert werden\u201c. Da werden dann nach Ver\u00f6ffentlichung aber Korrekturen in den Programmen dann gemacht. Das ist auch eine M\u00f6glichkeit. Es ist relativ billiger im Sinne von, wir haben den Studenten einen finanziellen Anreiz gegeben, der nicht enorm ist, aber die waren auch selber daran interessiert und das l\u00e4sst sich auch punktuell machen. Auch das ist eine konstruktive anstatt einer Retraction da vorzugehen, auch das funktioniert. Das sind, da gibt es Varianten, wo man das alles machen kann, auch im Nachhinein. Nur muss es dann gemacht werden.<\/p>\n\n\n\n<p>[00:12:35] Doreen Siegfried:<br>Ja, okay.<\/p>\n\n\n\n<p>[00:12:35] Lars Vilhuber:<br>Es ist wirklich m\u00f6glich, das zu machen. Das war halt vorher nicht immer so einfach.<\/p>\n\n\n\n<p>[00:12:38] Doreen Siegfried:<br>Ah ja, okay. Und wie ist Ihre Einsch\u00e4tzung? Also wie verbreitet ist tats\u00e4chlich diese \u00dcberpr\u00fcfung? Also sei es jetzt durch einen Data Editor oder durch ein studentisches Team oder wie auch immer. Also wie viele Zeitschriften oder sagen wir mal, wie viele der relevanten Zeitschriften in der VWL \u00fcberpr\u00fcfen dann tats\u00e4chlich die Daten?<\/p>\n\n\n\n<p>[00:12:59] Lars Vilhuber:<br>Nicht sehr viele. Also in der Volkswirtschaft, ich ziehe jetzt mal beispielsweise eine Marketing-Zeitschrift rein, \u201eManagerial Science\u201c hat auch ein Data Editing Team, das in Wien sitzt, beispielsweise. In der Volkswirtschaft sind das vier oder f\u00fcnf. Also, ich bin f\u00fcr acht verantwortlich, aber ich z\u00e4hle das mal als eins, sind vier oder f\u00fcnf Data Editors, die diese Sachen laufen lassen. Ich glaube, ich kenne die meisten. Und wenn ich die pers\u00f6nlich kenne, hei\u00dft es, dass es ein relativ kleiner Kreis ist. In Political Science ist es ein bisschen weiterverbreitet, aber ob das, da sind mehr Zeitschriften mit weniger Artikeln, glaube ich. Das ist also auch nicht so gang und g\u00e4be. Sagen wir mal, Soziologie wei\u00df ich von keiner Zeitschrift, die das macht. Da wei\u00df ich von einigen Zeitschriften, die das vielleicht mal anfangen wollen, aber da, das ist auch nicht meine Dom\u00e4ne, da kann es ein paar geben, die es schon machen. Aber was mir meine Soziologen-Freunde sagen, ist, dass ist l\u00e4ngst nicht so gut akzeptiert, wie es in der Volkswirtschaft ist.<\/p>\n\n\n\n<p>[00:14:08] Doreen Siegfried:<br>Ja, okay, verstehe. Wenn wir jetzt noch mal so zur\u00fcck auf die Volkswirtschaft gucken und auf die Data Policies der Fachzeitschriften und Verb\u00e4nde. Hat das irgendwelche Effekte? Also wirkt das, wirken diese Data Policies? Also sprich, werden heute noch mehr Daten hinterlegt als beispielsweise vor zehn Jahren?<\/p>\n\n\n\n<p>[00:14:26] Lars Vilhuber:<br>Auf alle F\u00e4lle.<\/p>\n\n\n\n<p>[00:14:27] Doreen Siegfried:<br>Auf alle F\u00e4lle. Okay.<\/p>\n\n\n\n<p>[00:14:29] Lars Vilhuber:<br>Teil der Arbeit, die ich als Data Editor mache, ist auch mit Autoren zu reden, um zu sagen, \u201eVersteck deine Daten nicht unbedingt als ein STATA-File irgendwo im Unterordner in deinem Replication Package, sondern, das ist interessant, ver\u00f6ffentliche die Daten doch mal separat, so dass mehr Leute mehr Einsicht haben in diese Daten. Nicht nur durch den Artikel, sondern auch durch die Daten selber.\u201c Ich habe etliche Autoren, mit denen ich l\u00e4ngere Unterhaltung gehabt habe, die dann halt separat dann auch diese Daten, die vielleicht vorher in einem Team waren, jetzt halt ver\u00f6ffentlicht werden.<\/p>\n\n\n\n<p>[00:15:05] Doreen Siegfried:<br>Ja, okay.<\/p>\n\n\n\n<p>[00:15:06] Lars Vilhuber:<br>Das sind also Unterhaltungen, die ich auch habe. Ich sehe auch, dass das andere dann auch machen. Ich sehe auch, dass wir \u00f6fters mal in unseren Berichten mit den Autoren reinschreiben, diese Daten, die existieren derzeit, werden sie in f\u00fcnf Jahren noch existieren, wissen wir nicht. Sie haben die Rechte, sie hier rein zu tun, also tun sie die mal rein. Also in dem Sinne werden mehr Daten ver\u00f6ffentlicht auf eine Art und Weise, die auch garantiert, dass es in 20, 30 Jahren noch verf\u00fcgbar ist.<\/p>\n\n\n\n<p>[00:15:38] Doreen Siegfried:<br>Ja, okay. Und dann nat\u00fcrlich anschlie\u00dfend die Frage, verbessert sich dadurch die Reproduzierbarkeit? Also sei es jetzt durch Replikationsstudien oder auch durch einen Data Steward? Wird es besser?<\/p>\n\n\n\n<p>[00:15:51] Lars Vilhuber:<br>Also, ich bilde mir ein, dass ich einen gewissen Effekt habe, denn die meisten Autoren ver\u00f6ffentlichen in ihrer Lebenszeit nur zwei, drei Mal in unseren Zeitschriften. Aber ich habe von etlichen schon geh\u00f6rt, dass sie dann, was sie f\u00fcr uns machen mussten, jetzt auch f\u00fcr ihren n\u00e4chsten Artikel f\u00fcr eine andere Zeitschrift gemacht haben, die kein Data Editor haben, die vielleicht noch nicht mal eine Policy haben. Aber das ist einfach, macht Sinn. Also ich bilde mir aber ein, dass da ein gewisser Effekt ist, auch in anderen Zeitschriften, in wie Leute das auch angehen, in wie sie das auch ihren Studenten dann weitergeben. Das ist nicht explosiv, das ist langsam, aber es wird besser.<\/p>\n\n\n\n<p>[00:16:34] Doreen Siegfried:<br>Es wird besser. Okay, das h\u00f6rt sich ja schon mal gut an. Wie werden denn bei Ihnen eigentlich die Forscherinnen und Forscher unterst\u00fctzt, Replikationspakete \u00fcberhaupt erst mal zu erstellen? M\u00fcssen sie sich das Wissen selbst aneignen oder haben Sie da irgendwelche Trainings f\u00fcr die und z\u00e4hlt das dann tats\u00e4chlich auch als wissenschaftliche Leistung, die entsprechend anerkannt wird? Also, solche Replikationspakete zu entwerfen?<\/p>\n\n\n\n<p>[00:17:00] Lars Vilhuber:<br>Die letzte Frage ist wahrscheinlich einfacher zu beantworten: Wei\u00df ich nicht. Die Zukunft wird das zeigen, ob Artikel, die bessere Replication Packages haben, da mehr Zitate bekommen, mehr wieder benutzt werden etc. Was ich in diesem Jahr zuf\u00e4llig beobachtet habe, ist momentan habe ich etliche Replication Packages, die selber Replications gemacht haben.<\/p>\n\n\n\n<p>[00:17:24] Doreen Siegfried:<br>Ah, okay.<\/p>\n\n\n\n<p>[00:17:24] Lars Vilhuber:<br>Die das halt benutzt haben, um zu sagen: \u201eSind diese Instrumental Wearable Tests, robust \u00fcber etliche Studien hinweg? Und hier sind 15 Studien.\u201c Und viele von diesen Studien kommen von unseren Zeitschriften. Also die Verf\u00fcgbarkeit von Replication Packages erm\u00f6glicht neue Wissenschaft. Genau deshalb wollen wir so was dann haben.<\/p>\n\n\n\n<p>[00:17:45] Doreen Siegfried:<br>Ja.<\/p>\n\n\n\n<p>[00:17:46] Lars Vilhuber:<br>Um auf die erste Frage zur\u00fcckzukommen, was wir da an Unterst\u00fctzung haben. Ich m\u00f6chte eigentlich nicht ein AEA spezifisches Paketformat haben. Da koordiniere ich mich also schon mit den aktiven Data Editors in anderen Zeitschriften, dass wir gemeinsame Richtlinien herausgeben, wie sowas aussehen will. Wir sind da auch wenig deskriptiv, es muss halt nur verst\u00e4ndlich sein f\u00fcr andere.<\/p>\n\n\n\n<p>[00:18:10] Doreen Siegfried:<br>Ja.<\/p>\n\n\n\n<p>[00:18:10] Lars Vilhuber:<br>Wir haben da schon, also auf der AEA Website f\u00fcr den Data Editor haben wir da schon Richtlinien, was man machen sollte. Und mittlerweile sind da nat\u00fcrlich auch viele Randf\u00e4lle. Was sollte ich machen, wenn ich 10.000 Dateien habe? Das ist auch schwer zu greifen, wenn man das erkl\u00e4ren muss. Was kann man da besser machen? Was soll ich machen, wenn ich etliche confidential data habe, die ich da beschreiben sollte, die ich benutzen sollte, wo ich Programme schreiben muss, die irgendwo in einem Forschungszentrum sitzen, wo ich reinkam, als ich Student war und wie soll ich das anderen beschreiben? Da haben wir schon helfen. Ich glaube, das hilft auch, dass Leute das dann besser machen. Wir haben als Data Editors von den verschiedenen Zeitschriften zusammen haben wir ein, was wir ein Template Readme nennen, aufgestellt. Was im Prinzip auch einen Forscher da durchf\u00fchrt: Was sollte ich beschreiben? Wie sollte eine Datenbeschreibung aussehen? Was soll ich beschreiben \u00fcber meinen Computer? Wieso interessiert das jemand? Ja weil und hier sind ein paar Beispiele, wie sollte ich beschreiben, was die n\u00e4chsten Etappen sind, die jemand durchgehen muss? Und das ist das gleiche Format f\u00fcr alle unserer Zeitschriften. Das ist nicht AEA spezifisch. Das hilft, so viel wir wissen, dass Leute auch bessere Pakete vorbereiten.<\/p>\n\n\n\n<p>[00:19:30] Doreen Siegfried:<br>Ja, okay.<\/p>\n\n\n\n<p>[00:19:30] Lars Vilhuber:<br>Wir haben alle, wenn wir uns da unterhalten, \u00fcber diese verschiedenen Zeitschriften hinweg, mittlerweile eine Verbesserung der Pakete von vornherein, wenn sie uns schon zugeschickt werden, festgestellt. Und das ist meines Erachtens, weil wir eben diese verschiedenen Richtlinien herausgegeben haben.<\/p>\n\n\n\n<p>[00:19:47] Doreen Siegfried:<br>Ja, ja, verstehe.<\/p>\n\n\n\n<p>[00:19:48] Lars Vilhuber:<br>Ein Problem besteht noch, dass dies meistens im Nachhinein ein besseres Paket gemacht wird. Das sollte man eigentlich von vornherein machen, wenn man \u00fcberhaupt ein Projekt anf\u00e4ngt, wenn man \u00fcberhaupt ein Paper anf\u00e4ngt. Das ist nat\u00fcrlich viel schwieriger, weil dann sagt nicht irgendjemand, ich fange jetzt ein neues Projekt an und das werde ich dann der AEA schicken, dann gehe ich mal da schauen, was die f\u00fcr Richtlinien haben, sondern das ist ein bisschen unklarer, wo dann Leute ihre Richtlinien suchen. Aber da gibt es auch gute Beispiele im Allgemeinen, nicht nur von der Zeitschrift, wie man das Ganze dann macht. Und da sollte im Prinzip jeder Wissenschaftler, der da ein Paket mit Code vorbereitet, sollte sich mal eines dieser Beispiele raussuchen und dann weitermachen.<\/p>\n\n\n\n<p>[00:20:31] Doreen Siegfried:<br>Ja, okay. Das macht ja sicherlich auch Sinn, das gleich von Anfang an zu machen, bevor man sich dann irgendwie nach all den Jahren gar nicht mehr so recht erinnert, wie man das irgendwie mal 2013 irgendwie gemacht hat oder programmiert hat.<\/p>\n\n\n\n<p>[00:20:42] Lars Vilhuber:<br>Ich meine gegeben wie lange es dauert, einen Artikel in der Volkswirtschaft zu ver\u00f6ffentlichen und wie lange Projekte laufen, sage ich eigentlich immer, der erste Replikator bin ich selber in f\u00fcnf Jahren.<\/p>\n\n\n\n<p>[00:20:55] Doreen Siegfried:<br>Ja, ja, genau. [lacht]<\/p>\n\n\n\n<p>[00:20:56] Lars Vilhuber:<br>Ich muss verstehen, was ich da gemacht habe und ich sollte nicht drei Tage brauchen, um das alles wieder zu verstehen, sondern ich sollte mein eigenes Readme lesen und das sofort beispielsweise an meinen neuen Forschungs-assistenten weitergeben k\u00f6nnen, aber auch selber einfach verstehen, was ich da habe. Also ich bin mein erster Pr\u00fcfredner.<\/p>\n\n\n\n<p>[00:21:12] Doreen Siegfried:<br>Ja, ja, absolut. Was halten Sie von Replikationsstudien?<\/p>\n\n\n\n<p>[00:21:18] Lars Vilhuber:<br>Ich glaube, die sind sehr wichtig. Das Problem ist, dass man nicht unbedingt wei\u00df, wo die ver\u00f6ffentlicht werden k\u00f6nnen und ob das sinnvoll belohnt wird in der Wissenschaft. Also eine Replikationsstudie wird im Allgemeinen, wenn sie das gleiche Resultat findet, als uninteressant empfunden. Es ist aber ein wichtiger Bestandteil des wissenschaftlichen Korpusses. Das hei\u00dft, da muss man halt versuchen, auf verschiedene Art und Weise, die dann zu ver\u00f6ffentlichen. Ihr Institut hat ja da ein Sponsoring von einer Zeitschrift, wo man solche Sachen reintun kann als eine Ver\u00f6ffentlichung. Ob die gew\u00fcrdigt wird, das wird sich rausstellen. Ich hoffe, ja. Aber die sind wichtig. Wenn sie negative Resultate finden, ist das auch wichtig. Das sollte man immer als eine Unterhaltung, nicht als eine Blamierung sehen, denn oftmals ist es sehr einfach, dann auch Korrekturen zu machen. Aber die sind auf alle F\u00e4lle wichtig.<\/p>\n\n\n\n<p>[00:22:19] Doreen Siegfried:<br>Ja. Na ja, ich meine, wenn es positiv ist und das Gleiche noch mal belegt, das ist ja fast wie so ein G\u00fctesiegel, dass es dann zumindest einmal repliziert werden konnte, oder?<\/p>\n\n\n\n<p>[00:22:29] Lars Vilhuber:<br>So sollte es empfunden werden.<\/p>\n\n\n\n<p>[00:22:30] Doreen Siegfried:<\/p>\n\n\n<p>[lacht]<\/p>\n\n\n\n<p>[00:22:30] Lars Vilhuber:<br>Es wird allerdings nicht so gew\u00fcrdigt. Also wir haben ein Projekt, wo ich mit drin bin, wo wir eben diese Art von G\u00fctesiegel versuchen aufzubauen, indem wir einfach aufnehmen, wie viel positive und wie viele negative Replication Studies gemacht wurden.<\/p>\n\n\n\n<p>[00:22:35] Doreen Siegfried:<br>Ah, ja.<\/p>\n\n\n\n<p>[00:22:35] Lars Vilhuber:<br>Vor allen Dingen von Studenten oder sowas. Und dann hofft man, dass man auch sagen kann, ja, da, hier sind f\u00fcnf, die das Gleiche sagen. Aber selbst f\u00fcr einen Studenten ist es relativ uninteressant, wenn da zwei andere schon gesagt haben, das funktioniert, warum soll ich mich drum k\u00fcmmern, warum soll ich das noch mal machen? Mach ich doch lieber was Neues. Dass man da \u00fcberhaupt sagen kann, drei oder vier haben das gleiche Resultat gefunden, ist nicht ganz klar, wie man da hinkommt.<\/p>\n\n\n\n<p>[00:23:08] Doreen Siegfried:<br>Ja, okay, das kann ich nachvollziehen. Wie entwickelt sich denn in Ihren Augen der Schulungsmarkt f\u00fcr Replikation? Gibt es hier gro\u00dfe Treiber, die Sie irgendwie hervorheben k\u00f6nnen?<\/p>\n\n\n\n<p>[00:23:19] Lars Vilhuber:<br>In welchem Sinne?<\/p>\n\n\n\n<p>[00:23:21] Doreen Siegfried:<br>Also, dass man sagt okay, das Replizieren zu lernen oder Reproduktion zu lernen, findet entweder schon im Studium statt oder es gibt bestimmte Anbieter, die das sozusagen f\u00fcr ein Fach ganz spezifisch anbieten und sich da spezialisiert haben. Oder es findet erst in der Doktorandenausbildung statt. Also, wo werden die Leute geschult? Oder es ist einfach total dezentral und man lernt es so wie Lesen und Schreiben irgendwo nebenbei.<\/p>\n\n\n\n<p>[00:23:51] Lars Vilhuber:<br>Es ist derzeit ziemlich dezentral. Ich sehe als eine meiner Aufgaben als Data Editor der AEA zu sagen, das sollte man fr\u00fchestm\u00f6glich lernen. Man sollte es lernen, so wie man in der Biologie lernt, wie man eine Pipette bedient. Das ist bei uns schreibt man halt Code, der dann reproduzierbar sein sollte. Und das sollte schon beim Grundstudium anfangen, das sollte schon bei den Bachelors drin sein. Die Studenten, die in meinem Replikation Lab arbeiten, sind alles Studenten, die ihre Bachelors noch nicht zu Ende gemacht haben. Das hei\u00dft, die k\u00f6nnen das machen, die lernen auch was davon. Und die sagen mir in der Regel, dass sie das interessant finden, das zu lernen. Die haben sich nat\u00fcrlich selber beworben, also ist das nicht ein representative Sample. Das sollte auf alle F\u00e4lle im Doktorandenstudium beigebracht werden, als integraler Teil der Forschungsmethoden, die man wissen muss, wenn man Studien macht. Und selbst als Theoretiker \u2013 wie viele Theoretiker irgendwann machen wir dann doch mal eine empirische Arbeit \u2013 sollten auch wissen, wie das ganze abgeht. Gibt es da jetzt ein Standard-Curriculum oder gibt es da Standard-Anbieter? Nein, gibt es nicht.<\/p>\n\n\n\n<p>[00:25:00] Doreen Siegfried:<br>Ja, okay.<\/p>\n\n\n\n<p>[00:25:01] Lars Vilhuber:<br>Was man meistens sieht, im Sinne von, dass man das als Data Science, nicht als Replication Science bekommt, dass man dann lernt, was ist Git, wie macht man R und was wei\u00df ich nicht alles, was macht man mit Python. Das ist aber nicht unbedingt replizierbar. Das sind die Werkzeuge um das replizierbar zu machen. Aber selber von alleine wird kein R-Code replizierbar. Im Gegenteil. Von alleine wird kein Python-Code reproduzierbar. Und selbst wenn ich wei\u00df, wie Git funktioniert, hei\u00dft das nicht, dass ich Git richtig anwende oder dass ich das benutze, um meine Arbeit replizierbar zu machen. Also das ist dann immer noch eine n\u00e4chste Stufe, die oftmals nicht angeboten wird. Also f\u00fcr die ganz dienlichen Sachen Python, R etc. gibt es sehr gute Standardstudien. Da gibt es auch, ich wei\u00df nicht, ob sie die auf Deutsch \u00fcbersetzt haben, aber die Carpentries haben sehr, sehr gute Tutorials f\u00fcr all diese Sachen, die hervorragend sind, die man einfach runterziehen kann und selbst machen kann oder einfach mal einen Workshop auf dem Campus machen kann. Sollte jeder mal machen, ist aber nicht das gleiche wie ein Replication Package aufbauen.<\/p>\n\n\n\n<p>[00:26:09] Doreen Siegfried:<br>Ja, ja, schon klar. Okay. Wie sehen Sie die Entwicklung der verschiedenen Replication Networks? Also, die wachsen ja f\u00fcr sich. Also, gehen die zusammen, ist da Zugkraft dahinter? Gibt es da irgendwie eine Kollaboration? Wie ist da Ihre Einsch\u00e4tzung?<\/p>\n\n\n\n<p>[00:26:26] Lars Vilhuber:<br>Die werden voneinander lernen, wie alle anderen Networks, die auch in Makro- oder Arbeits\u00f6konomie und was wei\u00df ich nicht alles Kontakte miteinander haben und dann intensivere Kerne haben. Ich meine, in dem was wir machen, haben wir einfach eine Art und Weise, das zu machen. Das ist aber nicht die einzige Art und Weise, das zu machen. Solange das Endziel dann ist, dass das Ganze transparenter wird, m\u00fcssen die nicht miteinander kommunizieren. Wir lernen alle voneinander und manchmal dann auch von entfernteren Netzwerken oder so was. Also ich, ich lerne auch jedes Mal wieder, wenn ich ein neues Papier sehe. Ich lerne von den Papieren. Die lernen, von meinen Reports, die dann kommen und die kommen aus allen m\u00f6glichen Ecken der Volkswirtschaft. Das ist halt ein normaler Lernprozess. Ich wei\u00df, glaube nicht, dass da irgendwie ein zentrales Netzwerk dann irgendwann mal auftaucht f\u00fcr Replications. Das muss dezentral sein \u2026<\/p>\n\n\n\n<p>[00:27:23] Doreen Siegfried:<br>Ja.<\/p>\n\n\n\n<p>[00:27:23] Lars Vilhuber:<br>\u2026 denn es ist viel dabei. Das kanadische Projekt, dass wir vor einer Woche gemacht haben \u2013 war\u2019s vor einer Woche? Vielleicht, war\u2018s vor zwei Wochen \u2013 hat davon viel. Viele der Interaktionen kamen eben dadurch, dass man 15 Studenten in einem Saal hatte und die voneinander dann auch lernten und voneinander auch lernten, wenn einer ein Problem hatte, das wo dann eine L\u00f6sung bereitgestellt wurde, dass die anderen gar nicht hatten, die kamen gar nicht auf das Problem. Und trotzdem wissen sie jetzt, dass es ein Problem sein k\u00f6nnte und in der Zukunft dann vielleicht relevant ist. Also das ist, das ist ein sehr lokales Netzwerk. Wie kann man das gr\u00f6\u00dfer machen? Daf\u00fcr geht man immer noch an eine Uni und hat dann ein lokales Netzwerk.<\/p>\n\n\n\n<p>[00:28:09] Doreen Siegfried:<br>Ja, okay, verstehe. In der Wirtschaftsforschung wird ja zunehmend mit Daten mit eher eingeschr\u00e4nktem Zugang gearbeitet. Was macht ein Data Editor der AEA damit? Haben Sie neue Verfahren und Methoden entwickelt, um damit umzugehen?<\/p>\n\n\n\n<p>[00:28:27] Lars Vilhuber:<br>Zum einen sind da diese Netzwerke wichtig, denn eine der Sachen, die ich mache, wenn ich selber mit meinem Team nicht an die Daten schnell genug rankomme, ist, dass ich mal durch die verschiedenen Netzwerke, auch durch meine anderen Kollegen bei anderen Zeitschriften mal nachfrage. Kann denn jemand an diese Daten kurzfristig ran? Und das hei\u00dft dann, dass es dann schon gegebenenfalls ein Peer Review wird, das von mir \u00fcberpr\u00fcft wird nach gewissen Kriterien. Was nicht anders ist, als wenn wir einen Artikel, den Text begutachten. Also ich komme im Laufe eines Jahres an etwa 20 % der Daten, die restriktiv sind, irgendwie ran. Nicht unbedingt immer selber, aber ich komm da ran. Ich unterschreibe auch viele der Use Agreements, um eben Replications zu machen, wenn das m\u00f6glich ist. Es ist nicht immer m\u00f6glich. GDPR hat beispielsweise gewisse Barrieren reingemacht. Ich habe das deutsche Social Economic Panel f\u00fcr meine Doktorarbeit selber benutzt, aber momentan komme ich nicht ran, weil die sich nicht einigen k\u00f6nnen, \u00fcber was sie unterschreiben m\u00fcssen. Das ist nicht unbedingt ein restriktiver Datensatz, wenn man in Europa ist, da unterschreibt man einfach was und dann hat man zwei Stunden sp\u00e4ter die Daten. Ich habe, warte schon seit 15 Monaten drauf, weil momentan da eben gewisse gesetzliche Barrieren sind, die ich nicht machen kann.<\/p>\n\n\n\n<p>[00:29:54] Doreen Siegfried:<br>Ah ja, okay.<\/p>\n\n\n\n<p>[00:29:55] Lars Vilhuber:<br>Also wir kommen da schon ran. Da gibt es auch, wir haben ein Projekt, was jetzt gerade startet, wo wir dann auch versuchen werden, mal Prozedere und Algorithmen zu entwickeln, dass man beweisen kann, dass die Daten tats\u00e4chlich auch benutzt wurden, so wie es der Code beschreibt\u2026<\/p>\n\n\n\n<p>[00:30:17] Doreen Siegfried:<br>Aha, okay.<\/p>\n\n\n\n<p>[00:30:17] Lars Vilhuber:<br>\u2026 oder impliziert. Sodass man also praktisch sagen kann, sagen wir mal in einem ein Forschungszentrum: Hier ist ein Computer, wenn ich das jetzt abschicke an den Computer, kann ich nichts mehr daran rum machen w\u00e4hrend das l\u00e4uft. Und der Computer und die Universit\u00e4t, in der der Computer ist, bescheinigt mir, dass das so gelaufen ist. Hier ist das, was rein geschickt wurde, hier ist das, was rauskommt. Hier ist unser Siegel. Wir unterzeichnen da, dass das so war und der Forscher gibt uns jetzt einfach das Ganze. Dann muss ich das nicht laufen lassen, denn ich muss das nicht noch mal laufen lassen. Hier habe ich einen Beweis, dass das komplett ist, dass das gemacht wurde, dass da nicht dran rum gepfuscht wurde. Das sind Methoden, die theoretisch m\u00f6glich sind. Die aber eigentlich derzeit in den Sozialwissenschaften nie angewandt werden. Es gibt in anderen Bereichen schon, wo das angewandt wird. Ich w\u00fcrde gerne in der Zukunft nicht mehr all diese Sachen laufen lassen, sondern einfach den Beweis haben, dass das geht. Und da hilft es, wenn die Daten restriktiv sind, denn da ist man meistens gezwungen, in solche Forschungszentren zu gehen. W\u00e4hrend der Forscher, der das auf seinem Laptop hat, kann das nie beweisen, dass er da nicht rum gepfuscht hat. Also werden wir die Sachen dann noch mal laufen lassen.<\/p>\n\n\n\n<p>[00:31:30] Doreen Siegfried:<br>Okay. Wenn das sozusagen das Zukunftsmodell ist, das h\u00f6rt sich ja sehr interessant an, k\u00f6nnten Sie sich vorstellen, dass das tats\u00e4chlich mehr Raum greift auch f\u00fcr andere Disziplinen, jetzt au\u00dferhalb der VWL?<\/p>\n\n\n\n<p>[00:31:42] Lars Vilhuber:<br>Ja. Ich meine, das ist ein allgemeines allgemeine Methode. Und viele der Daten, die wir benutzen, sagen wir mal beim IAB oder beim CASD in Frankreich oder so was, werden auch von Gesundheitsforschern, von Soziologen, von Demographen werden die \u2026 alle benutzen \u00e4hnliche Daten in \u00e4hnlichen Forschungszentren und die k\u00f6nnen davon alle dann auch Vorteile mittragen.<\/p>\n\n\n\n<p>[00:32:09] Doreen Siegfried:<br>Ja, okay. Ich w\u00fcrde gerne noch mal \u00fcber das Thema Transparenz von Forschungspraktiken sprechen. Also welche Rolle spielen Fachgesellschaften, Geldgeber wie beispielsweise National Science Foundation oder auch die Wissenschaftler, Wissenschaftlerinnen selbst wenn es um die Transparenz von Forschungspraktiken geht?<\/p>\n\n\n\n<p>[00:32:29] Lars Vilhuber:<br>Wir haben eine Webinar Series, die wir momentan planen und das sind zwei der Sessions, die wir haben da drin.<\/p>\n\n\n\n<p>[00:32:35] Doreen Siegfried:<br>Ah, okay.<\/p>\n\n\n\n<p>[00:32:35] Lars Vilhuber:<br>Da kann ich dann vielleicht in sechs Monaten ein bisschen mehr sagen, weil ich dann die Experten interviewt habe dar\u00fcber. Meine Meinung ist, dass die Gesellschaften selber, wenn sie demokratisch sind, reflektieren sie die Gemeinschaft selber, zumindest die Mehrheit. Und in dem Sinne muss das vor allen Dingen von den Forschern selber kommen. Da ist nat\u00fcrlich ein Hin und Her von \u201eWas sind denn eigentlich Standards, die man machen sollte?\u201c. Aber die werden selten diktiert. F\u00fcr einen Verband oder eine Gesellschaft wie die AEA oder sonstige. Also, da ist ein Hin und Her zwischen was will die Mitgliedschaft, was sagt die derzeitige F\u00fchrung von der Gesellschaft und wie wird das Ganze dann rausdestilliert und dann in Zeitschriften beispielsweise, die der Gesellschaft geh\u00f6ren, implementiert. Eine Beobachtung ist, dass die meisten Zeitschriften in der Volkswirtschaft, die einen guten Ruf haben, nicht von kommerziellen H\u00e4usern wie Elsevier oder sowas kommen. Mit wenigen Ausnahmen. Aber die AER ist eine Gesellschaftszeitschrift, Econometrica ist eine Gesellschaftszeitung. Die QJE und JPE geh\u00f6ren zu Universit\u00e4tsh\u00e4usern. Die sind also auch in dem Sinne unabh\u00e4ngig. Also, das kommt zumindest in der Volkswirtschaft notgedrungen von der Mitgliedschaft, von der Gemeinschaft selber.<\/p>\n\n\n\n<p>[00:34:09] Doreen Siegfried:<br>Ah, ja.<\/p>\n\n\n\n<p>[00:34:11] Lars Vilhuber:<br>Also der individuelle Forscher, wenn er wissenschaftliche Arbeit macht, sollte wissen, dass Transparenz da eben das wichtige Element ist und das Ganze dann hoch macht. Wie das Ganze dann umgesetzt wird, da k\u00f6nnen nat\u00fcrlich dann Gesellschaften sagen, hier ist der Konsensus. Also jetzt bringen wir mal alle, die vielleicht an den Grenzen von dem Konsensus waren, rein und dann machen wir das jetzt auf diese Art und Weise und nicht auf eine andere Art und Weise. Die Geldgeber selber, die DFG oder NSF oder SSHRC oder wie immer die auch hei\u00dfen, haben meines Erachtens auch eine Rolle darein zu spielen. Ich w\u00fcrde es sehr gerne sehen, wenn sie sagen, \u201eJa, also, wenn da empirische Arbeiten drin sind, dann am Ende wenn das Projekt zu Ende ist, dann solltet ihr auch mal den Beweis bringen, dass das Ganze denn auch l\u00e4uft.\u201c Denn wenn das die darauf auf die Zeitschriften beispielsweise abgew\u00e4lzt wird, das kommt viel zu sp\u00e4t. Das sind dann l\u00e4ngst die Gelder raus und das kann man auch vorher beweisen. Ich kenne allerdings keinen der gro\u00dfen Geldgeber, die so was verlangen. Sie verlangen oftmals Datentransparenz oder Datenverf\u00fcgbarkeit, aber nicht unbedingt rechnerische Transparenz. Es gibt ein paar kleine Geldgeber, die halten \u2013 3ie ist eine kleinere Gesellschaft in der Entwicklungs\u00f6konomie und die halten Geld zur\u00fcck, bis der Beweis erbracht wird, dass das Ganze auch l\u00e4uft. Die haben auch ein internes Team, die das Ganze dann auch \u00fcberpr\u00fcft. Wenn das gr\u00f6\u00dfere Geldgeber machen w\u00fcrden, dann g\u00e4be es vermutlich auch mehr von solchen Teams, die das machen w\u00fcrden und dann m\u00fcsste man das nicht mehr als Data Editor in der Zeitschrift machen. Also da ist schon ein Hin und Her zwischen \u201eWo sollte das idealerweise liegen?\u201c. Universit\u00e4ten haben da auch eine Rolle zu tragen oder Forschungsinstitute im Allgemeinen, beispielsweise Zentralbanken oder so was. Denn eigentlich tragen die ein Risiko f\u00fcr ihre Reputation. Wenn da Studien rauskommen, die sagen systematisch, man stelle sich vor, es k\u00e4men Studien raus, die sagten, \u201eSystematisch sei die Zentralbank von XYZ nicht replizierbar.\u201c Das hat was mit der Kredibilit\u00e4t der der Wirtschaftspolitik zu tun, mit der Zentralbankpolitik. Die h\u00e4tten also rein theoretisch ein Interesse daran, zu beweisen, dass das alles replizierbar ist. Die k\u00f6nnten dann beispielsweise interne oder externe Teams aufsetzen, um das Ganze dann zu \u00fcberpr\u00fcfen. Da ist also schon ein Interesse dran und das wird hin und wieder besprochen. Ich kenn da momentan noch kein Forschungsinstitut, das das systematisch macht. Ein paar Universit\u00e4ten in den USA haben ein Service, der den Forschern anbietet, \u201eWir \u00fcberpr\u00fcfen f\u00fcr Sie, ob das replizierbar ist\u201c und das dann eben auch mit dem Siegel dann beweisen. Aber das ist l\u00e4ngst noch nicht gang und g\u00e4be, das w\u00e4re auch eine M\u00f6glichkeit. Also Universit\u00e4ten haben da eine Rolle zu tragen.<\/p>\n\n\n\n<p>[00:37:13] Doreen Siegfried:<br>Aber wenn Sie sagen, die Zentralbanken m\u00fcssten eigentlich theoretisch um ihre Reputation f\u00fcrchten, wenn herauskommt, dass bestimmte Studien nicht replizierbar sind: das gleiche gilt ja dann aber auch f\u00fcr Universit\u00e4ten. Also die sind ja auch alle im Wettbewerb. Wenn da herauskommt, die Universit\u00e4t XYZ hat einen Anteil von, keine Ahnung, 20 % von Studien, die nicht replizierbar sind, das f\u00e4llt ja dann letztlich auch auf diese Einrichtung zur\u00fcck.<\/p>\n\n\n\n<p>[00:37:37] Lars Vilhuber:<br>Das ist richtig. Und da, wo dann tats\u00e4chlich auch mal wissenschaftlicher Missbrauch gemacht wurde an Universit\u00e4ten, wird oft auch die Universit\u00e4t blamiert. Nicht replizierbar ist nicht wissenschaftlicher Missbrauch von vornherein. Also es ist l\u00e4ngst nicht mehr so schlimm. Aber ob das, wenn das nun systematisch w\u00e4re, w\u00e4re das nat\u00fcrlich auch ein Problem, wenn man das so sehen w\u00fcrde.<\/p>\n\n\n\n<p>[00:38:00] Doreen Siegfried:<br>Okay.<\/p>\n\n\n\n<p>[00:38:02] Lars Vilhuber:<br>Andererseits ist das auch eine Gelegenheit, beispielsweise Studenten damit rein zu bringen. Man kann sich vorstellen, dass man das jetzt als einen bestehenden Kurs hat, dass dann also volkswirtschaftliche Studenten mit einem gewissen Training am Ende des Semesters einen Haufen Studien der eigenen Fakult\u00e4t auf die Art und Weise getestet haben und dann ein Feedback geben, wie das denn jetzt ging. Wir haben bei dem Pilotprojekt letzte Woche mit 15 Studenten haben wir 18 Studien in zwei Tagen gemacht. Das l\u00e4sst sich also schon umsetzen. Das finden Studenten interessant und das h\u00e4tte interessante Auswirkungen. Das sind Projekte f\u00fcr die Zukunft.<\/p>\n\n\n\n<p>[00:38:42] Doreen Siegfried:<br>Ja, auf jeden Fall. Wie \u00e4ndert sich dann die Datenver\u00f6ffentlichungspolitik so in der US-amerikanischen Wirtschaftsforschung generell?<\/p>\n\n\n\n<p>[00:38:52] Lars Vilhuber:<br>Im Sinne von Daten verf\u00fcgbar machen?<\/p>\n\n\n\n<p>[00:38:57] Doreen Siegfried:<br>Ja.<\/p>\n\n\n\n<p>[00:39:00] Lars Vilhuber:<br>Die USA sind da so ein komisches Tier im Sinne von es ist seit sehr Langem gang und g\u00e4be, dass viele der \u00f6ffentlichen Daten sehr frei verf\u00fcgbar sind. Da ist momentan eine Diskussion, ob die so frei verf\u00fcgbar sein sollten. Denn man stellt fest, dass da schon, was man mit nach heutigem Stand als sensible Daten begutachten k\u00f6nnte, ver\u00f6ffentlicht wurden oder immer noch werden. Da ist also vielleicht eine Bewegung, das ein bisschen weniger freiz\u00fcgig zu machen. Im Allgemeinen ist aber dann immer noch mehr \u2026. Es werden mehr Daten von Agenturen, von Regierungen ver\u00f6ffentlicht, auch auf dem lokalen, auf der lokalen Ebene, die dann eben von mehr Forschern immer mehr benutzt werden. Das hei\u00dft nicht unbedingt, dass die Daten immer n\u00fctzlich sind f\u00fcr die Forschung. Das ist noch ein separates Gebiet. Dass die Daten beispielsweise in zwei Wochen dann wieder verschwunden sind, ist auch m\u00f6glich. Aber im Allgemeinen ist das sehr, sehr gro\u00dfz\u00fcgig. Ich sehe da eigentlich mehr Bewegung woanders.<\/p>\n\n\n\n<p>[00:40:18] Doreen Siegfried:<br>Okay.<\/p>\n\n\n\n<p>[00:40:18] Lars Vilhuber:<br>Wo eben traditionell nicht unbedingt diese Open Data Policy war. Also beispielsweise Kanada und Gro\u00dfbritannien, wo ich das ein bisschen besser kenne, haben in den letzten Jahren systematisch ihre neueren Datenver\u00f6ffentlichungen unter einer Open Data Licence gesetzt. Das war vorher nicht da, das war vorher viel restriktiver. Andererseits in Europa sind die meisten Scientific Use Files so, dass Universit\u00e4ten rankommen, die aber nicht einfach freiz\u00fcgig irgendwo ver\u00f6ffentlicht werden. Und wahrscheinlich zu Recht. Aber der Zugang zu diesen Daten wird ein bisschen breiter, mehr Leute kriegen dazu Zugang. Da sind dann so Aktivit\u00e4ten wie vom FDZ des IABs, dass man da im Prinzip \u00fcber das \u00fcber ein Webinterface dann rein kann oder in Frankreich mit einem speziellen Thin Client, den mittlerweile tausende von Forschern auf ihrem B\u00fcro stehen haben, ist viel besser als vorher. Ist nicht, immer noch nicht so, dass ich das einfach auf meinem Laptop haben kann, das ist vielleicht auch richtig so. Zugang ist nicht einfach, dass man es frei runterladen kann, aber dass Zugang relativ billig sein sollte f\u00fcr den Forscher, dass es relativ gro\u00dfz\u00fcgig sein sollte. Vielleicht nicht nur Universit\u00e4tsforscher \u2013 Journalisten brauchen auch Datenzugang. Das sind nicht einfache Fragen, die von Land zu Land unterschiedlich gel\u00f6st werden.<\/p>\n\n\n\n<p>[00:41:40] Doreen Siegfried:<br>Ja, okay. Ja, ich meine, das muss ja nicht alles immer frei f\u00fcr jedermann im Web zur Verf\u00fcgung stehen. Aber wenn ich sozusagen mein Forschungsinteresse legitimieren kann, dass ich dann eben die M\u00f6glichkeit habe oder auch meinetwegen mein journalistisches Interesse darlegen kann, dass ich dann den Zugang bekomme, das w\u00e4re ja irgendwie ganz gut.<\/p>\n\n\n\n<p>[00:41:56] Lars Vilhuber:<br>Genau. Ich glaube, von dem Sinne her beispielsweise das, was im IAB ist, ist hervorragend, denn es ist sehr, ja, es gibt so viele M\u00f6glichkeiten, die Daten zu benutzen. Von Testdaten, die Studenten benutzen k\u00f6nnen, bis hin zu den eigentlichen Daten, die man dann \u00fcber Antrag und so weiter benutzen kann. Das hat sich in den letzten Jahren allgemein global verbessert. Da sind dann immer noch Barrieren wie beispielsweise, ich kann eben nicht an alle europ\u00e4ischen Daten von Nordamerika herankommen. Ich kann nicht unbedingt an koreanische Daten rankommen, wo in Korea jeder ran kann. Da m\u00fcsste ich also nach Korea reisen. Oder ich m\u00fcsste pers\u00f6nlich in die EU reisen, um an viele der deutschen Daten oder franz\u00f6sische Daten heranzukommen. Das hei\u00dft aber nicht, dass das schlecht ist, denn dann sind immer noch Tausende von Volkswirten und anderen Forschern, die in Europa oder Korea oder Nordamerika an diese Daten rankommen. Nur weil ich nicht rankomme, das ist per se kein Problem, solange viele drankommen.<\/p>\n\n\n\n<p>[00:43:01] Doreen Siegfried:<br>Ja, ja, verstehe.<\/p>\n\n\n\n<p>[00:43:02] Lars Vilhuber:<br>Und viele mit unterschiedlichen Meinungen und Methoden, die Daten zu analysieren, sodass man auch eine Vielfalt der Forschungsergebnisse haben kann, die dann sagen, Studie A hat das so gemacht, Studie B das so gemacht und Studie C ist der Konsensus und darauf kann man dann irgendwas dann aufbauen. Es sollte also schon gro\u00dfz\u00fcgig sein. Aber nicht unbedingt frei.<\/p>\n\n\n\n<p>[00:43:27] Doreen Siegfried:<br>Ja, okay. In der Data and Code Ability Policy der AEA hei\u00dft es, ich lese mal vor: \u201eDie American Economic Association ver\u00f6ffentlicht Beitr\u00e4ge nur, wenn die in der Analyse verwendeten Daten und der Code klar und pr\u00e4zise dokumentiert sind und der Zugang zu den Daten und dem Code nicht ausschlie\u00dflich den Autoren vorbehalten ist.\u201c Hat dieses, ich nenne es mal Drohszenario seit 2018, hat das funktioniert? Also werden jetzt wirklich ordentliche Replikationspakete eingereicht, werden die qualitativ besser die Pakete?<\/p>\n\n\n\n<p>[00:44:03] Lars Vilhuber:<br>Wir haben vorhin schon mal dar\u00fcber gesprochen, dass diese Richtlinien, die wir rausgegeben haben, schon funktionieren. Wir haben gerade \u00fcber Datenzugang gesprochen. Also auch die Beschreibung des Datenzugangs ist mittlerweile viel besser geworden. Ich kann mich in den 1.300 Artikeln, die wir bisher gesehen haben, eigentlich nicht an viele Daten erinnern. Also Ausnahmen werden gemacht. Sie sind aber sehr, sehr selten, wenn es wirklich Daten sind, an die der Forscher nur einmal rankam. Andere k\u00f6nnten theoretisch rankommen, aber die Daten existieren vielleicht nicht mehr oder so was. Also das ist dann wo wir etwas in der Grauzone sind. Aber solange das beschrieben ist, ist das dann schon richtig. Selten ist es der Fall, dass ein Forscher sagt: \u201eNur ich darf an die Daten ran. Das ist so im Vertrag geschrieben.\u201c Es k\u00f6nnte aber allerdings schwer sein, an neue Vertr\u00e4ge ranzukommen. Aber einfach das auch hin und wieder mal testen, ob denn Daten tats\u00e4chlich so restriktiv sind, wie die Forscher das gesagt haben. Oder dass man dann auch mal kompliziertere Vertr\u00e4ge abschlie\u00dft, die dann den \u00dcberpr\u00fcfungsprozess sehr langwierig machen. Aber das testen wir auch hin und wieder mal, nicht systematisch, das k\u00f6nnen wir nicht. Das w\u00fcrde dann zu viel verl\u00e4ngern. Aber ich bin an Daten rangekommen von Ebay, weil ich dann halt einen Vertrag mit Ebay abgeschlossen habe. Und der hing nicht davon ab, dass einer von den Forschern sagen musste \u201eDer Lars darf das\u201c, sondern da war ein System und das haben wir dann in deren Beschreibung reingenommen. Wird das jetzt jeder machen? Glaube ich nicht. Aber ein oder zwei werden es vielleicht in der Zukunft machen.<\/p>\n\n\n\n<p>[00:45:49] Doreen Siegfried:<br>Ja, das\u2026<\/p>\n\n\n\n<p>[00:45:50] Lars Vilhuber:<br>Wir haben auch Forscher darauf hingewiesen, dass Daten, die sie meinten, exklusiv Zugang bekommen zu haben, dass die allgemein verf\u00fcgbar sind. Oder wir haben gesagt, \u201eIhr habt einen Antrag geschrieben, dann ver\u00f6ffentlicht doch als Teil des Replikation Package den Antrag selber, so dass dann jemand anders den Antrag noch mal machen kann.\u201c<\/p>\n\n\n\n<p>[00:46:07] Doreen Siegfried:<br>Das, ich wollte n\u00e4mlich gerade sagen, das w\u00e4re jetzt meine n\u00e4chste Frage gewesen, bevor wir gleich zum Ende kommen: Dieses, was ich jetzt mal so ein bisschen flapsig \u201eDrohszenario\u201c genannt habe, f\u00fchrt das gegebenenfalls auch zu einer Art Selbstselektion der Autoren\/Autorinnen, also, dass die sozusagen gar nicht die Sachen einreichen wollen?<\/p>\n\n\n\n<p>[00:46:28] Lars Vilhuber:<br>Vielleicht. Ich wurde ja Data Editor und habe sofort \u00fcbernommen alle Artikel, die derzeit im Gange waren. Und also die Tatsache, dass die das gut beschreiben mussten, habe ich sofort implementiert. Die hatten ihren Artikel allerdings Jahre vorher an die Zeitschrift geschickt. Also von der Warte habe ich ein paar Indikatoren, dass da keine Selektion ist, dass es schon vorher eigentlich relativ gro\u00dfz\u00fcgig war, bevor die neue neuere Politik so auch \u00fcberpr\u00fcft wurde. Dass da schon eine Selektion ist, dass wenn man einen Artikel hat, der auf Daten basiert, an die nur ich zuf\u00e4llig mal rankam und die niemand anders haben kann, kann sein. Das ist vielleicht auch Sinn der Sache. Es gibt Zeitschriften, die sagen, wir ver\u00f6ffentlichen nichts, wenn die Daten nicht \u00f6ffentlich zug\u00e4nglich sind. Und da ist nat\u00fcrlich auch Selektion und das ist vielleicht auch Sinn der Sache. Im Endeffekt ist f\u00fcr mich das Wichtigste Transparenz. Es kann ja sein, dass ich der Einzige bin, der an einen super interessanten Datensatz rangekommen bin und daraus einen Artikel schreibe, der interessante Punkte macht. Das ist ein Datenpunkt im wissenschaftlichen Gebilde und man sollte wissen, dass das nur ein Datenpunkt ist und dass niemand anders den Datenpunkt noch mal wiederholen kann. Aber vielleicht kann man ja sagen, was war denn an den Daten so richtig wichtig oder so einzigartig, so dass ich dann vielleicht mal zu einer anderen Firma gehen kann und sagen kann: \u201eIhr habt auch solche Daten. K\u00f6nnen wir vielleicht mal ein zweites Paper dar\u00fcber schreiben?\u201c, weil ich da genug Informationen hatte \u00fcber diese Daten. Also solange da die Transparenz ist, ist mir das eigentlich okay.<\/p>\n\n\n\n<p>[00:48:11] Doreen Siegfried:<br>Ja, verstehe. Okay.<\/p>\n\n\n\n<p>[00:48:14] Lars Vilhuber:<br>Wenn ich da grad noch hinzuf\u00fcgen kann, das ist auch mit Daten, die Leute nicht unbedingt als so restriktiv oder einzigartig betrachten und dennoch ist es der Fall. Wenn ich Analysen mache von Twitter \u2013 und das machen viele -, dann ist der Auszug der Twitter-Daten, den ich gerade bekommen habe \u2013 es sei denn, jemand macht genau in dem gleichen Augenblick den gleichen Auszug \u2013 ist der einzigartig. Weil morgen hat jemand garantiert in diesen Daten seine Daten von Twitter gel\u00f6scht und das d\u00fcrfen die auch. Und die Daten darf ich nicht weitergeben mit den nun gel\u00f6schten Daten. Das hei\u00dft, wenn jemand morgen kommt und macht den gleichen Extrakt, kriegt er nicht die gleichen Daten. Das ist vielen Leuten nicht so bekannt, aber so Streamingdaten sind genauso einzigartig, weil sie in dem Zeitpunkt nur gemacht wurden.<\/p>\n\n\n\n<p>[00:48:57] Doreen Siegfried:<br>Ja, verstehe. Okay, gut. Ja, ich habe noch eine letzte Frage aus der Abteilung, aus der Rubrik Tipps und Tricks. Also wenn Sie sozusagen mal an Wirtschaftsforschende in Deutschland denken. Also welche, sagen wir mal, drei Tipps haben Sie, wenn es um das Thema Replikation geht? Also wo lernt man das? Wo kann man sich vielleicht mit Gleichgesinnten austauschen? Wo kann man vielleicht sogar seine Replikationsstudien austauschen, ver\u00f6ffentlichen, meine ich? Also was w\u00e4ren so Ihre drei Tipps?<\/p>\n\n\n\n<p>[00:49:30] Lars Vilhuber:<br>Ich w\u00fcrde mal sagen, immer mal anfangen, einen Artikel rausnehmen und einfach mal zu versuchen zu replizieren. Die Erfahrung, die man damit lernt, geht \u00fcber das Resultat, was man da hat, hinaus. Man sieht zumindest ein Beispiel, wie es entweder funktioniert oder nicht funktioniert. Wenn man, wir k\u00f6nnen uns danach austauschen, ich rede jetzt hier nicht in Worten \u00fcber Websites, wo man so was dann hinkriegen kann. Aber es gibt Zeitschriften, die Zeitschrift, die in Ihrem Institut gesponsert wird. Es gibt Websites, wo man solche Replikationen registrieren kann, so dass sie dann auch \u00f6ffentlich werden. Das ist einmal das Lernen durch Beispiele. Wenn man dann selber seine sein Projekt aufbauen will auf eine Art und Weise, die replizierbar ist, gibt es ein paar Startpunkte. Die Website, die ich aufgebaut habe f\u00fcr die AEA, hat ein paar Indikatoren, woran man dann denken sollte. Und das hat nichts mit unseren Zeitschriften zu tun. Da sollte man sofort dran denken, wenn man ein Projekt anf\u00e4ngt. Und einer der wichtigen Tipps ist, dass man jedes Projekt mit gutem Willen anf\u00e4ngt. Und dann nach einem Jahr sollte man aber zur\u00fcckkommen und das Ganze dann korrigieren, bevor es dann soweit von dem guten Willen abgekommen ist, dass es dann nicht mehr replizierbar ist. Das passiert jedem. Das sollte man also dann st\u00e4ndig dann auch begutachten. Und dann der letzte Tipp ist im Prinzip, wie kann man rausfinden, ob das verst\u00e4ndlich ist. Da kommt dann die lokale Gemeinschaft hinzu, denn der erste Replikator, au\u00dfer ich selber f\u00fcnf Jahre von nun, ist der Kommilitone, ist der Kollege im n\u00e4chsten B\u00fcro. Lasst den das mal laufen, ohne jegliche verbale Instruktion, nur mit dem, was geschrieben wurde im Readme, nur mit den Materialien, die da drin sind. Das m\u00fcsste ausreichen, um das Ganze laufen zu lassen.<\/p>\n\n\n\n<p>[00:51:30] Doreen Siegfried:<br>Ja.<\/p>\n\n\n\n<p>[00:51:31] Lars Vilhuber:<br>Das ist ein Test, den man sehr einfach, sehr schnell machen kann. Man verspricht: \u201eIch rede jetzt nichts und du liest es jetzt alles und entweder es klappt oder es klappt nicht. Und wenn es nicht klappt, erkl\u00e4r mir, warum es nicht klappt.\u201c<\/p>\n\n\n\n<p>[00:51:44] Doreen Siegfried:<br>Ja.<\/p>\n\n\n\n<p>[00:51:45] Lars Vilhuber:<br>F\u00fcr die Person, die das macht, ist das auch wieder Nummer eins. Wie sieht eine Replikation eigentlich aus und wie kommuniziert man auch zum anderen, was schiefgegangen ist? Denn Fehler zu kommunizieren ist nicht ganz einfach. Das muss man dann auch lernen. Und das sollte man dann einfach mal ausprobieren und lernen und selber machen. Da gibt es dann auch technische M\u00f6glichkeiten, das zu machen. Funktioniert mein Code auch bei jemand anders auf einem neuen Computer, indem man da in irgendwelche Cloud Services reingeht? Und da habe ich auch einige Blogposts als Data Editor, wo man das mal ausprobieren kann. Das wird sehr schnell technischer. Das sollten junge Doktoranden sollten auf alle F\u00e4lle da mal reinschauen, denn das hilft auch gleichzeitig, die Forschung selber effizienter zu machen. Das ist aber keine Bedingung daf\u00fcr, dass ein Paket replizierbar sein soll. Es sollte vor allen Dingen von Menschen verstanden werden. Und das ist der Kommilitone, der Kollege etc.<\/p>\n\n\n\n<p>[00:52:34] Doreen Siegfried:<br>Ja, okay. Ja da lassen sich ja ganz schnell irgendwelche, ich sag mal, studentischen Selbsthilfegruppen, Arbeitsgruppen bilden. Das irgendwie montags kontrolliert der eine von dem anderen und dienstags andersrum. Das ist ja sozusagen f\u00fcr beide dann so eine win-win-situation.<\/p>\n\n\n\n<p>Ja, super, dann bedanke ich mich ganz herzlich f\u00fcr die vielen Antworten. Vielen Dank auch an unsere H\u00f6rerinnen und H\u00f6rer. Ich hoffe, es hat Ihnen gefallen. Lassen Sie uns gern Feedback da, sei es \u00fcber Email oder Kommentare oder wie auch immer. Abonnieren Sie uns flei\u00dfig \u00fcberall da, wo man Podcasts h\u00f6ren kann. Auf iTunes, Spotify und so weiter. Und ich freue mich auf unsere n\u00e4chste Sendung. Vielen Dank.<\/p>\n\n\n\n<p>[00:53:13] Lars Vilhuber:<br>Danke auch.<\/p>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","template":"","meta":{"footnotes":""},"tags":[140,14,98,31,157,111,59,7,8,40,156,97,158,28,61,11,110,33,12],"class_list":["post-61","podcast","type-podcast","status-publish","hentry","tag-betriebswirtschaftslehre","tag-bwl","tag-data-policies","tag-forschung","tag-forschungsergebnisse","tag-oekonom","tag-oekonomie","tag-open-data","tag-open-science","tag-replikation","tag-replikationsstudien","tag-reproduzierbarkeit","tag-transparenz","tag-vwl","tag-wirtschaftsforschung","tag-wirtschaftswissenschaften","tag-wirtschaftswissenschaftler","tag-wissenschaft","tag-zbw","post"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.0 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>FOS 21 Replikation und Transparenz - The Future is Open Science<\/title>\n<meta name=\"description\" content=\"Der \u00d6konom Lars Vilhuber spricht \u00fcber Reproduzierbarkeit und Replizierbarkeit in den Wirtschaftswissenschaften.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"FOS 21 Replikation und Transparenz - The Future is Open Science\" \/>\n<meta property=\"og:description\" content=\"Der \u00d6konom Lars Vilhuber spricht \u00fcber Reproduzierbarkeit und Replizierbarkeit in den Wirtschaftswissenschaften.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/\" \/>\n<meta property=\"og:site_name\" content=\"The Future is Open Science\" \/>\n<meta property=\"article:modified_time\" content=\"2026-01-15T12:03:53+00:00\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data1\" content=\"48\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/\",\"name\":\"FOS 21 Replikation und Transparenz - The Future is Open Science\",\"isPartOf\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#website\"},\"datePublished\":\"2022-08-18T12:10:59+00:00\",\"dateModified\":\"2026-01-15T12:03:53+00:00\",\"description\":\"Der \u00d6konom Lars Vilhuber spricht \u00fcber Reproduzierbarkeit und Replizierbarkeit in den Wirtschaftswissenschaften.\",\"breadcrumb\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Start\",\"item\":\"https:\/\/podcast.zbw.eu\/fos\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Episoden\",\"item\":\"https:\/\/podcast.zbw.eu\/fos\/podcast\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"FOS 21 Replikation und Transparenz\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#website\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/\",\"name\":\"The Future is Open Science\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/podcast.zbw.eu\/fos\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#organization\",\"name\":\"The Future is Open Science\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif\",\"contentUrl\":\"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif\",\"width\":572,\"height\":98,\"caption\":\"The Future is Open Science\"},\"image\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"FOS 21 Replikation und Transparenz - The Future is Open Science","description":"Der \u00d6konom Lars Vilhuber spricht \u00fcber Reproduzierbarkeit und Replizierbarkeit in den Wirtschaftswissenschaften.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/","og_locale":"de_DE","og_type":"article","og_title":"FOS 21 Replikation und Transparenz - The Future is Open Science","og_description":"Der \u00d6konom Lars Vilhuber spricht \u00fcber Reproduzierbarkeit und Replizierbarkeit in den Wirtschaftswissenschaften.","og_url":"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/","og_site_name":"The Future is Open Science","article_modified_time":"2026-01-15T12:03:53+00:00","twitter_card":"summary_large_image","twitter_misc":{"Gesch\u00e4tzte Lesezeit":"48\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/","url":"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/","name":"FOS 21 Replikation und Transparenz - The Future is Open Science","isPartOf":{"@id":"https:\/\/podcast.zbw.eu\/fos\/#website"},"datePublished":"2022-08-18T12:10:59+00:00","dateModified":"2026-01-15T12:03:53+00:00","description":"Der \u00d6konom Lars Vilhuber spricht \u00fcber Reproduzierbarkeit und Replizierbarkeit in den Wirtschaftswissenschaften.","breadcrumb":{"@id":"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/podcast.zbw.eu\/fos\/2022\/08\/18\/fos-21-replikation-und-transparenz\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Start","item":"https:\/\/podcast.zbw.eu\/fos\/"},{"@type":"ListItem","position":2,"name":"Episoden","item":"https:\/\/podcast.zbw.eu\/fos\/podcast\/"},{"@type":"ListItem","position":3,"name":"FOS 21 Replikation und Transparenz"}]},{"@type":"WebSite","@id":"https:\/\/podcast.zbw.eu\/fos\/#website","url":"https:\/\/podcast.zbw.eu\/fos\/","name":"The Future is Open Science","description":"","publisher":{"@id":"https:\/\/podcast.zbw.eu\/fos\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/podcast.zbw.eu\/fos\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/podcast.zbw.eu\/fos\/#organization","name":"The Future is Open Science","url":"https:\/\/podcast.zbw.eu\/fos\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/","url":"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif","contentUrl":"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif","width":572,"height":98,"caption":"The Future is Open Science"},"image":{"@id":"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/"}}]}},"_links":{"self":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes\/61","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes"}],"about":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/types\/podcast"}],"author":[{"embeddable":true,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/comments?post=61"}],"version-history":[{"count":6,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes\/61\/revisions"}],"predecessor-version":[{"id":633,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes\/61\/revisions\/633"}],"wp:attachment":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/media?parent=61"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/tags?post=61"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}