The Future is Open Science – Folge 56: CoARA: Reform der Forschungsbewertung

Dr. Doreen Siegfried
Leitung Marketing und Public Relations, ZBW – Leibniz-Informationszentrum Wirtschaft

Mathijs Vleugel
Koordinator CoARA National Chapter Germany, Leiter Helmholtz Open Science Office

[00:00:00] Intro

[00:00:03] Mathijs Vleugel:
Aber ich glaube nicht, dass wir abwarten müssen, bis es eine perfekte Lösung gibt. Weil, die wird es nicht geben. Also, ich glaube, wir müssen auch… Wir müssen einfach anfangen, zu experimentieren, diesen Pilot zu machen. Es gibt genug gute Ideen, aber wir müssen einfach das strukturell versuchen umzusetzen und einfach versuchen, daraus zu lernen.

[00:00:28] Mathijs Vleugel:
Ja. Ich glaube, das Wichtigste ist erstmal, einfach zu sehen, dass es die Unterschiede gibt. Also es gibt nicht ein Wissenschaftssystem. Es gibt auch nicht einen Wissenschaftler oder eine Wissenschaftlerin mit einem, mit alle den gleichen Profilen. Also ich glaube, wir sollten anfangen zu sehen, dass es da halt Unterschiede gibt und deswegen auch die Bewertung natürlich anders sein sollte.

[00:01:04] Doreen Siegfried:
Hallo und herzlich willkommen zu einer neuen Folge von „The Future is Open Science“, dem Podcast der ZBW. Mein Name ist Doreen Siegfried und ich treffe mich hier mit ganz unterschiedlichen Leuten aus dem Wissenschaftsbetrieb, die Ihnen verraten, wie sie in ihrer täglichen Arbeit Open Science voranbringen. Heute sprechen wir über den Hebel in der Open-Science-Transformation schlechthin, über Anreizstrukturen. Seit Jahrzehnten wird darüber diskutiert, wie wissenschaftliche Leistung fair, transparent und vielfältig bewertet werden kann. Noch immer dominieren Publikationszahlen, Journal Impact Factor, H-Index und die Beurteilung wissenschaftlicher Qualität. Mit der Coalition for Advancing Research Assessment, kurz CoARA, hat sich vor ein paar Jahren aber jetzt eine europaweite Initiative gebildet, die eine prestigegetriebene und kommerzialisierte und zeitschriftenbasierte Publikationskultur überwinden will. Ihr Ziel: Forschung soll nicht länger nur nach Metriken beurteilt werden, sondern nach ihrer tatsächlichen Qualität, ihrem Beitrag zur Wissenschaft und zur Gesellschaft. Zwei Jahre nach dem Start von CoARA ist es jetzt Ziel für eine Zwischenbilanz. Und genau für diese Zwischenbilanz habe ich mir den Koordinator des CoARA National Chapters Germany eingeladen und Leiter des Helmholtz Open Science Office, Dr. Mathijs Vleugel. Herzlich willkommen, Mathijs.

[00:02:38] Mathijs Vleugel:
Herzlichen Dank für die Einladung.

[00:02:40] Doreen Siegfried:
Zwei Jahre nach dem Start. Was würdest Du sagen, wie weit ist die Reform der Forschungsbewertung in Europa jetzt tatsächlich gekommen?

[00:02:50] Mathijs Vleugel:
Genau. Das ist mal eine gute Einstiegsfrage.

[00:02:53] Doreen Siegfried:
[lacht]

[00:02:54] Mathijs Vleugel:
Wir sind tatsächlich schon fast drei Jahre drin.

[00:02:58] Doreen Siegfried:
Ja.

[00:02:58] Mathijs Vleugel:
Also, die Agreement on Reforming Research Assessment wurde im Sommer 2022 veröffentlicht und die erste CoARA-Generalversammlung, also die Gründungssitzung fand tatsächlich schon im Dezember 22 statt. Also, wir sind fast drei Jahre drin jetzt. Und ich würde sagen, es hat sich einiges getan. Also erstens, wir haben jetzt eine Community von über 750 europäischen und auch globalen Mitgliedsorganisationen, die alle daran interessiert sind, diese Reformen voranzutreiben. Also, ich würde erstmal sagen, das ist schon mal ein Riesenerfolg, dass das so schnell so viel Unterstützung gefunden hat. Dazu gibt es natürlich viele Communities of Practice, die gegründet wurden. Es gibt Arbeitsgruppen, es gibt Communities of Practice auf nationaler Ebene, und die setzen sich jetzt alle damit auseinander, neue Evaluationsverfahren und Kriterien zu entwickeln. Also es gibt Pilotprojekte in verschiedene Bereiche. Und ich glaube, das Allerwichtigste ist, dass das Thema innerhalb der Forschungscommunity immer stärker aufgegriffen und diskutiert wird.

[00:04:04] Doreen Siegfried:
Auf jeden Fall. Ja. Ja, okay. Du hast jetzt gesagt, es gibt 750 Leute in der Community. Wie viele Arbeitsgruppen gibt es ungefähr?

[00:04:17] Mathijs Vleugel:
Es gibt derzeit, ich glaube, 13 oder 14 Arbeitsgruppen zu den unterschiedlichsten Themen. Die Arbeitsgruppen, die laufen jetzt so seit, ich würde sagen, zwei, zweieinhalb Jahre, die meisten. Also wenn es um die Arbeitsgruppen geht, ist es eine sehr interessante Zeit jetzt, weil es einige Ergebnisse gibt, die jetzt rauskommen. Also da gibt es Umfragen, da gibt es Empfehlungen. Da gibt es neue Verfahren zur Anerkennung von bestimmten Forschungsaktivitäten etc. Ich würde aber sagen, gleichzeitig müssen wir natürlich auch ein bisschen Geduld haben. Also wir reden immer von einem kulturellen Wandel.

[00:04:54] Doreen Siegfried:
Ja.

[00:04:55] Mathijs Vleugel:
Aber wir müssen natürlich auch einsehen, dass sowas viel Zeit braucht. Und das lässt sich einfach nicht über Nacht erzwingen. Also wir haben noch viel zu tun. Es gibt noch viel an Aufklärungsarbeit, Überzeugungsarbeit. Und ich glaube, dass wir einfach viele Erfolgsgeschichten jetzt brauchen, um das sichtbar zu machen.

[00:05:11] Doreen Siegfried:
Ja, ja, auf jeden Fall. Also einen langen Atem braucht man hier auf jeden Fall. Weil ich hatte ja auch nicht umsonst am Anfang gesagt, es ist letztlich so der zentrale Hebel mit den Anreizen, um überhaupt Sachen ändern zu können. Immer wieder, wenn ich mit Leuten spreche über Open Science, heißt es immer „Naja, aber die Anreizstrukturen.“ Also insofern… Gucken wir doch einfach mal weiter, was sich hier tut bei CoARA. Du hattest jetzt gesagt, es gibt ganz viele Mitgliedsorganisationen, die sozusagen Schritt für Schritt, sich mit dem Onboarding… oder die ongeboarded wurden. Wie hat sich denn die Zusammensetzung dieser Mitgliedsorganisationen vielleicht im Laufe der Jahre geändert? Siehst du da eine Entwicklung oder ist das kontinuierlich immer so der gleiche Mix?

[00:06:01] Mathijs Vleugel:
Ich würde sagen, an dem Mix an sich hat sich nicht so viel geändert. Aber es ist vielleicht interessant zu sagen, dass es… Ich glaube, am Anfang gab es eine große Welle an Organisationen, die CoARA unterzeichnet haben und da jetzt die Koalition beigetreten sind. Ich glaube, viele dieser Organisationen haben das als eine Art von politischem Statement oder als prinzipielle Unterstützung für diese Reformen, haben die es gemacht. Und ich glaube, dass das in diese Fälle oft eine Art von Top Down-Entscheidung aus der Vorstandsebene oder Leitungsebene gewesen ist. Die haben gesagt: „Das ist ein Thema, das ist wichtig für uns, und wir unterschreiben da jetzt.“ Ich glaube, das war eine ganz große Welle am Anfang. Ich glaube, jetzt sehen wir, dass CoARA langsamer wächst. Und ich habe den Eindruck, dass die Organisationen, die jetzt CoARA unterschreiben, dass das Organisationen sind, die sich erst mal intern mit diesem Thema auseinandergesetzt haben, erstmal versucht haben, da eine Diskussion zu führen und die richtigen Akteure zusammenzubringen, auch die Strukturen da aufzubauen. Und wenn das alles da ist, dann entscheiden die, zu unterschreiben. Also ich glaube, da gibt es zwei Unterschiede. Ich glaube, dass deswegen auch die Organisationen, die jetzt beitreten, vielleicht auch besser darauf eingestellt sind, was eigentlich erwartet wird, was möglich ist innerhalb der Organisationen und dann auch ein bisschen eine andere Dynamik sich befindet.

[00:07:30] Doreen Siegfried:
Ja.

[00:07:31] Mathijs Vleugel:
Zudem gibt es jetzt auch tatsächlich Bemühungen von CoARA, mehr global zu werden. Also es gibt gezielte Outreach-Aktivitäten in anderen Kontinenten und ich glaube, das ist ein wichtiger Schritt. Also wir wissen natürlich alle: Wissenschaft ist eine internationale und eine globale Aktivität. Es macht keinen Sinn, wenn ein Kontinent für sich entscheidet: „Wir machen es jetzt anders.“ Also, wir müssen das tatsächlich global angehen. Und ich glaube, deswegen ist es auch wichtig, dass wir die anderen Länder und andere Institute und total andere Forschungskultur auch mit an Bord haben.

[00:08:05] Doreen Siegfried:
Ja, ja, auf jeden Fall. Wenn ich es richtig erinnere, ist CoARA ja gestartet als ein wissenschaftsgetriebener Prozess. Ist es das weiterhin oder ist es inzwischen ein politisches Steuerungsinstrument geworden?

[00:08:23] Mathijs Vleugel:
Ja, das ist eine gute Frage. Also ich war selber von Anfang an eigentlich dabei bei CoARA. Und ich sehe das immer noch als eine Bottom-up oder Grassroots-Aktivität. Also inhaltlich würde ich definitiv sagen, wird das alles von Wissenschaftsorganisationen gesteuert. Das sieht man auch in den Arbeitsgruppen in den National Chapters. Und das ist auch wichtig so. Ich glaube nur die Wissenschaftler und Wissenschaftlerinnen können sagen, was die richtigen Bewertungsverfahren und Kriterien sind, um deren Arbeit anzuerkennen. Gleichzeitig sehen wir natürlich auch, dass wenn wir nur eine Bottom-up-Aktivität haben, dass es sehr schwierig ist, da institutionell was voranzutreiben. Wir haben das Gleiche natürlich gesehen, auch in der Open Science Movement. Das hat auch großteils angefangen als eine Grassroots-Aktivität. Aber auch da… Am Ende braucht man Unterstützung der Leitungsebene in Forschungsorganisationen, aber man braucht halt auch die politische Unterstützung.

[00:09:22] Doreen Siegfried:
Ja.

[00:09:23] Mathijs Vleugel:
Und ich glaube, da sehen wir im Moment auch große Unterschiede zwischen europäischen Ländern, wie das vorangeht. Zum Beispiel in den Niederlanden, Frankreich, Spanien, vielleicht Norwegen auch, sind die CoARA-Aktivitäten und generell die Forschungsbewertungsreformen viel stärker integriert in der Politik. Und ich glaube, dass wir deswegen auch sehen, dass in diesen Ländern, dass die Reformen viel schneller vorankommen.

[00:09:49] Doreen Siegfried:
Ja, okay, spannend. Okay. Wenn wir jetzt noch mal so insgesamt gucken. Du hast jetzt gesagt, 750 Organisationen haben das Abkommen unterzeichnet. Wenn ich auf eurer Webseite gucke, sind das vor allem Universitäten, die das unterzeichnet haben. Und du hast auch gesagt, viele arbeiten an eigenen Aktionsplänen. Jetzt ist so ein bisschen für mich die Frage: Wie verbindlich sind diese Pläne? Also, sagt man, arbeitet man ganz viel mit Konjunktiven und es wäre schön und man hätte und man könnte? Oder ist das tatsächlich schon in einzelnen Einrichtungen verpflichtend? Und wie konkret gibt es schon einzelne Umsetzungen?

[00:10:32] Mathijs Vleugel:
Ja, ich glaube da… Das ist natürlich jetzt, was passieren soll. Also erstmal die Action Pläne, die sind, das sind Selbstverpflichtungen, und das wird nicht von der CoARA-Community gesteuert oder kontrolliert. Also die einzige Verpflichtung, die es gibt, ist, dass man innerhalb einer Organisation einen Action Plan entwickelt und dass man nach, ich glaube, drei oder fünf Jahren, dass man da Updates publiziert, wie die Sache vorangegangen ist. Es ist natürlich wichtig zu sagen, dass Organisationen fangen bei einer ganz anderen Ausgangslage an. Also auch da glaube ich nicht, dass wir eine einheitliche Vorangehensweise entwickeln können. Also, manche sind schon viel weiter als andere. Es gibt natürlich große Unterschiede zwischen den Disziplinen, nationale Unterschiede, wie autonom bestimmte Institute sind. Also ich glaube nicht, dass man deswegen sagen kann, wir machen das einheitlich. Für mich ist das Wichtigste an diesen Action Plänen, dass man die nicht einfach so als Individuen schreiben kann. Aber man muss tatsächlich diese Diskussionen innerhalb einer Organisation angehen. Und wenn man das macht, dann bringt man automatisch natürlich auch die richtigen Leute zusammen und involviert denen auch in neue Bewertungsverfahrensansätze. Das ist für mich das Wichtigste daran. Aber, wie am Anfang gesagt, ich habe gesprochen von diesen zwei Wellen von Mitgliedsorganisationen, die unterschrieben haben. Ich glaube, dass die zweite Welle, die jetzt dazu zählt, da sind die Strukturen, die sind da. Die Akteure haben sich oft schon zusammengefunden. Und ich glaube auch, dass da sowohl das Schreiben dieser Aktionspläne, als die Umsetzung auch viel effektiver vorangehen. Wir sehen jetzt, dass bei manchen dieser Organisationen, die in der ersten Welle als politisches Statement unterschrieben haben, dass es da manchmal schwierig ist. Also ein politisches Statement ist da und die Welle ist da, aber man braucht die Strukturen und es kann nicht nur an einer Person natürlich in der Leitungsebene hängen, wie das umgesetzt wird. Und das dauert natürlich eine Weile bevor das umgesetzt ist. Also ich glaube, da gibt es Unterschiede. Für mich das Wichtigste ist, dass das transparent passiert. Wir sehen große Unterschiede, auch wenn man diese Inhalte, diese Aktionspläne sich anschaut. Das macht auch Sinn, weil die Organisationen anders sind. Aber das Wichtigste ist, dass da transparent kommuniziert und transparent kommuniziert wird über die Ziele und auch wenn die Ziele nicht erreicht werden und warum. Weil da können wir natürlich auch einiges daraus lernen.

[00:13:10] Doreen Siegfried:
Ja, okay. Apropos daraus lernen. Das würde mich noch interessieren. Also Du hast gesagt, es gibt 750 Mitglieder. Es gibt irgendwie 13 Arbeitsgruppen. Dann gibt es noch diese 18 National Chapters usw. Also wie funktioniert die Governance Struktur und wie wird das alles koordiniert? Also, ich kann mir vorstellen, okay, alle entwickeln irgendwie so Ideen. Aber am Ende brauchen wir eine Lösung, die für alle gilt. Weil ich möchte ja nicht irgendwie heute so bewertet werden als Forscher:in und in zwei Jahren ganz anders. Also, es muss ja irgendwie alles einheitlich sein. Wie funktioniert das?

[00:13:48] Mathijs Vleugel:
Ja, also erstmal dazu. Ich würde sagen, die übergreifenden Prinzipien sollten in der Tat einheitlich sein. Aber natürlich macht es Sinn, dass in anderen Ländern andere Disziplinen, andere Arten von Forschungseinrichtungen, dass da auch unterschiedlich bewertet wird. Dass die Kriterien anders sind, dass da andere Schwerpunkte gelten, weil die einfach anders arbeiten und andere Communities und Outputs haben. Also ich würde nicht sagen, dass es am Ende ein einheitliches Bewertungsverfahren geben muss, aber es muss natürlich immer basiert sein auf Kriterien wie Qualität, Transparenz, Diversität etc. Also das erst mal dazu.

[00:14:29] Doreen Siegfried:
Aber da muss ich gleich reingrätschen. Wieso soll es kein einheitliches Bewertungskriterium geben? Also die Wissenschaft ist doch sehr, wie soll ich sagen, flexibel. Alle paar Jahre arbeiten die Leute woanders und nicht nur innerhalb eines Landes, also innerhalb von Deutschland, sondern ja auch innerhalb Europas oder auch global. Also das heißt, wenn ich beispielsweise heute in meine wissenschaftliche Karriere investiere, dann publiziere ich in hochrangigen Journals. Und das machen alle so. Da weiß ich aber, „okay, ich setze hier auf das richtige Pferd. Wenn ich in dem Journal publiziert habe, wird mir das auch noch in fünf Jahren nutzen, wenn ich mich vielleicht irgendwo in den Niederlanden bewerbe.“ Wenn jetzt aber…

[00:15:13] Mathijs Vleugel:
Ich glaube aber…

[00:15:14] Doreen Siegfried:
… überall eine andere Messlatte angelegt wird, dann entsteht doch in meinen Augen eine große Unsicherheit, oder wie siehst Du das?

[00:15:20] Mathijs Vleugel:
Klar. Ich glaube, wir sollten da gut unterscheiden zwischen Bewertungskriterien innerhalb einer Forschungsdisziplin, einem Forschungsbereich und allgemein für die Wissenschaft. Du hast gerade Impact Factor angesprochen. So machen wir das jetzt oft. Aber wir wissen natürlich auch, dass zum Beispiel in der Medizin oder in biomedizinischer Forschung, dass da mit viel höherem Impact Factor publiziert wird, als zum Beispiel in den Sozialwissenschaften. Also, wir können das nicht miteinander vergleichen. Das können wir jetzt auch nicht mit Impact Factor. Und ich glaube, wir müssen uns einfach da anpassen. Das gleiche gilt für Impact. Also Impact in verschiedenen Bereichen funktioniert ganz anders. Es gibt ganz andere Maßstäbe und wir müssen das auch anders bewerten. Natürlich, innerhalb von einem Fachbereich muss das irgendwie abgestimmt und einheitlich sein. Aber auch da gibt es natürlich Unterschiede in Jobprofilen. Also, ich kann in der Biomedizin arbeiten und mich 100% auf Forschung fokussieren. Aber ich kann auch ein Jobprofil haben, das sich mehr mit Lehre auseinandersetzt. Oder ich beschäftige mich mit Outreach und Kommunikation etc. Also da gibt es auch natürlich Unterschiede, die soll man mit berücksichtigen. Und ich glaube auch wenn man da, wenn man natürlich neue Forscher:innen in seiner Forschungsgruppe sucht, müssen wir einfach viel genauer schauen, was wir für diese Gruppe brauchen. Also wir können nicht erwarten, dass ein Individuum alles 100 % exzellent oder höchste Qualität macht. Aber eine Gruppe soll sich im Ganzen ergänzen mit unterschiedlichen Schwerpunkten, die als Gesamtteam die ganzen Qualitäten hat, die man braucht in einer Gruppe.

[00:17:05] Doreen Siegfried:
Okay. Ja, interessant. Noch mal zum Thema Governance. Du hast jetzt gesagt, es gibt 13 Arbeitsgruppen in der ganzen CoARA-Community verteilt. Wie schafft Ihr es, dass sich sozusagen…, dass Redundanzen und Widersprüche in diesen Arbeitsgruppen vermieden werden?

[00:17:24] Mathijs Vleugel:
Ja, am Anfang, muss ich sagen, war das eine große Herausforderung. Es gab viel Interesse aus der Wissenschaftscommunity, da sofort beizutreten. Also ich glaube, innerhalb der ersten Monate gab es schon 400 oder 500 Mitgliedsorganisationen. Also man kann sich vorstellen, wenn man aus dem Nichts eine eigene Organisation aufbaut mit 500 Mitgliedern, die alle hochmotiviert…

[00:17:48] Doreen Siegfried:
Ja.

[00:17:49] Mathijs Vleugel:
… und mit viel Energie da reingehen, dass das sehr kompliziert ist.

[00:17:53] Doreen Siegfried:
Ja.

[00:17:53] Mathijs Vleugel:
Also, da gab es natürlich besonders am Anfang gab es da, gab es da Herausforderungen, das alles zusammenzubringen. Aber ich würde sagen, dass das immer besser funktioniert. Also es gibt zum Beispiel gezielte Austauschplattformen für die Chairs der Arbeitsgruppen. Die treffen sich einmal im Jahr, treffen die sich länger in Präsenz. Aber es gibt auch auf Unterstützungsebene gibt es da fast monatlich, gibt es da auch Austausche, um diese Aktivitäten aufeinander abzustimmen. Die Koordinatoren der National Chapter treffen sich auch einmal im Jahr, um sich da abzustimmen und auch voneinander zu lernen, …

[00:18:34] Doreen Siegfried:
Ja.

[00:18:35] Mathijs Vleugel:
… natürlich Herausforderungen zu besprechen etc. Also das passiert immer mehr. Natürlich am Anfang, wenn eine Arbeitsgruppe gegründet wird, dann geht das auch über das CoARA-Steering-Board. Also die schauen natürlich mal auf so einen Arbeitsplan. Also, sind die Ziele, sind die tatsächlich vereinbar mit dem, was wir in CoARA vorhaben? Und dann am Ende, wenn die Ergebnisse rauskommen der Arbeitsgruppen, dann gibt es auch noch mal eine offene Konsultation, wo alle CoARA-Mitglieder noch mal auf diese Dokumente schauen können und nochmal Feedback geben können, so dass es tatsächlich alles auch Empfehlungen sind, die von der großen Community unterstützt werden. Also, da wird immer mehr abgestimmt und ich glaube, das findet sich auch so langsam.

[00:19:19] Doreen Siegfried:
Ja. Okay. Dann reden wir doch mal über Finanzierung. Ich habe gelesen, dass bei CoARA mit dem sogenannten Kaskadenfinanzierungsmodell gearbeitet wird. Kannst Du das vielleicht kurz erläutern, was das genau ist, wie das funktioniert?

[00:19:34] Mathijs Vleugel:
Genau. Also es gibt so ein Kaskadenfinanzierungsmodell und das wird von der Europäischen Kommission wird das unterstützt und gefördert. Und da gab es zwei Calls, wo insgesamt 2,3 Millionen € verteilt wurden für Pilotprojekte. Also, das sind alles kleinere Projekte von 30 bis 60.000 €. Und darauf konnten sowohl CoARA-Mitglieder als auch Nichtmitglieder konnten sich da bewerben. Und das sind alles kleine Projekte bei so ungefähr Laufzeit von einem Jahr. Und damit sollen dann Ressourcen bereitgestellt werden, um Projekte für diesen institutionellen Kulturwandel zu unterstützen. Ich glaube, das ist eine gute Sache, weil oft fehlen diese Ressourcen. Aber Teilnahme an diesen Aktivitäten kommt auch mit einer Selbstverpflichtung, dass man auch darüber berichtet. Also diese Pilotprojekte werden auch innerhalb der Community geteilt, so dass nicht nur eine Organisation davon profitiert, aber das für die weitere Community auch was bringt.

[00:20:44] Doreen Siegfried:
Auf jeden Fall. Ja. Ja, verstehe. Und gibt es auch in Deutschland solche Pilotprojekte?

[00:20:49] Mathijs Vleugel:
Also, wie gesagt, es gab zwei Finanzierungsrunden. In der ersten Runde gab es zwei deutsche Organisationen, die gefördert wurden und in der zweiten Runde gab es noch mal vier. Und das sind sehr unterschiedliche Projekte. Also es geht um die Entwicklung von neuen Lebenslaufmustern oder ganz basic Informationsvideos die Wissenschaftler:innen aber auch Entscheidungsträger aufklären zu Wissenschaftsreformen. Es gibt Projekte, die Strategieprozesse versuchen zu starten etc. Also die sind sehr unterschiedlich.

[00:21:27] Doreen Siegfried:
Ja, okay. Und gibt es da schon von diesen zwei plus vier, also sechs, Pilotprojekten, welche, wo das schon in der Anwendung ist, Wissenschaftler:innen neu zu bewerten?

[00:21:43] Mathijs Vleugel:
Ich glaube, ein gutes Beispiel ist da die Charité. Also die Charité in Berlin hat ein neues Bewerbungsportal gelauncht. Ich glaube letztes Jahr schon. Und dieses Projekt, was jetzt von CoARA unterstützt wird, geht dann um die Weiterentwicklung. Aber im Prinzip gibt es diese Portale schon. Und die Idee davon ist, dass Bewerber:innen bei der Einstellung ein strukturierter und narrativer Lebenslauf online erstellen und Ziel davon ist natürlich, dass nicht nur Publikationen aufgelistet werden, aber dass die Vielfalt ihrer Forschung und Expertise dargestellt wird. Zudem werden sicherlich auch die Bewertungskriterien werden da transparent gemacht. Also, das sind tatsächlich Aktivitäten, die laufen schon, aber die werden dann natürlich damit weiterentwickelt.

[00:22:39] Doreen Siegfried:
Ja, okay. Aber das heißt, ich muss mir das so vorstellen: Ich möchte mich bewerben als Ärztin, oder was auch immer, bei der Charité. Und dann gehe ich auf eine Webseite, wo ich dann im Prinzip so ein Onlineformular ausfülle: „Laden Sie hier Ihre Publikationen hoch. Laden Sie hier Ihre Lehrerfahrungen hoch. Laden Sie hier Ihre was auch immer hoch.“ Also ich werde sozusagen so angeleitet, ein bisschen mehr zu berichten über meine Arbeit, als ich es vielleicht selber machen würde, wenn ich am weißen Blatt Papier sitze.

[00:23:09] Mathijs Vleugel:
Genau. Das stimmt ja. Was wir natürlich traditionell viel sehen, ist, dass wenn Wissenschaftler:innen oder Ärzte wenn die ihren Lebenslauf einreichen, dass da eine große Publikationsliste immer drin ist. Das ist wichtig und das bleibt natürlich auch wichtig. Aber darüber hinaus gibt es viele andere Aktivitäten, besonders natürlich auch als Arzt, die sehr wichtig sind. Und da wird dann noch mal gezielt wird da Freiraum geschaffen, um auch sich zu diesen anderen Aktivitäten noch mal da was aufzuschreiben.

[00:23:43] Doreen Siegfried:
Und, also… Mach Du erstmal weiter, ja?

[00:23:48] Mathijs Vleugel:
Auf der anderen Seite macht es das natürlich auch einfacher für die Peer Reviewer oder die Begutachter, weil man kann einfach, man kann alle Social Impact von allen Bewerber:innen kann man direkt miteinander vergleichen. Man kann alle Outreach-Aktivitäten von allen Bewerber:innen direkt miteinander vergleichen etc. Also von beiden Seiten wird das dann strukturierter angegangen.

[00:24:11] Doreen Siegfried:
Ja, okay. Das ist natürlich ein total spannendes Projekt. Mich würde natürlich interessieren: Erstens: Wie ist die Resonanz bei den Bewerbenden? Oder was passiert, welche Effekte hat das Ganze? Bewerben sich andere Leute oder stellen die Reviewer fest, also nach den alten Metriken würden wir jetzt diese drei Personen auf die Ranking Liste setzen, nach den neuen Indikatoren stellen wir fest, okay, da kommen ganz andere Leute irgendwie auf Platz eins? Also, das wäre die erste Frage: Gibt es schon irgendwelche Beobachtungen, dass sich irgendwas verschiebt? Was ja auch tatsächlich Sinn und Zweck von dieser ganzen Reform ist. Und die zweite Frage ist eher so praktischer Natur. Was sagen die Reviewer dazu? Die haben ja jetzt mehr Arbeit, diese ganzen Sachen zu vergleichen. Sagen die: „Ist ja nur ein Pilotprojekt. Noch drei Monate durchhalten, dann haben wir es geschafft“ oder finden die für sich auch irgendwie einen Mehrwert?

[00:25:12] Mathijs Vleugel:
Ich glaube, das sind genau die Fragen, die wir beantworten müssen. Ich kann das jetzt nicht für die Charité machen. Aber in der Tat, wir hoffen natürlich, dass dann sich andere Individuen bewerben auf diese Stellen. Aber auch, dass das natürlich am Ende die Auswahl beeinflusst und natürlich verbessert. Wir brauchen da diese Daten in der Tat. Ich nehme an und hoffe, dass das eben in diesen Pilotprojekten mitgedacht wird, dass da eine Analyse daraus erfolgt, was auch dann natürlich der Wissenschaft zur Verfügung gestellt wird. Von der anderen Seite, von der Gutachter:innenseite weiß ich anekdotisch, dass einige da sehr zufrieden damit sind. Weil, was in der Vergangenheit natürlich passiert ist – ich habe gesagt, es gibt da so eine Liste, Publikationen und wo man gearbeitet hat und noch so Grants und Awards vielleicht. Und dann muss man da irgendwie als Gutachter muss man das ja aber das alles zusammenpuzzeln. Also diese Person war da und hat dann da gearbeitet und mit dem publiziert, aber da war es auf einmal mit anderen Leuten und ein anderes Thema etc. Und das muss man sich selber so ein bisschen zusammenpuzzeln. Bei diesen mehr strukturierten und auch narrativeren Surveys hat natürlich, eine Bewerberin hat schon die Chance, das selber besser zu erklären. Also die Vorarbeit wird dann schon teilweise gemacht für Gutachter:innen und deswegen sind diese Listen von CVs, sind die auch viel mehr verständlich, wenn da so eine Geschichte dazu passt.

[00:26:39] Doreen Siegfried:
Okay. Und muss ich mir das so vorstellen, dass sozusagen bei Ausschreibung der Stelle vorher sich überlegt wird, welcher Indikator wird am meisten, also am höchsten, bewertet und welcher am zweithöchsten? Also muss ich mir vorstellen, okay, ganz klassisch, wie bei einer Stellenbesetzung, mache ich vorher so ein Punktesystem, sage, okay, Publikationen sind immer noch am wichtigsten. Zwei Publikationen sind wichtiger als, was weiß ich, zehn Auftritte in irgendwelchen Talkshows (Wissenschaftskommunikation). Muss ich mir das so vorstellen? Und die zweite Frage ist: Wird dann das auch hinterher evaluiert nach dem Motto, okay, vielleicht müssen wir doch irgendwas anderes auf Platz zwei setzen oder irgendwas anderes von Platz eins runternehmen und nach vorne schieben. Also, ist das Teil dieser Pilotprojekte?

[00:27:32] Mathijs Vleugel:
Ja, also ich kann natürlich nicht… Nochmals: Ich kann nicht für die Charité sprechen, wie die das genau machen. Aber das ist natürlich da, wo wir hin gehen und hin müssen. Es gibt Projekte, die das in der Tat schon gezielt machen. Ich nehme an, dass die ganzen Pilotprojekte und so evaluiert werden. Ich glaube, dass wichtig ist, dass man erstmal einen Schritt zurück geht. Also, wie ich am Anfang gesagt habe, ich habe eine Forschungsgruppe und ich habe eine Stelle zu besetzen oder nachzubesetzen. Und dann erstmal nachzudenken, was brauche ich genau für diese Stelle? Was sind die Qualitäten, was sind die Aktivitäten, die da wichtig sind? Nicht einfach für alle Stellen die gleiche Liste an Kriterien aufstellen. Aber brauche ich jemand mit Schwerpunkt Lehre oder Schwerpunkt Kommunikation oder Forschung? Dass man das erstmal sich mit auseinandersetzt und dann natürlich auch die Stelle so im Internet bewirbt. Und dann in der Tat, man braucht auch natürlich nicht für alle Stellen alle Kriterien zu erfüllen. Also ich glaube, da müssen wir tatsächlich aufpassen, dass wir nicht von drei oder vier Kriterien, die jetzt häufig benutzt werden, dass wir zu einer Liste von 20, 30 kommen und man muss überall exzellent sein. Ich glaube, das ist eine Anforderung, die ist nicht realistisch und macht auch keinen Sinn. Also ich glaube, man muss… Wir müssen einfach bewusster damit umgehen. Also, welche Kriterien werden tatsächlich für diese Stelle gebraucht? Und dann auch nur da die Informationen sammeln und auch danach bewerben. Das heißt natürlich auch, dass die Gutachter:innen damit an Bord genommen werden müssen und dass sie auch gut gebrieft sein müssen, was für eine Stelle das ist und was gesucht wird.

[00:29:10] Doreen Siegfried:
Ja, okay. Also es wird mehr zu so einem Baukastensystem, dass man sagt: „Okay, was brauchen wir? Wir brauchen diese drei Baukästen. Und Nummer sieben und Nummer acht brauchen wir eventuell gar nicht oder kann nach unten ins Ranking.“ Okay.

[00:29:23] Mathijs Vleugel:
Genau. So stelle ich mir das vor. Und das sind natürlich auch… Viele von diesen Sachen kann man auch nicht quantitativ bewerten. Also wir haben bestimmt nicht überall Indikatoren für. Und ich glaube, das ist auch in vielen Fällen ist das gar nicht machbar, da Indikatoren zu entwickeln. Aber das ist dann natürlich ein qualitativer Vergleich zwischen Kandidat:innen. Und ich glaube, für viele dieser Kriterien müssen wir da hingehen. Und das heißt auch, dass die Rolle der Peer Reviewer da sehr wichtig ist.

[00:29:57] Doreen Siegfried:
Okay. Was mich noch interessieren würde: Anspruch und Wirklichkeit. Also, Du hast ja gesagt: „Okay, am Anfang sind ganz viele rauf und haben gesagt, okay, wir finden das gut, wir finden das wichtig, wir unterschreiben.“ Und dann kommen aber so die Mühen der Ebene. Wo siehst du momentan die größten Hürden noch in der Umsetzung der Reform (wir sind noch ganz am Anfang, das ist mir bewusst)? Aber wo siehst du jetzt schon die größten Hindernisse?

[00:30:28] Mathijs Vleugel:
Ja, ich würde erstmal sagen, dass diese Reformen sind sehr komplex. Es ist ein komplexes Thema und wir sehen das auch innerhalb Helmholtz. Es sind viele Akteure daran beteiligt. Also wenn man denkt über Forschungsbewertungen, dann spricht man von Personalabteilung, Strategie, Controlling, Bibliotheken, Rechenzentren. Natürlich als wichtigste, die Wissenschaftler selber. Also, da sind viele Akteure daran beteiligt und die muss man irgendwie zusammenbringen. Und ich glaube, wenn wir das ernst nehmen, müssen wir da auch natürlich die Ressourcen zur Verfügung stellen, um diese Akteure zusammenzubringen und auch auf institutioneller Ebene eine Strategie zu entwickeln, die einheitlich ist und trotzdem natürlich auch Freiraum bietet für disziplinare Unterschiede. Also ich glaube, das ist immer noch eine große Herausforderung. Was wir jetzt oft sehen, dass Research Assessment Reformen werden oft vorangetrieben von einzelnen motivierten Individuen. Das sehen wir auch in CoARA National Chapter. Es sind, da gibt es einzelne Leute, Referent:innen, manchmal auch Leitungsebene, die da sehr motiviert sind und das voranbringen wollen. Aber das ist natürlich keine Aufgabe, die man sich alleine leisten kann. Also wir brauchen die Ressourcen, wir brauchen die Kapazitäten und wir brauchen auch, wie schon erwähnt, Unterstützung von der Führungsebene, aber auch von der Politik. Ich glaube, das ist ganz wichtig, insbesondere in Deutschland, da einen Schritt voraus zu machen.

[00:32:00] Doreen Siegfried:
Wenn du jetzt sagst, es gibt sozusagen verschiedene Stellschrauben, an denen ich gleichzeitig drehen muss, damit es funktioniert. Wenn ich jetzt mal versuche, einen Vergleich aus dem ganz normalen Leben zu bringen. Also Leute, die sich jetzt beispielsweise mit einem „Wie führe ich ein gesundes Leben“ beschäftigen, dann kann man sagen: „Viel schlafen ist gut. Viel Sport ist gut. Gesunde Ernährung ist gut. Viele Freunde haben ist gut.“ Und was weiß ich noch alles. So. Und das sollte man alles machen. Und dann kommt natürlich irgendwie die Antwort: „Okay, ich bin überfordert. Womit sollte ich anfangen?“ Wenn wir jetzt, sozusagen, mal diese Sicht „Welcher Hebel ist der wirksamste?“ mal auf CoARA übertragen, wenn Du jetzt diese Institutionen, die was ändern wollen oder diese Forschungsgemeinschaft als Großes betrachtest, die sagen: „Okay, ich habe unterschrieben, aber es ist wirklich ein dickes Brett.“ Was würdest Du raten, welcher Hebel sollte als erstes gedrückt werden, um irgendwie was auszulösen? Und was wäre eine gute Reihenfolge?

[00:33:11] Mathijs Vleugel:
Ja, ich glaube, Organisationen sind darin natürlich sehr unterschiedlich. Aber was ich jetzt sehe, ist, dass der einfachste Hebel, und wo Organisationen auch die meiste Autonomie haben, ist tatsächlich Berufungsverfahren.

[00:33:24] Doreen Siegfried:
Ja.

[00:33:26] Mathijs Vleugel:
Und das heißt nicht, dass man auf einmal Publikationen nicht mehr wichtig findet, aber dass man einfach Freiraum kreiert, da andere Kriterien mit aufzunehmen, wie wir gerade besprochen haben in diesem Lebenslaufmuster.

[00:33:38] Doreen Siegfried:
Ja, ja.

[00:34:39] Mathijs Vleugel:
Ich glaube, das ist ein ganz… Also ein relativ einfacher Hebel, den individuelle Forschungsgruppen natürlich schon benutzen können, wenn die neu einstellen. Auf Departementebene kann das gemacht werden. Aber es gibt natürlich große Herausforderungen, weil natürlich auch intern gibt es da, es gibt Strategien, es gibt Metriken. Es gibt Installationsverfahren auf Institutsebene. Also das ist natürlich alles so ein Trickle-down-Effekt. Was da oben die Kriterien sind, das kommt natürlich auch unten an. Also es gibt da unten einen gewissen Spielraum und Autonomie, was man da machen kann. Aber da ist natürlich auch eine Begrenzung da.

[00:34:19] Doreen Siegfried:
Ja. Okay.

[00:34:19] Mathijs Vleugel:
Ich würde sagen, auf institutioneller Ebene… Ich glaube, es ist… Was ich jetzt oft sehe, ist, dass neue Bewertungsansätze, gerade sehr kritisch werden die beobachtet und sehr kritisch wird darauf geschaut. Was natürlich gut ist. Also wir müssen da das Beste daraus machen. Aber ich glaube nicht, dass wir abwarten müssen, bis es eine perfekte Lösung gibt. Weil die wird es nicht geben. Also ich glaube, wir müssen auch… Wir müssen einfach anfangen zu experimentieren, diesen Pilot zu machen. Es gibt genug gute Ideen, aber wir müssen einfach das strukturell versuchen umzusetzen und einfach versuchen, daraus zu lernen. Das wird nicht perfekt sein am Anfang. Aber wenn man da noch mal schaut auf die traditionellen Bewertungsverfahren und die sind auch überhaupt nicht perfekt. Also ich würde sagen, das ist schon ein großer Schritt vorwärts, wenn wir da einfach mal rangehen und das versuchen und da als Wissenschaftler:innen einfach ein bisschen Experimentierfreude reinbringen.

[00:35:26] Doreen Siegfried:
Ja, auf jeden Fall. Schon beim Start von CoARA wurde ja betont, dass die bisherigen publikationsbasierten Metriken zur Leistungsmessung letztlich kaum Anreize bieten für Open Science. Wenn Du jetzt sozusagen guckst, so knapp drei Jahre später, würdest Du… Siehst Du irgendwo schon Effekte? Gibt es irgendwo schon mehr Anerkennung für offene Praktiken, Forschungsdaten, Software oder Diamond Open Access Publikationen?

[00:35:55] Mathijs Vleugel:
Ja, die gibt es. Und ich würde sagen, dass auch das kommt wieder zurück auf diese Lebenslaufmuster. Die DFG ist da auch ein gutes Beispiel. Die hat auch ihre Lebenslaufmuster angepasst. Was heißt, dass man da, ich glaube, jetzt nur noch zehn traditionelle Textpublikationen auflisten kann. Und dann gibt es noch ein Textfeld, wo man noch zehn andersartige Publikationen oder Outputs auflisten kann. Und da gehen wir natürlich Richtung Open Science Praktiken. Auch weil da kann man Datensätze auflisten, Softwarepublikationen auflisten etc. Ich glaube, das kreiert mehr Sichtbarkeit für diese Outputs, die es oft eh schon gibt, aber die dann einfach runter verschwinden, weil man lieber doch noch mal fünf Textpublikationen auflistet. Also das kreiert erstmal mehr Sichtbarkeit. Es kommt aber nur natürlich mit der Herausforderung, dass wir die Qualitätssicherung für diese Art von Publikationen auch irgendwie bewerkstelligen müssen. Also da wird mehr publiziert, andere Arten von Publikationen. Aber was ist eine qualitativ hochwertige Daten- oder Softwarepublikation? Wie bewerten wir das überhaupt? Das ist, glaube ich, auch noch mal ein dickes Brett. Wir versuchen uns innerhalb Helmholtz versuchen wir da was umzusetzen. Also wir entwickeln derzeit, was wir nennen Qualitätsindikatoren für Daten- und Software- Publikationen. Und da machen wir eine Auswertung basiert auf den FAIR-Prinzipien, ob die Metadaten von diesen Publikationen up to Standard sind für diese Communities. Also da auch eine Art von Qualitätssicherung einzubauen, dass natürlich nicht jede Datenpublikation ist gleich, so, wie auch nicht jede Textpublikation gleich ist.

[00:37:49] Doreen Siegfried:
Na, ja. Wenn wir über gleich und ungleich sprechen. Also man kennt das ja seit Jahren, aus dem Schulsystem in Deutschland zumindest, dass je nach Bundesland und je nach Schule das Abi mal leichter fällt und mal weniger leicht. Und sozusagen ja Schüler und Schülerinnen unterschiedlich bewertet werden. Wie kann ich denn mit einem neu aufgestellten Messsystem, Bewertungssystem verhindern, dass ich jetzt in der Forschung mehr Ungleichheit reinbringe, als vielleicht jetzt schon der Fall ist? Also ja, wie kann ich da mehr Fairness reinbringen? Diskutiert Ihr das Thema?

[00:38:40] Mathijs Vleugel:
Ja. Ich glaube, das Wichtigste ist erstmal, einfach zu sehen, dass es die Unterschiede gibt. Also es gibt nicht ein Wissenschaftssystem. Es gibt auch nicht einen Wissenschaftler oder eine Wissenschaftlerin mit einem, mit alle den gleichen Profilen. Also, ich glaube, wir sollten anfangen zu sehen, dass es da halt Unterschiede gibt und deswegen auch die Bewertung natürlich anders sein sollte. Ich glaube, wovor wir aufpassen müssen, ist natürlich Nachwuchswissenschaftler: innen, dass die Anforderungen da gerecht sind und auch, dass die Kriterien transparent sind. Also, was wird jetzt eigentlich von mir erwartet als Nachwuchswissenschaftler:in, wenn ich eine Professur beantragen möchte? Also, das ist wichtig. Und natürlich es gibt viele Biases, unconscious Biases, die wir auch adressieren müssen. Es gibt eine CoARA-Arbeitsgruppe, die sich damit auseinandersetzt mit diesen Biases. Und das ist dann natürlich auch wichtig, dass wir die Gutachter:innen dahin mitnehmen. Es ist ein Risiko und eine Herausforderung. Aber es ist natürlich auch eine neue Herausforderung. Wir haben immer den Eindruck, zurück zum Impact Factor, dass das was Objektives ist. Aber wir wissen auch, dass es große Unterschiede gibt, zum Beispiel zwischen Männern und Frauen oder globalem Norden und globalem Süden. Wie einfach es ist, in diesen Journalen mit High Impact Factor zu publizieren. Also, da gibt es auch viele Biases im System. Aber nur, weil wir da am Ende so einen Mainstream draus bekommen, tun wir alle, als ob wir das jetzt objektiv machen. Was natürlich gar nicht der Fall ist.

[00:40:28] Doreen Siegfried:
Ja, okay. Gibt es denn schon erste vielversprechende Ansätze, wie man tatsächlich Forschungen nicht ökonomisch misst? Du hast ja gesagt, es gibt ja auch so qualitative Bewertungsverfahren. Also, wie messe ich denn kulturellen Impact oder gesellschaftlichen Impact? Also gibt es da schon Ansätze, wo vielleicht eine Pilotgruppe in irgendeinem anderen Land schon festgestellt hat, also, das geht in die richtige Richtung? Bitte guckt mal, probiert das alle auch mal aus.

[00:40:56] Mathijs Vleugel:
Ja, also da gibt es natürlich gibt es Arbeitsgruppen, die sich damit beschäftigen. Also es gibt eine Arbeitsgruppe, die sich mit Social Impact beschäftigt, mit anderen Arten von Impact. Ich glaube auch da wiederhole ich mich ein bisschen. Aber ich glaube auch da, dass es nicht one size fits all gibt. Also, es gibt große kulturelle Unterschiede. Es gibt politische Unterschiede. Es gibt gesellschaftliche Unterschiede. Also wie kann man Impact von einer medizinischen Studie vergleichen mit dem Impact einer soziologischen Studie? Das sind so total andere Felder, dass man… Man kann nicht sagen, wir entwickeln da wieder eine neue Metrik, die die zwei Sachen miteinander vergleicht. Also, wenn das, wenn wir das mitnehmen wollen in Evaluationsverfahren und ich glaube, wir sollen das versuchen, dann wird das eher auf qualitative Peer-Review-Verfahren auskommen. Also, dass die Fachexperten sagen, „Was Du da gemacht hast in Deiner Forschung oder was Ihr mit Eurer Gruppe oder diesem Projekt gemacht habt, das ist High Quality Forschung und das ist Impact, wie wir das in unserem Bereich sehen.“ Und das kann natürlich total unterschiedlich sein in unterschiedlichen Bereichen, aber ich glaube, die sind am Ende die besten Expert:innen, die das beurteilen können.

[00:42:20] Doreen Siegfried:
Ja, okay. Was mir dann noch einfällt bei diesen ganzen unterschiedlichen…, bei diesem diversen Ansatz. Wie reagieren da eigentlich Nachwuchsforschende drauf? Also, wenn die sagen so: „Okay, ich bin jetzt hier so ein bisschen Testperson und ich werde jetzt hier die nächsten drei Jahre nach ganz unterschiedlichen Sachen bewertet. Und weil es mir Spaß macht und da vielleicht auch mein Talent liegt, setze ich jetzt auf Wissenschaftskommunikation“, beispielsweise. Oder: „Mir macht die Lehre total Spaß. Ich habe da irgendwie ein Faible für. Das finde ich toll. Ich mache jetzt ganz viel Lehre und entwickle die tollsten didaktischen Konzepte usw.“ Und wer weiß, was dann in fünf Jahren ist. Vielleicht wird das dann gar nicht mehr goutiert. Also, da frage ich mich, wie Nachwuchsforschende mit dieser Unsicherheit, mit diesem Experimentierstatus umgehen. Oder ob die sagen: „No risk, no fun. Ich habe Spaß dran. Mir doch egal.“ Gibt es da schon erste Beobachtungen?

[00:43:26] Mathijs Vleugel:
Also ich glaube, da gibt es große Unterschiede. Also ich würde erstmal sagen, dass wahrscheinlich kein Wissenschaftler oder keine Wissenschaftlerin hat diesen Beruf gewählt, weil er oder sie viel publizieren wollte in High Impact Factor Journals. Also, ich glaube, das war nie eine Motivation natürlich…

[00:43:44] Doreen Siegfried:
[lacht] Ja.

[00:43:44] Mathijs Vleugel:
…Wissenschaftler zu werden. Also ja. Natürlich. Teilweise ist es eine Herausforderung. Wir müssen das klar machen, was die neuen Anforderungen sind, was die neuen Kriterien sind. Aber ich habe auch ganz stark den Eindruck, dass es von vielen auch eine Chance gesehen wird. Also es gibt nicht mehr ein generelles Wissenschaftlerprofil.

[00:44:08] Doreen Siegfried:
Ja.

[00:44:08] Mathijs Vleugel:
Es gibt ganz viele unterschiedliche Wissenschaftlerprofile. Und das heißt auch, dass für viele Leute, die jetzt entscheiden, für einen anderen Berufspfad entscheiden, dass sie jetzt vielleicht auch einen Platz haben in der akademischen Welt. Was vielleicht noch in diesem Kontext interessant ist, auch zu erwähnen: Wir haben innerhalb Helmholtz haben wir eine große Umfrage gemacht über die letzten Monate. Da haben wir Wissenschaftler:innen gefragt, was laut denen die Kriterien sein sollten, nach denen sie evaluiert werden. Also was deren wichtigste Beiträge zur Wissenschaft sind. Wir haben auch gefragt, was der Karrierestufe ist, also Nachwuchs bis zu Departementsleitung. Und wir sehen da ganz große Unterschiede auch zwischen diesen Generationen. Also vielleicht, so die mehr etablierten Wissenschaftler:innen sehen wir ganz viele Kriterien, die die wichtig finden. Das sind, in der Tat, textorientierte Kriterien: Grands, Awards, Zitationen etc. Einfach vielleicht so die traditionellen Kriterien, …

[00:45:14] Doreen Siegfried:
Ja.

[00:45:14] Mathijs Vleugel:
… die wir erwarten würden. Wenn wir die gleiche Frage stellen an Nachwuchswissenschaftler:innen, dann auf Platz eins kommt Wissenschaft, Ethik und Integrität. Dann kommen andere Sachen wie Zusammenarbeit, Beitrag zur Forschungskultur oder institutioneller Kultur. Also, das sind ganz andere Aspekte, die die wichtig finden.

[00:45:35] Doreen Siegfried:
Ja, spannend.

[00:45:36] Mathijs Vleugel:
Und ich glaube, es ist sehr wichtig, dass wir das nicht verlieren. Dass wir nicht nur die Leute rausfiltern, die sich auf die traditionellen Kriterien fokussieren, aber dass wir das ganze breite Spektrum an Werten und Präferenzen, dass wir das behalten.

[00:45:53] Doreen Siegfried:
Ja. Ja, das finde ich interessant. Also, wenn das mal veröffentlicht ist, teil doch gerne den Link dazu. Weil ich spreche auch oft mit Wirtschaftsforschenden, also auch mit jungen, die gerade promovieren, Wirtschaftsforschenden, die … Das ist jetzt natürlich nicht gemessen in der Studie, aber meine Beobachtung ist, dass hier dieses ganze Thema „Ich möchte sauber arbeiten. Ich habe eine Verantwortung und ich möchte tolle Kollaboration haben“, dass das extrem wichtig ist. Also das passt. Das passt gut zu deinem …

[00:46:31] Mathijs Vleugel:
Ja.

[00:46:32] Doreen Siegfried:
… zu deinen Studienergebnissen. Okay.

[00:46:33] Mathijs Vleugel:
Ja, genau. Definitiv. Und es ist natürlich… Es ist wichtig, zu betonen, dass das nicht so nice to haves sind.

[00:46:39] Doreen Siegfried:
Nein.

[00:46:39] Mathijs Vleugel:
Also, das sind essenzielle Komponenten für gute Wissenschaft. Denn es geht um Reproduzierbarkeit, Transparenz, Zusammenarbeit, Diversität von Forschungsteams etc. Das sind alles natürlich Dimensionen, die beitragen zu hochqualitativer Wissenschaft.

[00:46:55] Doreen Siegfried:
Ja, okay. Wenn wir jetzt noch mal so ein bisschen auf die großen Organisationen schauen. Also OECD, UNESCO, die EU-Kommission usw. haben CoARA in aktuelle Policy-Dokumente aufgenommen. Das heißt, da gibt es eine politische Aufmerksamkeit. Beobachtest Du, dass diese zu zusätzlicher Legitimation führt, oder gibt es eher mehr Erwartungsdruck?

[00:47:20] Mathijs Vleugel:
Also, ich sehe das eher positiv. Ich würde sagen, von mir aus ist das eine wichtige Unterstützung für diese Art von Grassroot-Initiativen DORA, CoARA etc. Wenn ich intern in meiner Organisation finde, dass wir auch Reformen zu Research Assessment angehen müssen, dann habe ich da wichtige Unterstützung in diesen Dokumenten. Also, wenn ich sagen kann, „Wir werden unterstützt von OECD, UNESCO, EU-Kommission etc.“, das bringt oft mehr, als wenn man nur so eine kleine Gruppe innerhalb einer Universität ist, die das voranbringen will. Also ich sehe das als eine wichtige Unterstützung für interne Diskussionen, auch natürlich für nationale Diskussionen, dies Teil der Strategien zu machen. Und wie am Anfang gesagt, wir brauchen das beides. Wir brauchen diese politische Aufmerksamkeit und Unterstützung. Aber trotzdem müssen wir auch in Zukunft versichern, dass die Inhalte der Wissenschaft vorangetrieben werden.

[00:48:22] Doreen Siegfried:
Ja, okay. Du hattest ja gesagt, es gibt in anderen Ländern andere Entwicklungen, andere Geschwindigkeiten usw. Was hindert denn beispielsweise Deutschland daran, so aktiv zu sein wie momentan Spanien?

[00:48:34] Mathijs Vleugel:
Ja, es sind natürlich erstmal die Länder und die Forschungskulturen sind natürlich sehr unterschiedlich. Also Deutschland hat eine sehr komplexe Wissenschaftslandschaft. Also wir haben Universitäten, Fachhochschulen, außeruniversitäre Forschungseinrichtungen etc. Das sind viele, das sind sehr diverse Organisationen. Was natürlich da hinzukommt ist, dass Deutschland ein dezentralisiertes Land ist. Also Föderalismus erschwert natürlich so eine koordinierte Zusammenarbeit. Und das heißt für uns, dass wir nicht nur politische Unterstützung auf nationaler Ebene, aber auch auf Landesebene hier brauchen. Ich kann vielleicht noch sagen, dass vielleicht gibt es natürlich auch historische, kulturelle, organisatorische Voraussetzungen, die vielleicht komplizierter oder anders sind in Deutschland, aber das sind vielleicht eher persönliche, anekdotische Beobachtungen. Aber es gibt natürlich … Wir reden natürlich immer in Deutschland auch über ein Heer von Reformen im Moment. Ich weiß nicht, wie groß die Reformfreude tatsächlich ist. Also ich glaube, da gibt es natürlich auch Unterschiede.

[00:49:45] Doreen Siegfried:
Ja, okay. So, ich muss mal auf die Uhr gucken. Also ein paar Fragen habe ich noch. Also, die große Frage: 2027, was ja quasi übermorgen ist, steht die erste große Selbstbewertung der Unterzeichner an. Welche Indikatoren oder Kriterien werden tatsächlich über den Erfolg dieser Reformen entscheiden?

[00:50:10] Mathijs Vleugel:
Ich glaube, da müssen wir auch wieder aufpassen. Wir sollen nicht in die Richtung Indikator für Forschungsbewertungsreformen gehen. Also, wie gesagt, es gibt ganz unterschiedliche Ausgangspositionen. Es gibt unterschiedliche Rahmenbedingungen in unterschiedlichen Ländern. Also, wir sollen da keine neuen Metriken entwickeln, die sagen, dieses Land oder die Organisation reformt sich besser als andere. Ich glaube, das kann man auch … Das sollte man nicht quantitativ angehen. Aber das ist natürlich eine qualitative Sache. Ich glaube, am Ende können nur die Wissenschaftler und die Wissenschaftlerinnen beurteilen, ob die Reformen, die wir machen, ob das Sinn macht. Aber es ist natürlich … Ja, wie misst man Erfolg? Das ist natürlich schwierig. Ich glaube, diese Pilotstudien werden dazu beitragen können. Also, wie ändert sich die Zusammenstellung der Forschungsgruppen, Projekte, die gefördert werden? Finanzierung über Institute: Wird das transparenter, wird das gerechter und unterstützt das am Ende die Qualität natürlich der Forschung? Weil das ist, warum wir das machen.

[00:51:18] Doreen Siegfried:
Ja, okay. Ich kündige an: Ich klopfe in zwei Jahren wieder bei Dir an.

[00:51:23] Doreen Siegfried:
[lacht]

Dann gucken wir mal, was sich da so …

[00:51:24] Mathijs Vleugel:
Sehr gern.

[00:51:24] Doreen Siegfried:
… bei diesen ganzen Pilotprojekten usw. getan hat. Was mich natürlich noch interessieren würde … Also, ich guck gerade mal hier auf meine 1000 Fragen. Also, man kann es nicht richtig vergleichen. Es gibt hohe Erwartungen usw. Also wie, welche Risiken siehst Du denn beispielsweise auch durch eine vielleicht zunehmende Bürokratisierung? Also, wenn ich mir vorstelle, so wie das Beispiel, was Du geschildert hast, mit der Charité. Jetzt gibt es nicht nur die Liste der Publikationen, check. Fünf Punkte, zehn Punkte, fertig aus. Sondern es gibt unterschiedliche Indikatoren. Das muss natürlich alles irgendwie auch festgehalten werden, damit diese Fairness und Nachverfolgbarkeit usw. gewährleistet ist. Da kann ich mir vorstellen, dass einige auch sagen, „Halleluja, das ist mir jetzt ein bisschen zu viel Aufwand.“ Ist das ein Hindernis oder sehe ich das jetzt nur so aus der Entfernung, dass es eventuell eine Hürde sein könnte? Das Thema Bürokratisierung.

[00:52:27] Mathijs Vleugel:
Ich glaube, da gibt es auch unterschiedliche Ansätze, das zu unterstützen. Zum Beispiel gibt es so, es gibt jetzt Portale für Wissenschaftler:innen, die man mit ORCID verknüpfen kann, aber auch andere IDs, wo man seine ganzen Aktivitäten, Outputs, Lebenslauf etc. alles sammeln kann. Also wenn man das in so einer strukturierten Plattform hat und das natürlich auch verknüpfen kann, dann wieder mit Bewerbungsportal, dann kann man von der Bewerberseite kann man einen Großteil von dieser manuellen Arbeit, die es dann vielleicht jetzt noch ist, kann man schon wegnehmen. Von der anderen Seite, ich würde sagen, von der Gutachterseite: Ich bin mir nicht so sicher, dass es jetzt mehr Arbeit sein wird, als dass es vorher war. Also, wie gesagt, werden Sachen viel besser erklärt jetzt. Warum hast Du da so eine Lücke in Deinem Lebenslauf? Wie kannst Du das erklären? Was hast Du in dieser Forschungsgruppe gemacht und warum findest Du diese Datenpublikation so wichtig und nicht diese Textpublikation in einem renommierten Journal?

Also das … Man kann das alles, diesen Prozess, viel mehr begleiten. Und ich glaube, dass es von der Begutachter Seite nicht unbedingt mehr Arbeit ist und vielleicht die Sache sogar schon um Einiges erleichtern könnte.

[00:53:46] Doreen Siegfried:
Ja, okay. Was wünschst Du Dir für die zweite Phase der Reform nach 2027?

[00:53:55] Mathijs Vleugel:
Das ist eine gute Frage. Also, ich würde sagen erstmal innerhalb Deutschlands. Ich wünsche mir eine breitere Diskussion, würde ich sagen, über Forschungsbewertung. Und eine Diskussion, die weit über diese 42, die wir jetzt haben, Mitglieder im National Chapter. Die internationale Dynamik ist jetzt da. Also, wir haben über 750 Mitgliedsorganisationen und man kann natürlich auch sagen, wenn Deutschland nicht mitmacht, gibt es auch eine Chance, dass wir einen Rückstand haben in der Implementierung von neuen Bewertungsstandards und Methoden. Also European Research Council ist mit an Bord. Die DFG ist mit an Bord. Und natürlich, wenn die Entscheidungen treffen, dann beeinflusst das alle Forschungsorganisationen in Deutschland und nicht nur CoARA-Mitglieder. Also ich würde sagen, es ist wichtiger, von Anfang an mit dabei zu sein, mitzugestalten, als dass man im Nachhinein darauf reagieren muss. Ich hoffe dabei, dass die Projekte, die Aktivitäten, die Pilots, dass die jetzt auch eine Art von Katalysator vielleicht sein können. Und das in Deutschland zu bündeln und vielleicht auch eine nationale Strategie für Deutschland zu entwickeln. Und darin soll natürlich… Eine nationale Strategie, hört sich sehr zentralisiert an, aber die wichtigsten Punkte sind da natürlich die Qualität, die Diversität und Autonomie auch von Organisationen. Also Experimentierfreude und eine breitere Diskussion würde ich sagen, für Deutschland erstmal.

[00:55:28] Doreen Siegfried:
Ja, okay. Vielleicht abschließende Frage: Wenn jetzt unsere Zuhörenden, das sind ja alles Einzelindividuen, das alles hören, was da alles los ist. Es ist ja wirklich viel Dynamik in diesem System und CoARA pusht und pusht. Es gibt diese Arbeitsgruppen und diese Community usw. Wenn ich jetzt als Einzelpersonen mitmachen möchte, hast Du da einen Tipp, wo man, wo Du sagen könntest: „Hier, da ist noch ein Platz frei, misch Dich ein. Mach mit.“ Oder würdest Du sagen: „Halte doch erstmal einen Vortrag. Hier ist die Literaturliste.“ Es gibt ja relativ viel Forschung zu den Nachteilen dieses publikationsbasierten, dieser publikationsbasierten Metrik usw. Sensibilisier doch vielleicht erstmal Deine Büronachbarn links und rechts. Lad die mal auf ein Croissant ein und spreche mal mit denen darüber. Also, was würdest Du konkret Menschen mitgeben als next To do?

[00:56:30] Mathijs Vleugel:
Ja, es gibt da natürlich auf ganz vielen Ebenen auch ganz viele Weisen, wie man involviert sein kann. Also wenn man CoARA-Mitglied ist, würde ich sagen „Sprich innerhalb Deiner Organisation mit der CoARA-Beauftragten und schau einfach, wie man da aktiv werden kann.“ Das kann dann natürlich in CoARA-Arbeitsgruppen sein, aber das kann auch in institutioneller Reformprozess. Die Arbeitsgruppen sind offen für alle Mitglieder. Also alle können da jederzeit mitmachen. Aber das wird natürlich dann intern in einer Organisation, wird das erstmal gebündelt und koordiniert. Das ist natürlich nicht für alle der Fall und viele Organisationen sind auch im Moment nicht CoARA-Mitglied. Aber das Wichtigste natürlich, dass Reformen finden überall statt. Auch wenn es nicht CoARA heißt, wenn eine Organisation nicht CoARA oder DORA unterzeichnet hat. Da passiert trotzdem ganz viel. Ich würde sagen, versuche herauszufinden, was gemacht wird, wenn man da strategisch involviert sein will. Aber es gibt natürlich ganz viele Arten, wo man sich informieren kann. Es gibt viele Webinare, Konferenzen zu dem Thema. Und Aufklärungsarbeit muss immer noch auf allen Ebenen stattfinden. In der Tat, der Nachbar im Labor, aber auch die Leitungsebene, politische Ebene und alles, was dazwischen ist. Also das hängt total von Deiner Motivation und Begeisterung ab. Ich würde sagen, es gibt auch ganz viele Gründe, warum man diese Forschungsbewertungsreformen machen will. Also zum Beispiel Open Science ist für uns natürlich als Open Science Office ein wichtiger Grund. Manche haben eher als Antrieb, dass sie die Forschungskultur innerhalb ihrer Organisation ändern wollen oder die Karrierepfade wollen. Also da gibt es ganz andere Motivationen, aber die natürlich alle da zusammenkommen in diesen neuen Bewertungsverfahren und Kriterien.

[00:58:24] Doreen Siegfried:
Ja, okay. Dann vielleicht noch ein Tipp von mir. Hört mal rein in die letzte Folge hier dieser Podcastreihe mit Jasmin Schmitz, wo es nämlich auch um das Thema betrügerische Wissenschaften ging. Da gibt es auch noch mal mindestens zehn Argumente, warum das Anreizsystem sich ändern sollte.

[00:58:44] Mathijs Vleugel:
Perfekt. Ja.

[00:58:45] Doreen Siegfried:
Also, das liefert auch Futter. Und ich glaube, das ist auch tatsächlich für so ein Gespräch abends in der Kneipe noch mal geeignet. Weil das verstehen am Ende des Tages alle, warum das eigentlich so nicht weitergehen kann.

Okay, Mathijs. Vielen Dank für das Gespräch und die spannenden Einblicke. Wir werden ein paar Sachen in die Shownotes packen. Wer sich jetzt hier noch mal tiefer mit einzelnen Aspekten von CoARA und Arbeitsgruppen, National Chapter und usw. beschäftigen will, dem sei auf jeden Fall Futter an die Hand gegeben. Vielen Dank auch an Sie an den Kopfhörern. Ich hoffe, es hat Ihnen gefallen. Lassen Sie uns gerne Lob oder Kritik da via E-Mail, Mastodon, YouTube oder LinkedIn und wir freuen uns natürlich auch, wenn Sie uns abonnieren. Und ich freue mich aufs nächste Mal.

[00:59:29] Outro