Folge 30: Reform der Forschungsbewertung

The Future is Open Science – Folge 30: Reform der Forschungsbewertung

Audio

Dr. Doreen Siegfried
Leitung Marketing und Public Relations, ZBW – Leibniz-Informationszentrum Wirtschaft

Claudia Labisch
Leitung Europa-Büro der Leibniz-Gemeinschaft in Brüssel

[00:00:03]
Claudia Labisch:
Ja, ich würde hierauf antworten, dass das bisherige Bewertungssystem den Anforderungen an ja offene Wissenschaft nicht gerecht wird. Das heißt, es gibt keine oder wenig Anreize für Open Science.

[00:00:19]
Claudia Labisch:
Die Initiative wird ja von knapp 500 Organisationen gestützt, die CoARA bereits beigetreten sind. Das bedeutet, dass es in der Wissenschaftscommunity einen sehr großen Konsens über die Notwendigkeit eines Reformprozesses gibt, und es sind ja tatsächlich auch genau diese Wissenschaftler und Wissenschaftlerinnen, die den Prozess aktiv unterstützen wollen.

[00:00:45]
Claudia Labisch:
Denn, und das möchte ich an der Stelle auch nochmal betonen, wir reden hier über einen Reformprozess, der wissenschaftsgesteuert sein soll. Auch wenn die Initiative zunächst von der Politik lanciert wurde. Aber letztendlich hat die Politik ja nur aufgegriffen, was zahlreichen Forschenden schon seit langem am Herzen liegt.

[00:01:12] Doreen Siegfried:
Hallo und herzlich willkommen zu einer neuen Folge von „The Future is Open Science“, dem Podcast der ZBW. Wir wollen heute darüber sprechen, wie akademische Arbeit neu bewertet werden kann. Neu heißt jenseits von Impactfaktor und h-Index. Neu heißt auch jenseits des engen Korsetts der Publikationen. Mehrere Initiativen fordern schon seit längerem die Entwicklung von Alternativen zu den bestehenden Metriken und somit auch die Abkehr von von publish or perish und damit verbunden Fehlanreizen. Neu ist jetzt die europaweite Koalition CoARA. Und CoARA ist ein Akronym für Coalition for Advancing Research Assessment. Zu Gast habe ich heute die Leiterin des Europa-Büros der Leibniz-Gemeinschaft in Brüssel und sie hat die Entwicklung um CoARA von Anfang an mitverfolgt, für die Leibniz- Gemeinschaft aus wissenschaftspolitischer Sicht begleitet. Sie war bei der konstitutiven Versammlung im Dezember 2022 dabei und ist zudem auch noch in der G6-Taskforce Research Assessment aktiv. Herzlich willkommen Claudia Labisch!

[00:02:23] Claudia Labisch:
Guten Tag, Frau Siegfried!

[00:02:25] Doreen Siegfried:
Was hat es mit CoARA auf sich? Vielleicht können Sie uns zum Einstieg ein bisschen erklären, wer hinter dieser Koalition steckt und wie diese Koalition überhaupt zustande kam.

[00:02:36] Claudia Labisch:
Ja, gerne. Bei der Koalition, also CoARA, handelt es sich um eine europäische Initiative, beziehungsweise, um genau zu sein, eine Initiative der europäischen Kommission und der EU-Mitgliedsstaaten. Diese Maßnahme gehört zu einer von 20 politischen Initiativen der neuen Agenda für die Weiterentwicklung des europäischen Forschungsraumes, die im letzten Jahr verabschiedet wurde.

Und die Grundlage für diesen Reformprozess, den CoARA vorantreiben soll, bildet das sogenannte Agreement On Reforming Research Assessment, das wiederum auf zehn sogenannten Commitments basiert. Also zum Beispiel, dass Forschungsbewertung vor allen Dingen auf qualitativer Bewertung durch Peer Review erfolgen sollte, bei einem gleichzeitigen verantwortungsvollen Einsatz von quantitativen Indikatoren. Oder dass bei der Bewertung die unterschiedlichen Forschungsbeiträge, aber auch Karrieren in der Forschung berücksichtigt und anerkannt werden. immer je nachdem, je nach Forschungsbereich und Anforderungen. Und dieses Agreement wurde gemeinsam von europäischen Wissenschaftlern und Wissenschaftlerinnen, von Vertretern nationaler Förderorganisationen, wie zum Beispiel der DFG, sowie europäischer Dachverbände, wie Science Europe oder der European University Association verfasst. Und während des Entstehungsprozesses gab es außerdem vier Workshops, die jedes Mal zwischen 300 und 400 Teilnehmenden aus der Wissenschaft zusammengebracht haben.

[00:04:16] Doreen Siegfried:
Wow. Ja.

[00:04:18] Claudia Labisch:
Das heißt, es war

[00:04:18] Doreen Siegfried:
Das ist viel.

[00:04:19] Claudia Labisch:
Ja. Das heißt, es war ein auch, das bedeutet auch, dass es tatsächlich ein echter Bottom-up Prozess gewesen ist und ist, in dem europäische Wissenschaftler und Wissenschaftlerinnen eine aktive und gestaltende Rolle gespielt haben. Und vielleicht noch den letzten Punkt. Die Koalition selbst, ich glaube, das hatten sie auch gefragt, besteht aus einem Sekretariat, das bei der European Science Foundation in Straßburg angesiedelt ist, aus einem Steering Board für die strategischen Fragestellungen und aus der Mitgliederversammlung, die sich aus den Unterzeichnern des Agreements zusammensetzt. Und mit Stand Anfang März haben dieses Agreement bereits knapp 500 Organisationen unterzeichnet.

[00:05:06] Doreen Siegfried:
Ja, okay. Sie hatten ja jetzt schon kurz gesagt, es soll das jetzige System verändert werden, der Leistungsmessung. Was ist denn falsch am bisherigen Bewertungssystem?

[00:05:18] Claudia Labisch:
Ja, falsch… Vielleicht wäre es richtiger zu fragen, was ist nicht mehr zeitgemäß daran? Und ich, ja, ich würde hierauf antworten, dass das bisherige Bewertungssystem den Anforderungen an ja offene Wissenschaft nicht gerecht wird. Das heißt, es gibt keine oder wenig Anreize für Open Science. Zum Beispiel für die Anerkennung von Ergebnissen wie Datenbestände oder Open Source Codes. Und das Bündnis soll eben eine Plattform, eine europäische Plattform, bieten, auf der sich Wissenschaftlerinnen und Wissenschaftler über neue Indikatoren und gegebenenfalls auch über bereits erprobte alternative Bewertungssysteme austauschen können. Denn es besteht in der Wissenschaftscommunity ja durchaus breiter Konsens über die Notwendigkeit einer Reform und das Bündnis bietet im Prinzip die Möglichkeit, diese in strukturierter und in koordinierter Weise voranzubringen.

[00:06:21] Doreen Siegfried:
Ja, okay. Nun ist es ja so, die Kritik am System, die gibt’s ja schon länger. Also nationale und internationale Initiativen fordern ja schon seit einiger Zeit einen Wandel der Bewertungskultur in der Wissenschaft. Also, es rumort ja nicht erst seit 2022. Die Declaration on Research Assessment, also DORA kurz, die demnächst ja sogar schon ihren zehnten Geburtstag feiert, stellt hierbei, meines Wissens, eine möglichst breit aufgestellte Basis dar, um Wissenschaftler:innen und wissenschaftlichen Output fair zu evaluieren. Jetzt frage ich mich, was ist der Unterschied von DORA und CoARA?

[00:07:02] Claudia Labisch:
Ja, ja, der Unterschied besteht darin, dass DORA sowohl von Einzelpersonen als auch von Organisationen unterzeichnet werden kann. Wobei die Einzelpersonen mit über 20.000 Unterzeichnern im Vergleich zu etwas mehr als 2.000 Organisationen deutlich überwiegen. Und bei CoARA können Mitglieder nur Organisationen sein.

[00:07:28] Doreen Siegfried:
Okay. Und was ist jetzt anders? Nochmal, was das Inhaltliche betrifft: Also, warum glauben Sie, dass es mit CoARA jetzt besser funktioniert als mit DORA? Also was ist das Potenzial von CoARA?

[00:07:43] Claudia Labisch:
Ja, es könnte tatsächlich genau an dem von mir eben beschriebenen Unterschied liegen, dass die Reform mit CoARA besser gelingt. Denn CoARA will ja Strukturen etablieren, etwa themenspezifische Arbeitsgruppen, die den Reformprozess zu bestimmten Fragestellungen in einem zeitlich vorab definierten Rahmen voranbringen sollen. Das heißt also, die Arbeitsgruppen sollen mit klar formulierten Zielen an den Start gehen. Und das Potenzial von CoARA, das sehe ich darin, dass eben ja eine kritische Masse hinter dem Bündnis steht. Wie gesagt, ich habe die Workshops erwähnt mit über 400 Teilnehmern. Also eine kritische Masse, die aber gleichzeitig nicht den Rahmen sprengt. Also wiederum keine zu große kritische Masse, die ein strukturiertes Vorgehen wiederum nahezu unmöglich machen würde. Und auch wenn unter der Betrachtung von Mobilitätsaspekten ein globaler Ansatz natürlich wahrscheinlich richtig wäre, denke ich doch, dass ein zunächst stärker europäisch orientierter Reformprozess realistischer in der Umsetzung ist, also was die Machbarkeit anbelangt.

[00:08:58] Doreen Siegfried:
Okay. Also kann man jetzt sagen, mit CoARA sind jetzt Institutionen, die unterzeichnet haben, letztlich in der Pflicht, sich jetzt auch Gedanken zu machen, wie man das Ganze auf die Straße bringt?

[00:09:08] Claudia Labisch:
Genau. Genau.

[00:09:10] Doreen Siegfried:
Ja, okay. Wenn Sie davon sprechen, dass mit der Reform der Forschungsbewertung Qualität und Impact maximiert werden soll, was ist genau mit Impact gemeint?

[00:09:21] Claudia Labisch:
Ja. Also tatsächlich stammt diese Aussage ja nicht von mir, sondern sie findet sich bereits im erwähnten Agreement wieder. Und dort wird Impact definiert als… Also es sind Auswirkungen von Forschungsergebnissen damit gemeint. Die können wissenschaftlicher, technologischer, wirtschaftlicher oder auch gesellschaftlicher Art sein. Und die können sich eben ja kurz- oder mittel- oder langfristig entwickeln und sie können natürlich auch je nach Disziplin und nach Forschungsart unterschiedlich sein.

[00:09:56] Doreen Siegfried:
Und wie misst man Impact?

[00:09:59]
[beide lachen]

[00:10:00] Claudia Labisch:
Ja, das ist eine gute Frage, Fangfrage. Ich denke, das hängt sehr stark von der Art des Impacts zunächst einmal ab. Impact kann sich… Also, das ist auch eine Frage, die ja auch hier in Brüssel in den Institutionen und von der europäischen Kommission im Kontext der EU-Forschungsrahmenprogramme viel und oft und lang und breit diskutiert wird. Und dieser Impact kann sich ökonomisch messen lassen, was die EU ja auch sehr gerne tut, zum Beispiel anhand einer Anzahl X neu geschaffener Arbeitsplätze. Oder er kann sich messen lassen an einem technologischen Durchbruch, der zur Entwicklung neuartiger Produkte, zum Beispiel in der medizinischen Versorgung, führt oder auch an der Akzeptanz von Endprodukten der Forschung in der Gesellschaft. Ich denke, das Problem ist die Messung von Impact im Bereich der Grundlagenforschung. Weil der meist schwer oder eben nicht unmittelbar messbar ist. Ich nehme jetzt mal das Beispiel, die von den Forschungsarbeiten zum Brustkrebs gehen. Es hat immerhin 20 Jahre gedauert, bis die Genetikerin Mary-Claire King bei ihrer Forschung hier einen Durchbruch erzielt hat. Und das sind eben nicht die Zeiträume, in denen Politiker und Regierungen denken.

[00:11:22] Claudia Labisch:
Die sehen sich einem Rechtfertigungsdruck ausgesetzt, warum so und so viele Millionen Euro in Forschung investiert werden. Das heißt, sie müssen ihren Bürgern erklären, wofür deren Steuergelder ausgegeben werden. Und da ist es einfach leichter, Unterstützung für konkrete Ergebnisse oder Endprodukte zu bekommen, als für eine wage Versprechung auf möglicherweise bahnbrechende Erkenntnisse irgendwann in einer noch unbestimmten Zukunft.

[00:11:53] Doreen Siegfried:
Ja, okay. Also ein schwieriges Thema. Unter dem Stichwort Vielfalt, Inklusion und Zusammenhalt steht auch in der Declaration, dass die Vielfalt der Forschungstätigkeiten berücksichtigt werden soll. Und dann werden darunter Aufgaben subsummiert wie Ausbildung, beispielsweise, oder Wissenschaftskommunikation oder die Zusammenarbeit auch mit Unternehmen. Das heißt also, wenn ich es richtig verstehe, es soll nicht nur der Forschungsoutput in den Blick genommen werden, sondern auch Lehre, Wissenschaftskommunikation oder Gutachtertätigkeiten. Warum will man das noch hinzunehmen?

[00:12:32] Claudia Labisch:
Ja, es geht tatsächlich darum, die unterschiedlichen Verfahren, Leistungen und Aktivitäten von Forschenden stärker in den Blick zu nehmen, die die Qualität oder auch den Impact von Forschung verbessern können. Und das heißt, neben der eigentlichen Forschungstätigkeit leisten ja Forscher auch andere wesentliche Beiträge, in Form von Lehre zum Beispiel oder Teamführung, Dienstleistungen in ihren Bereichen und auch Beiträge für die Gesellschaft. Also, es ist tatsächlich ja auch die Frage in den Wissenschaftsorganisationen und bei den Forschern selbst, was gehört denn für uns eigentlich zur Forschung? Und hier macht man eben das Feld so ein bisschen auf, das Fenster auf, und sagt, ja, es sollte doch eigentlich um eine ganzheitlichere Betrachtung gehen. Das heißt also, eine ganzheitlichere und auch qualitative Bewertung kann dann eben auch bei Auswahlverfahren eine wichtige Rolle spielen. Insbesondere für junge und bei jungen Wissenschaftlerinnen und Wissenschaftlern ist es auch wichtig, denn jüngere Forscher, für die ist es einfach schwieriger, zum Beispiel einen hohen h-Index zu haben. Und es geht auch darum, den Veränderungen in der Forschung und den erzielten Ergebnissen Rechnung zu tragen. Und dazu gehören Forschungsarbeiten zum Beispiel, die von Teams vorangebracht wurden, also Stichwort Teamarbeit und Teamführung, aber eben auch interdisziplinäre Forschungstätigkeit, die sich bis heute ja immer noch schwer bewerten lässt. Oder eben, wie schon erwähnt, die Berücksichtigung von Forschungsleistungen oder Ergebnissen, wie zum Beispiel eben Datenbestände oder auch forschungsrelevante Softwareentwicklungen.

[00:14:22] Doreen Siegfried:
Okay. Das heißt, dann dreht sich damit ja letztlich vielleicht auch die Motivation der Forschenden, mehr in den anderen Bereichen zu machen, wenn sie dafür auch Anerkennung bekommen.

[00:14:35] Claudia Labisch:
Genau, ganz genau.

[00:14:36] Doreen Siegfried:
Ja, okay. Die Vereinbarung sieht auch vor, dass die Institutionen, die unterzeichnet haben, sich jetzt erstmalig Gedanken darüber machen, wie dieser Wunsch der facettenreichen Forschungsbewertung umgesetzt werden soll. Gibt es denn schon erste Ideen, wie das konkret in der Praxis laufen kann?

[00:14:55] Claudia Labisch:
Ja, genau dabei soll CoARA unterstützen. Also die Idee ist, dass mit Hilfe von CoARA Arbeitsgruppen eingerichtet werden, in denen Wissenschaftler und Wissenschaftlerinnen der CoARA-Mitgliedsorganisationen gemeinsam verschiedene Themen im Kontext von Forschungsbewertung diskutieren, gemeinsam nach neuen Lösungsansätzen suchen oder auch sich zu bewährten Methoden austauschen. Und die ersten Arbeitsgruppen sollen tatsächlich im Sommer an den Start gehen. Der Aufruf für Interessensbekundung ist übrigens gestern veröffentlicht worden.

[00:15:32] Doreen Siegfried:
Ah, ja. Okay.

[00:15:33] Claudia Labisch:
Und es ist vorgesehen, dass die Mitgliedsorganisationen spätestens nach fünf Jahren, ab Zeitpunkt der Unterzeichnung, über den Stand der Umsetzung neuer Bewertungsmethoden berichten.

[00:15:48] Doreen Siegfried:
Okay, Okay. Also, das heißt, jetzt bilden sich Gruppen, die dann tatsächlich sich überlegen, wie kann ich, um jetzt mal einen Aspekt hier herauszunehmen, wie kann ich denn die Lehre oder die Wissenschaftskommunikation oder die Betreuung von Doktorand:innen tatsächlich gut bewerten? Und wie kann ich das irgendwie in ein praktisches Maß bringen? Okay.

[00:16:09] Claudia Labisch:
Genau.

[00:16:10] Doreen Siegfried:
Sie hatten vorhin dieses Steering Board in Brüssel erwähnt. Ist das sozusagen so als Steuerungsgremium zu verstehen, dass diese ganzen Gruppen irgendwie koordiniert? Oder gibt es überhaupt ein Steuerungsgremium?

[00:16:24] Claudia Labisch:
[lacht] Das ist eine gute Frage. Also, das Steering Board von CoARA ist auf jeden Fall als Steuerungsgremium gedacht, dass also so ein bisschen auf die strategische Ausrichtung guckt und auch schaut, das alles zusammenzuhalten. Es wird, das Steering Board wird zum Beispiel die Arbeitsgruppen auswählen. Und die werden am Ende auch gucken, kommen da auch wirklich Ergebnisse dabei raus? Es ist ja nicht nur geplant, dass die Arbeitsgruppen eingesetzt werden und dann auf ewig laufen, sondern die sollen ja Output produzieren und das will dieses Steering Board im Blick haben. Dem Bord gehören elf Vertreter europäischer und nationaler Forschungs- und Forschungsförderorganisationen sowie Dachverbände an und von deutscher Seite ist in dem Steuerungsgremium derzeit die DFG vertreten.

[00:17:14] Doreen Siegfried:
Okay. Wenn jetzt sozusagen die verschiedensten Arbeitsgruppen sich finden und sich zu verschiedensten Aspekten der, ich sage mal, Performance unterhalten und Messmethoden oder Bewertungsmethoden diskutieren und erarbeiten, dann kann ich mir vorstellen, dass da durchaus Paralleldiskussionen stattfinden. Wie wird dann sichergestellt, dass es am Ende nicht einen riesengroßen Wildwuchs gibt an Bewertungsideen? Also, wie harmonisiert man das irgendwie am Ende?

[00:17:49] Claudia Labisch:
Also, das wird sicherlich auch eine Aufgabe des Steering Boards sein, darauf zu achten, dass das Ganze am Ende irgendwie zusammengebracht werden kann. Gleichzeitig ist es natürlich auch nicht geplant, ein sogenanntes One-size-fits-all-Bewertungssystem zu haben. Obwohl natürlich wiederum im Kontext von Forschermobilität darauf geachtet werden sollte, dass Bewertungssysteme zumindest annähernd miteinander vergleichbar sind. Also, es geht einerseits nicht darum, das Rad völlig neu zu erfinden, und viele gute Ideen gibt es bereits, und auch viele Organisationen. Sei es die DFG oder zum Beispiel der Verband der niederländischen Universitäten, die setzen diese Ideen ja auch bereits um. Denn Ziel der Initiative ist es, am Ende, über alternative Bewertungsmethoden zu sprechen, die zu testen und so auch langfristig zu Bewertungssystemen zu gelangen, die den heutigen Anforderungen an Forscherkarrieren eben besser gerecht werden.

[00:18:52] Doreen Siegfried:
Okay, aber wenn sich jetzt, mal angenommen, fünf Initiativen, fünf Arbeitsgruppen finden, die jetzt nur zum Thema Wissenschaftskommunikation diskutieren, würde dieses Steuerungsgremium die schon mal miteinander vernetzen und sagen: „Okay, es wäre vielleicht sinnvoll, wenn ihr euch mal an einen Tisch setzt und mal guckt, ob sich die Ideen überschneiden oder ob man sich gegenseitig befruchtet.“ Also das…

[00:19:16] Claudia Labisch:
Ja, Entschuldigung, ich wollte Sie nicht unterbrechen.

[00:19:20] Doreen Siegfried:
[lacht] Ich wollte nur fragen, ob das so Teil des Prozesses ist. Also kann ich mir das so vorstellen?

[00:19:27] Claudia Labisch:
Nein, nicht ganz. Denn es ist tatsächlich so geplant, dass es keine zwei Arbeitsgruppen geben kann, die sich thematisch, also die sich zu demselben Thema austauschen. Der Prozess ist so gedacht, dass sich immer nur Arbeitsgruppen zu einem bestimmten Thema bilden können. Und es gibt einen Themenkatalog, der ist vorgegeben. Und daraus kann man sich dann quasi ein Thema aussuchen und sich dann quasi bewerben für eine Arbeitsgruppe. Und es besteht, soll auch die Möglichkeit bestehen, wenn man in diesem Themenkatalog von CoARA ein Thema nicht findet, das man aber für sehr wichtig erachtet, dann kann man dieses Thema auch als zusätzliche Arbeitsgruppe vorschlagen.

[00:20:12] Doreen Siegfried:
Ja, okay. Und vielleicht, wenn jetzt diese Arbeitsgruppen sich finden… Sie haben gesagt, gestern ging die Ausschreibung raus. Wir können die natürlich auch noch mal verlinken am Ende. Was muss ich denn mitbringen, wenn ich jetzt beispielsweise mitmachen möchte in einer Arbeitsgruppe? Was muss ich da mitbringen an Know-how?

[00:20:34] Claudia Labisch:
Ja, also das kommt eben drauf an. Also das kann sein, dass Sie zum Beispiel das Know-how haben, als Gutachter sehr viel Erfahrung haben und in eine Arbeitsgruppe möchten, die sich exakt mit dem Thema Peer Review zum Beispiel auseinandersetzt. Oder Sie setzen sich, sie haben besondere Expertise zum Thema Forschermobilität oder zum Thema Open Science oder zum Thema… Also, es gibt soll auch Arbeitsgruppen tatsächlich geben, die sich auseinandersetzen mit dem Thema Vergleichbarkeit von Bewertungssystemen auf Institutsebene. Also dass man eben guckt, welche Bewertungsverfahren hat denn eine Einrichtung in Spanien und eine in Italien und eine in Deutschland? Und sind die miteinander vergleichbar, oder kann man hier auch voneinander lernen? Also, es soll sowohl Arbeitsgruppen geben, die sich mit ganz konkreten Themen der Begutachtung auseinandersetzen, zum Beispiel von Projekten oder von Laufbahnen, wissenschaftlichen Laufbahnen, aber dann eben auch Gruppen, die das ganze eher auf der institutionellen Ebene diskutieren.

[00:21:48] Doreen Siegfried:
Ja, okay. Also, man muss schon ein bisschen was mitbringen in dem Bereich. Jetzt haben ja etliche Institutionen, Organisationen unterzeichnet. Woher nehmen dann,  also, wenn Sie sagen, die haben sich jetzt damit mit der Unterzeichnung dazu verpflichtet, jetzt auch tatsächlich sich Gedanken zu machen. Also woher nehmen die Organisationen dann am Ende die Leute, die sich zum einen über die Bewertung dieser ganzen vielfältigen Aufgaben Gedanken machen und dann zum anderen diese natürlich dann auch irgendwie versuchen umzusetzen?

[00:22:16] Claudia Labisch:
Ja, ich möchte noch mal wiederholen, was ich vorhin schon gesagt habe, dass die Initiative wird ja von knapp 500 Organisationen gestützt, die CoARA bereits beigetreten sind. Das bedeutet, dass es in der Wissenschaftscommunity einen sehr großen Konsens über die Notwendigkeit eines Reformprozesses gibt, und es sind ja tatsächlich auch genau diese Wissenschaftler und Wissenschaftlerinnen, die den Prozess aktiv unterstützen wollen. Und diesen Willen sehe ich schon sowohl in der Leibniz-Gemeinschaft, als auch in anderen europäischen Organisationen, mit denen ich zum Beispiel hier über meine Tätigkeit in Brüssel in engem Austausch bin. Und ich bin mir ziemlich sicher, dass die Wissenschaftscommunity sich am Ende nicht für eine Leistungsbewertung aussprechen wird, die sie ressourcenmäßig für nicht machbar hält.

[00:23:15] Doreen Siegfried:
Ja.

[00:23:15] Claudia Labisch:
Denn, und das möchte ich an der Stelle auch nochmal betonen, wir reden hier über einen Reformprozess, der wissenschaftsgesteuert sein soll. Auch wenn die Initiative zunächst von der Politik lanciert wurde. Aber letztendlich hat die Politik ja nur aufgegriffen, was zahlreichen Forschenden schon seit langem am Herzen liegt.

[00:23:38] Doreen Siegfried:
Ja, okay. Also, das heißt, die Leute, die jetzt dabei sind, die haben auch eine hohe intrinsische Motivation, sich da in den Arbeitsgruppen zu engagieren.

[00:23:46] Claudia Labisch:
Ja, so nehme ich das auf jeden Fall wahr.

[00:23:49] Doreen Siegfried:
Okay. Organisationen sollen ja ihre Prozesse überprüfen und auch neue Bewertungsansätze entwickeln, so steht es in der Deklaration. Und zudem sollen sie mit anderen zusammenarbeiten, um Fragmentierung zu verhindern und auch eine gewisse Kohärenz, – und sie hatten ja auch schon Forschermobilität angesprochen – zu ermöglichen. Wie kann das denn im Alltag funktionieren? Gibt’s Vorbilder? Sie hatten schon die niederländischen Universitäten angesprochen. Also gibt’s Vorbilder auch in anderen Ländern?

[00:24:16] Claudia Labisch:
Ja, also tatsächlich. Ich bleibe bei dem Beispiel die Niederlande.

[00:24:20] Doreen Siegfried:
Ja.

[00:24:21] Claudia Labisch:
Das ist nämlich tatsächlich der Verband der niederländischen Universitäten, der hat mit der niederländisch-nationalen Förderorganisation NWO und ZonMw letztes Jahr ein gemeinsames Programm aufgelegt mit dem Titel „Room for everyone’s talent“. Und dessen Ziel, also das Ziel dieses Programmes, ist, ein Bewertungssystem zu entwickeln, das unterschiedlichen Karrierewegen innerhalb einer akademischen Laufbahn gerecht wird. Und das sowohl individuelle als auch Teamleistung anerkennt, das Qualität, Inhalt und Kreativität berücksichtigt und offene Wissenschaft befördert. Aber auch hier ist es keinesfalls so, dass die Politik Vorgaben macht, also im Top-down Prozess ein neues Bewertungssystem entwickeln will, sondern die Wissenschaftler und Wissenschaftlerinnen der beteiligten Hochschulen sind aufgerufen, sich aktiv in die Diskussionen einzubringen und das neue System auszugestalten.

[00:25:29] Doreen Siegfried:
Okay. Aber das heißt, die Arbeitsgruppen, die sich jetzt formieren werden, könnten dann schon mal so ein bisschen Richtung Niederlande schielen und gucken, was gibt es da schon für Ideen? Passen die auf das eigene, auf die eigene Organisation? Ist da irgendwas Spannendes dabei, was man selbst vielleicht noch nicht so auf dem Zettel hatte?

[00:25:47] Claudia Labisch:
Ganz, ganz genau. Und die Niederlande wollen sich ja auch bei CoAra oder sind ja auch Mitglied und werden sich da auch einbringen. Genau.

[00:25:54] Doreen Siegfried:
Okay. Wie ist denn der Weg hin zu einer Vielfalt von Bewertungskriterien geplant? Also, Sie hatten jetzt gesagt, es bilden sich Arbeitsgruppen. Wie lange diskutieren die? Die diskutieren jetzt nicht fünf Jahre? Oder wie ist der genaue Prozess gestaltet?

[00:26:13] Claudia Labisch:
Ja. Also nein, also fünf Jahre diskutieren sollen sie nicht. Die Arbeitsgruppen… Das war zunächst mal die Planung – ich muss gucken, wie das jetzt in der Umsetzung, ob das noch dabei bleibt. Aber die Planung ist, dass eine Arbeitsgruppe nicht länger aktiv ist als zwei Jahre und dann auch wirklich ganz konkret mit Ergebnissen vorankommt oder an die Öffentlichkeit tritt sozusagen. Und geplant ist auch, dass die beteiligten Einrichtungen bei CoARA auch regelmäßig über Fortschritte berichten. Das soll über die CoARA-Webseite dann erfolgen, also auch ziemlich formlos, unkompliziert, keine große Berichterstattung dieser Art zum Beispiel. Also wirklich ganz einfach. Und die Idee ist, dass man möglichst nach einem Jahr schon mal guckt, gibt es da schon erste Schritte, erste Entwicklungen. Und dann eben nach fünf Jahren, da sollte man dann schon Ergebnisse haben, die man auch so in Pilotphasen getestet hat. Und,  ja, das ist so die Planung.

[00:27:16] Doreen Siegfried:
Und unterhalten sich dann die Arbeitsgruppen. Also, wenn das… Also, ich stell mir das mal so vor: Die zwei Jahre sind um, die Ergebnisse werden präsentiert. Dann hat man am Ende vielleicht, sagen wir mal, zehn Kriterien. Wer entscheidet dann über die Wichtung der Kriterien? Also, wenn ich mir vorstelle, ich bewerbe mich jetzt am Ende des Tages irgendwo und bin nicht so gut in der Forschung, aber ich bin super in der Lehre und mach ganz tolle Wissenschaftskommunikation. Also gibt’s da irgendwie so Punkte wie beim Eiskunstlauf, also Kür und Pflicht und so weiter? Oder wie muss man sich das vorstellen?

[00:27:54] Claudia Labisch:
Das ist tatsächlich eine sehr gute Frage und Frau Siegfried, ich muss Ihnen sagen, darauf gibt es noch keine Antwort. Aber es wird heftig unter den Wissenschaftlerinnen und Wissenschaftlern diskutiert. Genau dieser Punkt: Zählen dann fünf Publikationen weniger als eine hervorragende Wissenschaftskommunikation oder Teamführung? Das ist tatsächlich schwierig. Und ich denke, wer nimmt diese Gewichtung am Ende vor? Ich denke, das werden die Einrichtungen sein, die diese Bewertungssysteme anwenden, zum einen. Beziehungsweise wird es sicherlich auch ein bisschen vorgegeben werden oder, sagen wir, vorgelebt werden von den Forschungsförderorganisationen, also von denjenigen, die eben Programme auflegen und dann Projekte zum Beispiel evaluieren oder von denjenigen, die über wissenschaftliche Laufbahnen entscheiden beziehungsweise im Rahmen von Auswahlverfahren.

[00:29:02] Claudia Labisch:
Es gibt in dem Sinne keine, also CoARA wird hier keine Gewichtung vornehmen.

[00:29:08] Doreen Siegfried:
Nee, nee, nee, das habe ich verstanden. Aber die Frage liegt natürlich nahe.

[00:29:13] Claudia Labisch:
Natürlich.

[00:29:13] Doreen Siegfried:
Okay. Dann würde mich noch interessieren, die Arbeitsgruppen entwerfen irgendwie Kriterien. Wie wird dann letztlich so der Evaluierungsprozess dieser neuen Indikatoren aufgestellt sein? Also gibt es schon Ideen, wie man letztlich zu einer Bewertung der neuen Bewertung kommt?

[00:29:34] Claudia Labisch:
Ja. Also, wie schon gesagt, wir stehen in der EU, um bei der europäischen Initiative zu bleiben, ja noch ganz am Anfang des Prozesses. Das heißt, es gibt noch keine neuen Indikatoren, und somit gibt es auch noch keine Bewertungsverfahren für die neue Bewertung. Es wird tatsächlich auch Aufgabe der Wissenschaftlerinnen und Wissenschaftler in den CoARA-Arbeitsgruppen sein, genau über diese Aspekte zu sprechen. Und Tatsache ist auch, dass sich mit diesen Fragen ja auch all diejenigen auseinandersetzen, die in ihren eigenen Einrichtungen und Organisationen ihre Bewertungssysteme auf den Prüfstand stellen.

[00:30:14] Doreen Siegfried:
Ja, okay. Dann ist natürlich jetzt noch die nächste Frage. An welchen Wissenschaftler:innen werden denn diese Indikatoren, ich sag mal, getestet? Wer sind die Versuchskaninchen?

[00:30:27]
[beide lachen]

[00:30:27] Claudia Labisch:
Ja, im Rahmen der EU-Forschungsförderung ist zum Beispiel die Rede davon, dass die europäischen Universitätsnetzwerke, also die Netzwerke, die zum Beispiel jetzt auch unter Horizon Europe auf europäischer Ebene gefördert werden, dass die erste Testbetten für die Anwendung der neuen Indikatoren sein könnten. Und beim European Research Council, dem ERC, ist es ja zum Beispiel so, die haben auch im vergangenen Jahr schon eine Taskforce eingerichtet, die sich auch mit dem Thema Reform der Forschungsbewertung befasst und es ist daher auch davon auszugehen, dass gegebenenfalls neue oder erweiterte Indikatoren auch bei der Evaluierung von ERC-Anträgen ausprobiert werden.

[00:31:17] Claudia Labisch:
Und ja und davon abgesehen, geschehen solche Tests, wenn Sie so wollen, ja schon. Nehmen wir mal das Beispiel der DFG. Die DFG hat im vergangenen Jahr zum Beispiel im Rahmen ihrer Individualförderung den narrativen Lebenslauf schon eingeführt.

[00:31:36] Doreen Siegfried:
Ja, okay. Welche Konsequenzen ergeben sich denn für die Forscher:innen aus den unterzeichnenden Einrichtungen oder eben auch für die Antragsteller:innen bei den Förderorganisationen, die unterzeichnet haben? Also, Sie haben ja jetzt gerade schon die DFG erwähnt, haben auch gesagt, dass letztlich die Förderorganisationen wahrscheinlich den größten Hebel in der Hand haben, um zu steuern. Das heißt, wir werden, wenn ich es jetzt richtig verstehe, so von außen, werden wir in so eine Übergangsphase kommen oder Pilotphase, wo Forscher:innen unterschiedlich bewertet werden, je nachdem, was die eigene Organisation letztlich priorisiert. Oder wie wird das … Also, womit muss ich rechnen, wenn ich Wissenschaftler:in der Leibniz-Gemeinschaft bin? Fragen wir mal so.

[00:32:26] Claudia Labisch:
[lacht] Oder so Fangfrage. Also, es ist ja so, die, wie gesagt. Die Einrichtungen und Organisationen, die ihre Bewertungssysteme auf den Prüfstand stellen und die, die sie weiterentwickeln, werden die neuen Indikatoren natürlich anwenden. Das gilt sowohl für die EU-Forschungsförderungen, wie gesagt, als auch für die nationale Projektförderung oder eben für Berufungs- und andere Auswahlverfahren. Und das heißt natürlich auch, dass die Leistungen von Forscherinnen und Forschern mittel- bis langfristig anhand von neuen oder zusätzlichen Kriterien bewertet werden Bei der Leibniz-Gemeinschaft… Jetzt muss man natürlich sagen, die Leibniz-Institute sind alle finanziell rechtlich komplett unabhängig, sodass hier keine Bewertungskriterien auferlegt werden können. Die Änderungen, die für die Leibniz Gemeinschaft vorgenommen werden können, können natürlich das Leibniz-Wettbewerbsverfahren betreffen und das Evaluierungsverfahren. Aber zum Beispiel das Evaluierungsverfahren der Institute, das setzt sein oder nimmt sein Evaluierungssystem, seine Kriterien, ja regelmäßig sowieso auf den Prüfstand und passt es auch an. Also das ist gar nichts Neues innerhalb der Leibniz-Gemeinschaft.

[00:33:47] Doreen Siegfried:
Ja, okay. Was passiert mit diesen Wissenschaftler:innen, sage ich jetzt mal, wenn das Ganze, nur mal angenommen, nicht funktioniert? Also, ich sehe so ein bisschen die Sorge, also, es gibt jetzt irgendwie Wissenschaftler:innen, die werden jetzt danach beurteilt, ob sie ihre Daten teilen und gute Lehre machen und ob sie in der Lage sind, ihre Teams gut zu betreuen und wenn sie das nicht machen, werden sie vielleicht nicht so gut bewertet. Wenn das Ganze… Diese Revolution, es ist ja eine riesige Revolution, die da jetzt letztlich angefasst wurde oder angefangen wurde… Wenn das Ganze nicht funktionieren sollte, was ergibt sich daraus für die Wissenschaftler:innen, die da jetzt sozusagen die Versuchskaninchen waren?

[00:34:41] Claudia Labisch:
Ich würde mal mit der Frage anfangen, warum es nicht funktionieren könnte. Also, zum Beispiel, wenn sich eine Organisation neue Bewertungskriterien setzt, aber mit den alten weiterarbeitet. Oder wenn die neuen Kriterien nicht klar sind und nicht transparent genug kommuniziert werden. Oder aber, wenn sich die Kriterien ständig ändern oder wenn sie sich auch von einer Einrichtung zur nächsten komplett ändern. Und das würde vermutlich zur Folge haben, dass Forschende – und insbesondere jüngere Wissenschaftler und Wissenschaftlerinnen – völlig entmutigt werden und möglicherweise die wissenschaftliche Karriere an den Nagel hängen oder es eben dann auch in der Privatwirtschaft versuchen.

[00:35:30] Doreen Siegfried:
Okay, also das heißt, man darf auf gar keinen Fall riskieren, dass es zu viel Hickhack, Chaos und Unsicherheit gibt. Sondern sich dann wahrscheinlich eher beschränken, statt zehn neue Kriterien zu haben, dann vielleicht am Ende nur fünf zu haben oder sowas.

[00:35:46] Claudia Labisch:
Ganz genau.

[00:35:47] Doreen Siegfried:
Könnte ein Weg sein. Okay. Wie lassen sich denn… Was mich natürlich noch interessieren würde: Es ist ja jetzt ein Riesenunterschied, ob ich jetzt beispielsweise in der Krebsforschung bin und irgendwie eine tolle Methode erfinde oder ob ich jetzt in der angewandten Linguistik arbeite oder mich mit isländischen Dialekten beschäftige oder wie auch immer. Also, es gibt ja sehr, sehr viele Fächer mit ganz unterschiedlichen Schwerpunkten. Wie lassen sich denn die unterschiedlichen Bedürfnisse der verschiedenen Disziplinen in Einklang bringen?

[00:36:14] Claudia Labisch:
Ja, das ist ja genau der springende Punkt bei dieser Initiative. Denn ein neuer Ansatz bei der Forschungsbewertung soll viel stärker als bisher sowohl den verschiedenen Disziplinen als auch interdisziplinärer Forschung gerecht werden. Und wir können davon ausgehen, dass es genau zu diesem Thema, also auch interdisziplinäres Arbeiten und unterschiedliche Ansätze mit einem Blick auf die verschiedenen Disziplinen, dass es dazu auch eine Arbeitsgruppe oder zwei bei CoARA geben wird. Denn das ist ja tatsächlich ein Thema, wie Sie auch sagen, dass es den Forschenden schon seit sehr langer Zeit ein Anliegen ist.

[00:36:58] Doreen Siegfried:
Ja, okay. Welche Rolle spielt denn die EU bei der ganzen Umsetzung?

[00:37:04] Claudia Labisch:
Also, die europäische Kommission sieht sich in diesem Prozess in der Rolle des sogenannten Facilitators. Das heißt, sie unterstützt CoARA oder wird CoARA finanziell bei der Koordinierung der geplanten verschiedenen Aktivitäten, wie zum Beispiel der Organisation der Arbeitsgruppen, unterstützen. Außerdem bietet sie bereits seit Längerem Ländern, die das möchten, die Möglichkeit einer finanziellen Unterstützung bei der Durchführung nationaler Reformprozesse. Also das sind Mittel, die man beantragen kann, im Rahmen der Forschungsrahmenprogramme, und zu diesen nationalen Reformprozessen gehört dann eben auch die Reform der Forschungsbewertung. Und ich glaube mich zu erinnern, dass zum Beispiel Polen 2018 eine solche Unterstützung beantragt und auch bewilligt bekommen hatte. Und das heißt, man setzt sich da jetzt schon seit ein paar Jahren mit dem Thema auseinander und eben in diesem Zusammenhang auch mit der Reform der Forschungsbewertung. Und ich glaube, ich habe neulich gelesen, dass Polen tatsächlich ein neues System ausprobiert hat und da auch Schwierigkeiten bei der Umsetzung hatte. Es gab auch Unzufriedenheiten. Und das heißt, man passt dieses System jetzt wieder an. Das heißt also, es ist durchaus etwas, es ist einfach im Fluss. Und ja, es wird ausprobiert werden und sicherlich wird bei diesem Ausprobieren auch das eine oder andere nicht gut funktionieren. Und man wird dann vielleicht auch sagen: Gut, diese Indikatoren funktionieren nicht. Oder: Das ist zu kompliziert und wir müssen hier nochmal nachjustieren. Und das ist eben auch etwas, was das neue System sicherlich mit sich bringen wird.

[00:39:02] Doreen Siegfried:
Ja, ja. Das kann ich mir gut vorstellen, dass der Punkt, wie kompliziert ist es eigentlich, dass dann tatsächlich im Alltag irgendwie umzusetzen, eine große Rolle spielt. Weil ich glaube, der Impact Factor ist auch deshalb so beliebt und nicht totzukriegen, weil er halt so schön zählbar und einfach ist. [lacht]

[00:39:21] Claudia Labisch:
Genau.

[00:39:22] Doreen Siegfried:
Ja, okay. In Deutschland haben jetzt bislang 13 Organisationen unterschrieben, soweit ich das gesehen habe. Und darunter auch die Leibniz-Gemeinschaft. Warum macht die Leibnitz-Gemeinschaft mit? Was ist die Vision? Was ist die Idee dahinter?

[00:39:37] Claudia Labisch:
Ja, die Leibniz-Gemeinschaft sieht sich aufgrund ihrer Interdisziplinarität, in der Forschung, würde ich sagen, geradezu prädestiniert dafür, sich in den Prozess einzubringen. Und wie ich es gerade schon erwähnt hatte, kommt ja dazu, dass die Leibniz-Gemeinschaft mit dem Leibniz-Evaluierungsverfahren und mit dem Leibniz-Wettbewerb auch eigene Bewertungsverfahren hat, die ohnehin regelmäßig auf den Prüfstand gestellt werden. Und dann kommt dazu, dass das Thema Open Science seit vielen Jahren eines der strategischen Schwerpunktthemen der Leibniz-Gemeinschaft ist. Und gerade konkret im Bereich zum Beispiel der Wissenschaft, des wissenschaftlichen Publizierens beschäftigen sich Leibniz-Institute ja schon seit Längerem mit dem Thema, wie alternative Indikatoren aussehen könnten und es gibt seit letztem Jahr dazu ja auch die Steuerungsgruppe „Wissenschaftliches Publizieren“. Das heißt, es passiert in der Leibniz-Gemeinschaft schon eine ganze Menge in diesem Bereich und deswegen lag es für uns auch nahe, ganz offiziell und nach außen sichtbar, und in strukturierter Weise den Austausch, also den Reformprozess voranzutreten. Und zwar im Austausch mit anderen like minded Einrichtungen in Europa auch zu suchen zu dem Thema.

[00:41:07] Doreen Siegfried:
Ja, okay. Sucht denn die Koalition noch weitere Verbündete? Also kann man sich hier noch weiterhin anschließen? Also, obwohl jetzt schon der Punkt ist, dass viele unterzeichnet haben, dass die Arbeitsgruppen jetzt starten und so weiter. Also, kann man noch quer einsteigen, etwas später?

[00:41:22] Claudia Labisch:
Ja, das ist auf jeden Fall immer möglich. Und sagen wir es auch mal so. Der Reformprozess kann ja nur Erfolg haben, wenn sich so viele Wissenschaftlerinnen und Wissenschaftler und ihre Einrichtungen und Förderorganisationen auf den Weg machen und sich damit identifizieren. Insofern kann es wohl der Verbündeten gar nicht genug geben und die Koalition wird sicher gerne alle Einrichtungen aufnehmen, die die Voraussetzung für eine Mitgliedschaft erfüllen.

[00:41:52] Doreen Siegfried:
Und gibt’s hier… Ist denn das das Steuerungsgremium, was letztlich so ein bisschen auf Akquise geht, dass vielleicht noch weitere 13 in Deutschland oder vielleicht sogar 30 Organisationen unterschreiben? Also gibt es einen Treiber in Deutschland, der sagt, „Okay, Ihr, Ihr, Ihr und Ihr wollt Ihr nicht auch noch mal unterschreiben?“

[00:42:13] Claudia Labisch:
Also, einen Treiber in dem Sinne gibt es nicht und es gibt… Also, die Steuerungsgruppe kümmert sich nicht um das, was Sie so schön Akquise nennen. Ich würde fast sagen, Treiber sind tatsächlich die Wissenschaftlerinnen und Wissenschaftler selbst. Weil also, ich habe jetzt schon gesehen, es gibt wirklich immer wieder regelmäßig Webinare, genau zu dem Thema. Und mir fällt auf, dass ja in Hochschulen, in Wissenschaftsorganisationen Webinare zum Beispiel abgehalten werden zu dem Thema Research Assessment und wo dann auch nochmal ganz klar von Seiten der Wissenschaftler und Wissenschaftlerinnen für diesen Reformprozess geworben wird.

[00:43:05] Doreen Siegfried:
Ja, okay. An wen können sich Interessenten wenden? Das steht wahrscheinlich auf der Webseite, wo man da unterschreiben kann? Oder wenn man vielleicht auch sich vielleicht erstmal beraten lassen möchte, was da sozusagen auf einen zukommt. Das läuft dann über das Steuerungsgremium.

[00:43:21] Claudia Labisch:
Das läuft tatsächlich über das CoARA-Sekretariat, das in Straßburg ist und ja,  derzeit aufgebaut wird. Und wenn man Interesse an einer Mitgliedschaft hat oder einfach mal sich genauer informieren möchte, was es mit CoARA auf sich hat, dann kann man einfach eine Mail an Info@CoARA.eu schicken. Oder man kann auch, wenn man schon überzeugt ist, direkt durch Unterzeichnung des Agreements den Beitritt gewissermaßen beantragen und das kann man alles über die Webseite von CoARA machen. Das ist www.coara.eu

[00:44:00] Doreen Siegfried:
Okay, alles klar. Dann vielleicht noch letzte Frage. Welchen Tipp haben Sie denn für Institutionen, die sich jetzt noch nicht so ganz sicher sind, ob sie CoARA beitreten wollen?

[00:44:09] Claudia Labisch:
Ja, ich würde ihnen sagen, dass CoARA die Möglichkeit bietet, den Reformprozess aktiv mitzugestalten und der Austausch in der europäischen Wissenschaftscommunity dazu eine Bereicherung ist. Und außerdem, sei auch am Rande bemerkt, man kann bei CoARA auch jederzeit austreten, wenn man das Gefühl haben sollte, dass diese europäische Initiative in eine falsche Richtung geht. Ich würde den Organisationen aber auch raten, dass sie ihre Wissenschaftlerinnen und Wissenschaftler und vor allem ihre Nachwuchswissenschaftler fragen sollten. Ich habe kürzlich folgenden Satz von einem Forscher gehört, der den aktuellen Zeitgeist zu diesem Thema meines Erachtens sehr gut einfängt. Der hat nämlich gesagt, „Seit 30 Jahren beschweren sich Forschende über dieselben Probleme. Jetzt endlich passiert etwas und ich bin glücklich, dabei sein zu können.“

[00:45:10] Doreen Siegfried:
Ja okay. Ja, das ist doch das perfekte Schlusswort.

[00:45:13]
[beide lachen]

[00:45:15] Doreen Siegfried:
Vielen Dank. Vielen Dank auch an unsere Zuhörerinnen und Zuhörer. Ich hoffe, es hat ihnen gefallen. Wir haben ja etliche E-Mailadressen und Websites genannt. Die finden Sie auch in den Shownotes. Lassen sie uns gerne Feedback da, auch kritisch, wenn Sie Anmerkungen haben. Sei es via E-Mail, Twitter, YouTube, LinkedIn. Wir sind auf allen Kanälen zu finden. Und abonnieren Sie uns natürlich fleißig auf iTunes oder Spotify oder überall dort, wo man Podcasts hört, und ich freue mich aufs nächste Mal.