Folge 28: Relevanz von Forschungsoutput

The Future is Open Science – Folge 28: Relevanz von Forschungsoutput

Audio

Dr. Doreen Siegfried
Leitung Marketing und Public Relations, ZBW – Leibniz-Informationszentrum Wirtschaft

Dr. Steffen Lemke
Wissenschaftlicher Mitarbeiter, Forschungsbereich Web Science, ZBW – Leibniz-Informationszentrum Wirtschaft

[00:00:03] Steffen Lemke:
Auf der anderen Seite, was ich in unseren Nutzerstudien interessant fand und überraschend fand, ist, dass es doch auch bei jungen Wissenschaftlern häufig so eine erstaunlich, ja ich würde sagen, konservative Haltung zu geben scheint,

[00:00:14] Steffen Lemke:
dass erstmal so soziale Medien mit einer gewissen Skepsis beäugt werden.

[00:00:22] Steffen Lemke:
Ja also es beginnt häufig oft schon auf einer technischen Ebene, dass Datenquellen nicht klar sind, dass nicht klar ist, auf welcher Berechnungsgrundlage entsteht denn jetzt so eine Metrik, die am Ende vielleicht benutzt wird, um eben Forschende zu bewerten in wichtigen Kontexten.

[00:00:37] Steffen Lemke:
Und wenn man dann guckt, so vier, fünf Jahre später, wie haben sich die verschiedenen Metriken entwickelt, die verschiedenen bibliometrischen aber auch altmetrischen Kennzahlen, dann über alle gemessenen Kennzahlen hinweg, haben die mit Pressemitteilung beworbenen Artikel extreme Vorteile, also teilweise extreme Vorteile, auf jeden Fall Vorteile.

[00:00:56] Steffen Lemke:
Also auch auf diesem Weg nehmen die Verlage, ist anzunehmen, ganz erheblich Einfluss darauf, welche Forschung später irgendwie Wahrnehmung erfährt und Aufmerksamkeit erfährt und damit auch, was diese Metriken später sagen werden, welche Forschung ja, in großen Anführungszeichen, relevant ist.

[00:01:17] Doreen Siegfried:
Hallo und herzlich willkommen zu einer neuen Folge von „The Future is Open Science“, dem Podcast der ZBW. Wir wollen heute über die Messung der Relevanz wissenschaftlicher Endprodukte sprechen. Also, wann ist eine wissenschaftliche Publikation relevant und für wen relevant? Dass dieses Thema der Relevanz von Forschungsoutput selbst hoch bedeutsam ist, zeigen die vielen Impact-Indikatoren von sowohl kommerziellen als auch wissenschaftlichen Anbietern, die derzeit so auf dem Markt sind. Hier wollen wir heute etwas Licht in den Dschungel bringen. Und zu Gast habe ich deshalb heute einen Wissenschaftler, der sich in seiner Forschung primär mit dem Vermessen wissenschaftlicher Aktivitäten befasst. Herzlich willkommen, Dr. Steffen Lemke.

[00:01:58] Steffen Lemke:
Ja, vielen Dank für die Einladung.

[00:02:01] Doreen Siegfried:
Für uns zum Einstieg: was sind Wirkungsmetriken in der Wissenschaft und welche unterschiedlichen Ansätze von Impact-Indikatoren sind gerade auf dem Markt?

[00:02:10] Steffen Lemke:
Unter diesem Begriff Wirkungsmetriken, der wird auch oft ziemlich synonym verwendet mit zum Beispiel Impact-Metriken oder manchmal auch Forschungsmetriken, da versteht man eine große Vielzahl von Kennzahlen, die alle irgendwie gemeinsam haben, dass sie ausdrücken sollen, wo oder auf welche Weise Forschungsergebnisse verwendet werden. Und daran hängt dann oft so diese Hoffnung, dass man dadurch Indikatoren erhält dafür, welche Forschung denn besonders relevant ist. Und zur Frage, welche Ansätze da auf dem Markt sind, da kann man grob zwischen zwei großen Familien erst mal unterscheiden. Da gibt es als den sozusagen traditionellen Ansatz die große Gruppe der bibliometrischen Kennzahlen. Und da ist das Grundprinzip, was den meisten dieser Kennzahlen zugrunde liegt, auf Zitationen zu schauen. Also zu schauen, wie häufig wurde denn ein bestimmter wissenschaftlicher Artikel in anderen wissenschaftlichen Publikationen zitiert. Und basierend auf diesem Prinzip lassen sich dann für verschiedene Fragestellungen und Ebenen verschiedene Indikatoren konstruieren. Zum Beispiel werden sicherlich auch viele schon mal von Journal Impact Faktoren gehört haben, die dann eben auf diesem Prinzip basierend Auskunft darüber geben, welche Journale besonders relevant sein sollen. Oder auch h-Indizes sind ein anderes bekanntes Beispiel, was dann über Forschende was aussagen soll. Und die zweite Familie von den beiden, die ich jetzt erwähnt hatte, die man davon unterscheiden kann, die ist so der jüngere Ansatz, um das zu komplementieren. Und die wird mit diesem Sammelbegriff Altmetrics gerne bezeichnet. Und das ist so ein Sammelbegriff für eine sehr, sehr heterogene, sehr weit gefasste, große, offene Menge an Indikatoren, die alle irgendwie dieses Prinzip verbindet zu schauen, wie häufig und wo wird denn mit wissenschaftlichen Publikationen in Online-Umgebung interagiert. Das beinhaltet dann zum Beispiel die Idee zu schauen, wie häufig wird eine bestimmte Publikation auf Social Media geteilt, zum Beispiel auf Twitter erwähnt. Aber geht auch weit darüber hinaus und beinhaltet zum Beispiel auch die Idee zu schauen, wie häufig wird ein wissenschaftlicher Artikel in den journalistischen Medien referenziert oder in Policy Dokumenten usw. Das ist also eine sehr, sehr heterogene, sehr, sehr große, offene Menge. Und das ist so die Grundunterscheidung der beiden Ansätze, die man für diese Wirkungsmetriken hat.

[00:04:28] Doreen Siegfried:
Ja, okay. Was sind denn vielleicht einige Beispiele für solche Indikatoren, Wirkungskennzahlen, die derzeit in der wissenschaftlichen Gemeinschaft auch verwendet werden?

[00:04:39] Steffen Lemke:
Also, was die tatsächlich praktische Verwendung angeht, da dominieren ganz stark diese traditionellen bibliometrischen Metriken. Also die schon erwähnten Beispiele Zitationszahlen, Impact-Faktoren, h-Indizes, die sind alle sehr viel bekannter und verbreiteter als diese altmetrischen Alternativen. Und konkrete Anwendungsfälle, die reichen dann von so alltäglichen Mikroanwendungen, also zum Beispiel, was vielen Forschenden sicherlich bekannt ist, ist, wenn man jetzt Literatur sucht und eine Literatursuchmaschine seiner Wahl nutzt, dass man in den allermeisten Fällen dann auch irgendwie die Zitationszahl mit angezeigt bekommt und die oftmals auch ein ganz wichtiges Filter- oder Sortierkriterium dann darstellen. Das wäre so ein Alltagsanwendungsfall, den wahrscheinlich die meisten Forschenden schon irgendwie kennen. Aber das reicht eben auch bis zu großangelegten Evaluationen zum Beispiel von wissenschaftlichen Institutionen. Also gerade der erwähnte Journal-Impact Factor, der spielt ja in vielen Zusammenhängen eine große wichtige Rolle. Ein Beispiel wäre zum Beispiel die medizinische Forschung in Deutschland. Da haben im Rahmen der leistungsorientierten Mittelvergabe eigentlich alle medizinischen Fakultäten irgendwie verankert in ihren Bewertungsmechanismen, dass auch einfließt, bei der Frage „Wo gehen welche Mittel hin?“, in wie renommierten Journalen haben die Forschenden aus einer bestimmten medizinischen Arbeitsgruppe publiziert in der Vergangenheit. Und das wird dann abgekürzt eben durch diesen Journal Impact Factor in aller Regel erhoben. Also so um die Spannbreite der Anwendungsfälle anzuzeigen.

[00:06:13] Doreen Siegfried:
Okay, das heißt also, es reicht nicht, wenn ein Artikel heruntergeladen wurde, sondern er muss sozusagen auch tatsächlich, man muss sehen können, dass dieser Artikel auch benutzt wurde.

[00:06:24] Steffen Lemke:
Ja, ob man daran sehen, dass der Artikel benutzt wurde, kann man ja so direkt gar nicht. Das ist auch ein völlig berechtigter und häufiger Kritikpunkt an dieser Art der Wissenschaftsbewertung. Also tatsächlich wird eben oft dieser sehr verkürzte Weg gegangen, zu schauen, wie häufig werden im Durchschnitt Artikel aus dem Journal, in dem der Artikel erschienen ist, zitiert. Und eben, dass das über den einzelnen Artikel, über dessen tatsächliche Verwendung oftmals kaum etwas aussagt. Da gibt es eben auch viele, viele Studien zu, die das belegen und die dann diese Kritik an dieser starken Fokussierung auf den Journal Impact Factor dann auch begründen. Und wiederum die tatsächliche Verwendung, das ist eben das, was man sich ja eigentlich wünscht, Indikatoren zu haben, die direkter und klarer genau das zeigen, dass ein Artikel auch wirklich verwendet wurde. Und das ist auch ein bisschen so ein Antrieb hinter dieser Altmetrics-Idee, dass man sagt, komplimentieren wir doch oder ergänzen wir doch diesen Journal Impact Factor-Ansatz durch Metriken, die direkter auf Artikelebene ausdrücken, dass etwas auch wirklich irgendwo verwendet wurde. Die haben natürlich dann eigene Schwächen wiederum oder eigene Probleme, mit denen man sich auseinandersetzen muss. Aber ja, das ist so der Ansporn dahinter.

[00:07:35] Doreen Siegfried:
Das ist die Grundidee. Ja, verstehe. Okay. Was hat dich dazu inspiriert, das Potenzial von Wirkungsindikatoren als Forschungsindikatoren so umfassend zu untersuchen?

[00:07:46] Steffen Lemke:
Ja, ich glaube, da kommen so zwei Interessensgebiete zusammen. Zum einen ist so ein grundsätzliches Interesse aus der Richtung, so Wissenschaftsphilosophie, dass ich es einfach spannend finde, sich zu fragen, was macht Wissenschaft aus, auch über Disziplingrenzen hinweg? Was vereint das irgendwie? Kann man dem irgendwie sinnvollen Wert beimessen? Lässt sich da überhaupt so eine Vermessung vornehmen? Das sind so Fragen, die finde ich grundsätzlich ganz spannend. Und auf der anderen Seite dann so ein wahrscheinlich typisch ingenieurstechnisches, ja so ein ingenieurstechnischer Antrieb, dass man einfach Freude dran hat, eben ja praktikable Lösungen für Realweltprobleme zu finden und Dinge messbar zu machen. Und sich zu überlegen, auch wenn ich was vielleicht gar nicht direkt messen kann. Was ist denn so die bestmögliche, der bestmögliche Workaround oder die bestmögliche Annäherungslösung? Und das, wenn man diese, diese Interessen oder Neigungen vereint, glaube ich dann, dass ist man in diesem Bereich Szientometrie, dann hat man da viele spannende Fragen zu beantworten oder zu bearbeiten.

[00:08:44] Doreen Siegfried:
Ja, okay. Du hast jetzt ja gerade schon diese beiden großen Familien vorgestellt, die bibliometrischen Indikatoren und Altmetrics. Was messen denn die unterschiedlichen Indikatoren und was nicht? Kannst du das vielleicht auch noch mal kurz skizzieren?

[00:08:57] Steffen Lemke:
Ja, das, was jetzt diese Indikatoren wirklich konkret messen, das ist natürlich so eine absolute Kernfrage dieses Forschungsgebiets, die gerade für zitationsbasierte Metriken seit Jahrzehnten diskutiert wird. Und bestimmt auch noch viele, viele Jahrzehnte diskutiert werden wird. Also das ist ganz schwer, da jetzt irgendwie eine ganz konkrete, kurze Antwort darauf zu finden, die wirklich jeder Forschende aus diesem Gebiet unterstützen würde. Aber um sich dem so anzunähern. Also, was glaube ich, erst mal jeder unterschreiben würde oder fast jeder oder jede Forschende aus dem Bereich, ist, dass das erst mal Indikatoren für Aufmerksamkeit sind, die bestimmten Entitäten entgegengebracht wurde. Sei es jetzt Publikationen oder Forschenden oder Instituten. Und allein mit dieser recht bescheidenen Annahme, dass das Indikatoren für Aufmerksamkeit einfach nur sind, da lassen sich dann auch schon interessante Fragen mit beantworten. Aber schon bei diesem Wort Relevanz, was wir ja auch schon ein paar Mal jetzt gehört haben, da wird es schon ein bisschen schwieriger. Also zum einen müsste man natürlich erst mal den Relevanzbegriff irgendwie klar definieren, was wahrscheinlich viele Forschende aus verschiedenen Disziplinen auch unterschiedlich machen würden. Und ob dann wirklich diese Indikatoren oder diese Metriken verlässliche Indikatoren für Relevanz sind, ja da gibt es Für und Wider-Argumente. Ganz schwierig wird es dann bei Begriffen wie Qualität oder so. Was man dann auch öfters hört, dass diese Indikatoren einfach so, ja unbesehen als Qualitätsmaße bezeichnet oder betrachtet werden. Und ich glaube, da würden dann spätestens viele, die sich eben mit diesen Metriken im Forschungsbereich auseinandersetzen, ja kritisch aufhorchen und davor warnen, da vielleicht die, die die Formulierung zu überdenken oder zu ändern. Denn ja, Qualität ist natürlich auch, genau wie Relevanz, zum einen so ein Konzept, was, wo es viele, viele verschiedene Annahmen zu gibt, die sich auch von Forschungsfeld zu Forschungsfeld unterscheiden. Aber selbst wenn man es jetzt mit einem Forschungsfeld zu tun hat, wo man vielleicht relativ klare, konkrete, messbare Qualitätskriterien formulieren kann. Zum Beispiel in der klinischen Forschung, könnte man ja so sagen, dass bei einer klinischen Studie erst mal eine hohe Stichprobenzahl erst mal ein objektives Maß für Qualität irgendwie ist. Oder ein Indikator dafür. Selbst, wenn man solche Qualitätsmaße gut formuliert hat, dann stellen Studien, die da die Korrelation mit solchen Impact-Metriken wie zum Beispiel Zitationszahlen prüfen, in der Regel fest, dass die Korrelation zwischen diesen Qualitätshinweisen und diesen Metriken, die ist da, aber die ist gar nicht so überzeugend stark. Also diese Metriken sind da eben ein sehr grobes Maß, nur ein sehr grober Indikator. Und deswegen davon zu sprechen, dass diese Indikatoren und Metriken Qualität messen würden, da zum Beispiel würde ich sagen, Nein, das tun sie nicht.

[00:11:54] Doreen Siegfried:
Ja, okay. Und bei Relevanz höre ich da auch ein Fragezeichen draus, ob sie wirklich Relevanz messen.

[00:11:58] Steffen Lemke:
Ja.

[00:11:58] Doreen Siegfried:
Und dann ist auch die Frage Relevanz, Relevanz, In welchem Kontext?

[00:12:03] Steffen Lemke:
Genau.

[00:12.03] Doreen Siegfried:
Relevanz für die Fachcommunity, Relevanz für eine Anwendercommunity, Relevanz für andere neben gelagerte Fächer, für die Gesellschaft? Für wen?

[00:12:13] Steffen Lemke:
Genau. Was Relevanz bedeutet, ist ja eben einfach extrem vom Anwendungsfall abhängig. Und natürlich unterscheiden sich auch da die einzelnen Metriken, also wie vielseitig die sind. Da haben wir ja eben schon so ein bisschen drüber gesprochen, gerade im Fall von Altmetrics. Und ob jetzt eine bestimmte Metrik eine bestimmte Relevanz ausdrücken kann, das muss man dann eben von der Zielgruppe und von dem Informationsbedürfnis, was dann die jeweilige Person hat, abhängig beantworten. Und kann man nicht pauschalisieren, denke ich.

[00:12:45] Doreen Siegfried:
Okay, aber wir können festhalten, Aufmerksamkeit wird auf jeden Fall gemessen. Und dann ist noch die Frage: Aufmerksamkeit warum? Weil es spektakulär ist. Weil es besonders gut ist. Weil es vielleicht auch besonders schlecht ist. Könnte ja auch sein. Verstehe, okay. Welche Indikatoren sind die prominentesten in deinen Augen und welche werden im wissenschaftlichen Alltag wirklich nur sehr wenig wahrgenommen und eingesetzt?

[00:13:12] Steffen Lemke:
Ja, so ein bisschen hatte ich das ja eben schon angerissen, dass eben diese bibliometrischen Kennzahlen ganz klar die präsentesten sind. Und auch im Rahmen dieser Dissertation, da wurden auch Nutzerstudien mit Forschenden durchgeführt, wo wir viele Forschende aus verschiedenen Disziplinen auch befragt haben, welche Impact-Indikatoren sie grundsätzlich kennen, wie sie die beschreiben, wofür sie die benutzen usw. Und da kam bei uns eben auch wiederholt immer wieder heraus, dass solche zitationsbasierten Indikatoren, und ganz besonders Journal Impact Faktoren, für die Mehrzahl der Forschenden eine wichtige Rolle spielen. Auch schon von sehr, sehr jungen Karrierestufen an, haben wir doch oft diesen Fall gehabt in Interviews zum Beispiel, dass uns dann Forschende berichtet haben, dass sie in verschiedensten Kontexten ihre Entscheidung von diesen Journal Impact Faktoren abhängig machen. Zum Beispiel, wenn es darum geht, wo veröffentlichen sie ihre ersten eigenen Papers oder was zitieren sie selbst? Und dass sie auch zum Beispiel geäußert haben, dass sie dann oftmals von ihren älteren Kollegen und Kolleginnen oder ihren Chefs darauf hingewiesen werden, dass man das ruhig so macht. Während gleichzeitig diese jungen Forschern oftmals nicht wirklich erklären konnten, was denn zum Beispiel Journal Impact Factor ist oder wie der sich berechnet oder was der eigentlich wirklich ausdrückt. Und ja, was dagegen die Nutzung von Altmetrics angeht, haben wir eben festgestellt, das ist doch ein Konzept, dass es den allermeisten, die sich jetzt nicht so wie ich zum Beispiel damit quasi beruflich beschäftigen, ist das ein fremdes Konzept und hat noch in der Praxis vergleichsweise wenig Bedeutung. Ich würde aber vermuten oder behaupten, dass es da Anzeichen gibt, dass das zunimmt und dass ja, dass die Bekanntheit und die Präsenz dieser verschiedenen Arten von Metriken im Alltag vieler Forschender eben ja steigt.

[00:15:08] Doreen Siegfried:
Ja, okay. Ich kenne das aus Gesprächen mit Forschenden, dass beispielsweise Twitter ja auch als so eine Art ich nenne es mal Marketingkanal für eigene Publikationen genutzt wird, um darauf aufmerksam zu machen. Da sind wir wieder bei der Aufmerksamkeit. Gar nicht so sehr, um am Ende dann noch mehr Zitationen zu haben, sondern vielleicht auch, um gesehen zu werden als potenzieller Kooperationspartner oder als potenzieller Co-Autor oder Co-Autorin oder ähnliches. Also das gibt halt andere Anreize, so was tatsächlich zu nutzen. Hast du so was auch beobachtet, dass die Sachen parallel laufen, dass es so eine Art Aufmerksamkeit gibt, Aufmerksamkeitssuche, weil es für die Karriere wichtig ist? Also dieses Publizieren in diesen Top Journals und parallel so dieses sich vernetzen in der Community sichtbar sein auch als Person?

[00:16:07] Steffen Lemke:
Ja klar. Also interessanterweise, was jetzt so dieses Beispiel anging mit Social Media-Nutzung zur Vernetzung. Auf der einen Seite würde ich sagen, ganz klar würden die allermeisten das auch bestätigen aus den eigenen Erfahrungen, dass das zunimmt. Und dass heutzutage einfach viele Forschende irgendwie einen Twitter Account haben, weil es einfach eine richtig praktische Methode ist, sich zu vernetzen. Und zum Beispiel auch wenn man neue Kolleginnen und Kollegen auf einer Konferenz kennengelernt hat, da irgendwie ganz unkompliziert den Kontakt aufrecht zu erhalten. Auf der anderen Seite, was ich in unseren Nutzerstudien interessant fand und überraschend fand, ist, dass es doch auch bei jungen Wissenschaftlern häufig so eine erstaunlich, ja ich würde sagen, konservative Haltung zu geben scheint…

[00:16:49] Doreen Siegfried:
Aha, okay.

[00:16:50] Steffen Lemke:
dass erstmal so soziale Medien mit einer gewissen Skepsis beäugt werden. Und wir hatten dann auch so Aussagen, dass sobald man irgendwie im Büro ist und Social Media nutzt, dann fühlt man sich so, als würde man sich vor der Arbeit drücken oder als würde man gar keine Arbeit machen. Auch wenn es um ganz eindeutig professionelle Kontexte geht, weil es Kontaktpflege mit Kollegen oder so ist. Also ja, da bin ich überrascht, dass da doch durchaus Hemmungen zu bestehen scheinen. Auch bei vielen jungen Wissenschaftlern auch.

[00:17:21] Doreen Siegfried:
Ja, okay. Wir haben ja schon ein bisschen über das Thema Relevanz gesprochen, wo siehst du denn noch weitere Probleme beim Einsatz mit Relevanzmetriken?

[00:17:29] Steffen Lemke:
Ja, also ein Teil der der Dissertation, die ich jetzt geschrieben habe, da ging es eben darum, solche Probleme im Einsatz von solchen Metriken zu katalogisieren. Und das deutet ja schon an, dass es da viele gibt. Dass man da, also, dass das ein Thema ist. Da wird auch viel zu geforscht. Um vielleicht ein Beispiel rauszunehmen, worauf sich relativ viele Probleme, die auch in den Nutzerstudien immer wieder geäußert wurden, bei uns herunterbrechen lassen. Das ist erst mal mangelnde Transparenz. Also was ein Problem ist, ist das häufig eben… Es beginnt häufig, oft schon auf einer technischen Ebene, dass Datenquellen nicht klar sind, dass nicht klar ist, auf welcher Berechnungsgrundlage entsteht denn jetzt irgend so eine Metrik, die am Ende vielleicht benutzt wird, um eben Forschende zu bewerten in wichtigen Kontexten. Geht aber auch hin von diesen eher technischen Aspekten bis hin zu einer Transparenz, die oder einer mangelnden Transparenz, die die nutzenden Forschenden so wahrnehmen, weil die eben in aller Regel ja zu keinem Zeitpunkt ihrer Karriere irgendwie mal geschult werden. Oder unterrichtet darüber werden, welche Metriken werden denn so in der Wissenschaftsevaluation benutzt und was sind deren Berechnungsgrundlagen und was sind deren Stärken und Schwächen und Limitationen. Auf der anderen Seite eben, wie schon erwähnt, kommen diese Forschenden auch schon in sehr jungen Karrierejahren in der Regel mit diesen Metriken in Kontakt und in diese Situation, dass die sicherlich einfließen in deren Entscheidung. Und also, das so zu diesem abstrakt als Intransparenz beschriebenen Problem. Und das denke ich, ist ebenso eins der größten. Und vielleicht noch so um ein weiteres allgemeines Problem mit der Verwendung von Metriken zu nennen: ich glaube, was man so als Faustregel sagen kann, ist, je kleiner die beurteilten Entitäten werden, je kleiner die Einheit, die ich da jetzt irgendwie bewerten möchte, desto fragwürdiger wird der Rückgriff auf solche Metriken.

Also wenn ich jetzt mir im Rahmen von so einer Forschungsevaluation bei zwei ähnlich gearteten Instituten, die im quasi gleichen Forschungsfeld arbeiten und ähnlich lange bestehen, ähnlich groß personell aufgestellt sind, wenn ich mir da über Jahre hinweg anschaue: Wie entwickeln sich die Zitationsraten der Publikationen dieser Institute, um irgendwie so einen Aufschluss darüber zu kriegen: Ja, wie stark werden die konsumiert? Dann mag das oft informative Ergebnisse liefern und auch robuste Ergebnisse liefern. Aber wenn ich jetzt zum Beispiel mir von einer Forscherin zwei Artikel angucke und ich sehe, der eine Artikel hat 50, der andere nur 30 Zitationen, dann basierend auf diesen zwei Einzelbeobachtungen zu schließen, dass der eine Artikel besser sein muss oder interessanter oder relevanter oder was auch immer. Das ist natürlich höchst fragwürdig.

[00:20:23] Doreen Siegfried:
Ja, das ist zu kurz gesprungen. Ja, vielleicht noch mal ganz kurz, weil du sagtest, junge Wissenschaftler:innen orientieren sich schon sehr früh an diesen Indikatoren, wissen aber eigentlich gar nicht so richtig, wie die berechnet werden, was dahinter steckt usw. Würdest du sagen, gäbe es, mal angenommen, eine Schulung, die verpflichtend oder fakultativ sein würde, für Predocs nenne ich es mal, würden da Leute hingehen? Meinst du, da wäre ein Interesse?

[00:20:54] Steffen Lemke:
Ich glaube, in der Karrierestufe, da sind die in den allermeisten Fällen ja die Forschenden immer irgendwie selbst verantwortlich für das, was sie dann so an Fortbildung konsumieren und so. Ich glaube aber, dass das offensichtlich erstmal ein guter Ansatz wäre oder ein Ansatz, der mit ziemlich geringen Kosten verbunden wäre. Dass man dieses Thema Wissenschaftsevaluation und Metriken, die dafür genutzt werden, und was dann in der Praxis eine Rolle spielt an Metriken, das aufzunehmen, zum Beispiel in solchen Kursangeboten rund ums Thema wissenschaftliches Arbeiten, was sich dann vielleicht an Doktoranden und Doktorandinnen richtet. In solchen Kontexten, denke ich, müsste man ja auch gar nicht viel Zeit aufwenden. Also wenn man dann einfach sagt, man baut es als Einheit ein und einen Nachmittag erklärt man irgendwie in zwei bis vier Stunden. Wenn wir jetzt von unserem Präsenzunterrichtsszenario mal, wenn wir uns das vorstellen, erklärt man so im Laufe eines Nachmittags die wichtigsten Metriken, die unterwegs sind und vor allen Dingen, was eben deren Limitationen sind, wofür man sie nicht benutzen sollte und wo dann eben deren Aussagekraft doch stark begrenzt ist. Dann wäre ja schon sehr, sehr viel erreicht. Und das ist ja keine Raketenwissenschaft.

[00:22:03] Doreen Siegfried:
Nein, nein.

[00:22:03] Steffen Lemke:
Das lässt sich relativ schnell eben auch auf wichtige Lektionen herunterbrechen.

[00:20:53] Doreen Siegfried:
Ist einfach wie Mathematik eigentlich. Ja.

[00:20:55] Steffen Lemke:
Und meiner Erfahrung nach passiert das eben kaum bis gar nicht in solchen Kontexten. Also mir ist das nicht begegnet zumindest. Und ich denke eben einfach, da dann eine Sensibilität zu schaffen, in solchen Veranstaltungen, würde thematisch passen und wäre nicht allzu aufwendig.

[00:22:31] Doreen Siegfried:
Ja, okay. Würde auf jeden Fall so ein bisschen sensibilisieren auch für die Schwächen dieses ganzen Ansatzes.

[00:22:36] Steffen Lemke:
Ja.

[00:22:37] Doreen Siegfried:
Okay. Nochmal zum Thema Relevanz jetzt mal eine ganz große Frage: Ist Relevanz quantitativ messbar?

[00:22:43] Steffen Lemke:
Ja, also ich glaube, meine Antwort ist da jetzt wahrscheinlich schon zu erwarten.

[00:22:46]
[beide lachen]

[00:22:46] Steffen Lemke:
Weil wir haben ja schon so ein bisschen über Relevanz gesprochen. Und auf der einen Seite ist da natürlich dieses Problem, dass man ganz präzise definieren müsste: Was meint man jetzt? Aber grundsätzlich würde ich so eine Aussage, wäre ich immer erstmal skeptisch und würde sagen, nee, man sollte sich von der Idee, die jetzt, das Konzept, Relevanz direkt zu messen, verabschieden. Aber deswegen sprechen wir ja auch so oft von Indikatoren. Weil, was man ja beabsichtigt oder was der Gedanke ist, ist, dass man vielleicht das wahre Konstrukt, was einen interessiert, was dann oft zum Beispiel Relevanz ist oder manchmal vielleicht auch Qualität oder noch irgendwas Anderes, dass man das selbst nicht messen kann, aber man versucht irgendwas Anderes zu finden, was ein Indikator dafür ist, was darauf hindeutet, dass etwas vermutlich mit einer akzeptabel großen Wahrscheinlichkeit relevant sein könnte. Und also ich glaube, mit so einem Mindset, um diesen Begriff zu benutzen, dazu sollte man rangehen an solche Metriken und die verstehen, dass das eben der Versuch ist, etwas zu finden, was annäherungsweise einem Aufschluss darüber gibt, was relevant ist.

[00:23:54] Doreen Siegfried:
Die Frage, die sich mir stellt: Es gibt sicherlich keine Forschungseinrichtung, keinen Wissenschaftler oder keine Wissenschaftlerin, die nicht von sich sagen würde, ich trete an, relevante Wissenschaft zu machen. Auch ganz viele Wissenschaftsförderer, Forschungsförderer sagen, okay, wir wollen, dass die Forschung relevant ist. Wenn sich jetzt aber noch, also ich meine, dieses ganze Thema Altmetrics gibt es ja auch jetzt nicht erst seit einer Woche. Gibt es denn da Ansätze, erste Ideen, um zu sagen, okay, alle wollen relevante Wissenschaft machen? Jetzt haben wir zumindest schon mal so vielleicht so eine erste Idee, wie man das operationalisieren kann. Also gibt es da tatsächlich schon Entwicklungen, das tatsächlich auch richtig zu messen?

[00:24:41] Steffen Lemke:
Also worüber man sich da in dem Kontext Gedanken macht, ist oder was so der grundsätzliche Ansatz ist, ist, dass man versucht, das Portfolio der Metriken zu verbreitern, um eben vielfältigere Formen der Relevanz irgendwie abbilden zu können. Also, dass eben Zitationen als dieses althergebrachte Maß dafür, was ist relevant, was ist nicht relevant, dass das nicht universell funktioniert, das ist lange bekannt. Also gerade zum Beispiel von den Geistes- und Sozialwissenschaften, da gibt es seit langer Zeit eben diese Kritik, dass es nun mal so ist, dass biomedizinische Artikel, zum Beispiel, die werden mehr zitiert als die meisten geisteswissenschaftlichen Artikel. Was eben auch zum Beispiel an der Publikationskultur liegt, dass man in biomedizinischen Forschungsfeldern eher in Journalen publiziert. Und in Geisteswissenschaften häufig eher in Monographien. Und also diese Kritik, die ist bekannt und man versucht das eben abzumildern oder abzufedern, indem man eben im Zuge dieser Altmetrics sich überlegt, welche Indikatoren könnten denn Relevanz in anderen Sphären irgendwie abbilden. Ein altmetrischer Indikator, der da gerade viel Aufmerksamkeit in der Forschung erfährt und vielversprechend scheint, sind zum Beispiel Zitationen in solchen Policy Dokumenten.

[00:25:59] Doreen Siegfried:
Ah, ja.

[00:26:00] Steffen Lemke:
Im Kontext der Medizin wird das gerade viel untersucht. Da hat man zum Beispiel innerhalb der Medizin dieses Problem, dass klinische Studien im Vergleich zu Grundlagenforschung viel weniger zitiert werden. Und damit Institute, die klinische Forschung viel machen, die werden in einer Evaluation, die auf Zitationen guckt, Nachteile haben gegenüber Instituten, die Grundlagenforschung machen. Und Policy Dokumente wiederum, also zum Beispiel solche medizinischen Leitlinien, die dann Berufsverbände von Medizinern verabschieden, die wiederum die machen starke Nutzung von klinischer Forschung und könnten deswegen besser geeignet sein, um irgendwie abzubilden, was war denn eigentlich besonders relevante, weil irgendwie viel benutzte, klinische Forschung. Und das ist so der Weg, um eben diese verschiedenen voneinander abweichenden Vorstellungen von Relevanz irgendwie besser abbilden zu können, indem man die Metriken in der Breite quasi ausbaut und das Portfolio verbreitert.

[00:26:57] Doreen Siegfried:
Ja, okay. Wo wir gerade in der Breite sind. Also gibt es dann sozusagen also zielgruppenspezifische Relevanzindikatoren? Dass man sagt, okay, wenn ich jetzt wissen will, wie wichtig ist meine wissenschaftliche Erkenntnis innerhalb meiner Peer Group nehme ich den Indikator. Wenn ich wissen will, wie wichtig ist das jetzt beispielsweise für die Praxis, nehmen wir dieses Beispiel mit den Policy Papers in der Medizin, dann nehme ich noch einen anderen Indikator. Also gibt es da sozusagen zielgruppenspezifische Diversität?

[00:27:31] Steffen Lemke:
Ja, also verschiedenen Zielgruppen und vor allen Dingen auch in Abhängigkeit von dem Informationsinteresse, was dann die jeweilige Person hat. Würde man verschiedene Metriken zur Beantwortung ihrer jeweiligen Fragestellung empfehlen. Also wenn ich jetzt eine junge Wissenschaftlerin oder junger Wissenschaftler bin und wissen möchte, ich bin vielleicht neu in meinem Forschungsfeld, ich kenn mich noch nicht so aus und ich möchte wissen, was sind denn eigentlich so die Journale, auf die jeder guckt. Dann ist wahrscheinlich schon eine vernünftige Herangehensweise, auf diesen zuvor schon ausgiebig kritisierten Journal Impact Factor zu gucken. Das wird dann schon eine große Überschneidung haben. Wenn ich angucke in meinem Forschungsfeld, was sind die Journale, die den größten Journal Impact Factor haben, dann hat das wahrscheinlich eine große Überschneidung mit dem, was mir wahrscheinlich auch irgendwie eine rangältere Kollegin oder ein Kollege erzählen würde, was die Journale sind, die, worauf man sich so in dem jeweiligen Gebiet geeinigt hat, dass da alle drauf gucken.

[00:28:27] Doreen Siegfried:
Dass das die wichtigen sind.

[00:28:28] Steffen Lemke:
Andersherum, wenn ich jetzt aber zum Beispiel ein Journalist bin und mich interessiert, welche Forschungsthemen aus einem bestimmten Feld wurden denn jetzt im vergangenen Jahr so im öffentlichen Diskurs besonders viel behandelt und welche waren da sehr präsent, dann liefert mir wahrscheinlich ein altmetrischer Indikator, wie die Nennung in journalistischen Medien in dem Zeitraum oder auch die Nennung in sozialen Medien ein viel interessanteres Bild. Also eins, was wahrscheinlich viel näher dran ist an dem, was ich wissen möchte, als wenn ich jetzt auf die althergebrachten Zitationen schauen würde.

[00:28:58] Doreen Siegfried:
Ja, okay. Ja, okay. Was ist deiner Meinung nach der wichtigste Aspekt von Wirkungsmetriken für die wissenschaftliche Forschung?

[00:29:07] Steffen Lemke:
Also, wenn es so einen Aspekt geben muss, den ich so rauspicken soll.

[00:29:14] Doreen Siegfried:
Du kannst auch zwei sagen. [lacht]

[00:29:16] Steffen Lemke:
Na also, es gibt ein Dokument erst mal, um das kurz zu erklären. Das Leidener Manifest, das wurde vor sieben oder acht Jahren veröffentlicht, von führenden Forscherinnen und Forschern aus dem Bereich der Szientometrie, der sich eben mit diesen Metriken auseinandersetzt. Da haben die mal zehn Prinzipien formuliert, …

[00:29:34] Doreen Siegfried:
Okay. Ja.

[00:29:34] Steffen Lemke:
…wovon die meinen, das muss man wissen, wenn man solche Metriken in irgendwelchen evaluativen Kontexten einsetzen möchte, dass so als kleiner Verweis, falls man die ganz lange ausführliche Antwort hören will, aber…

[00:29:44] Doreen Siegfried:
Also Leidener Manifest, wir packen das mal in die Shownotes.

[00:29:45]
[beide lachen]

[00:29:49] Steffen Lemke:
Sehr gut. Aber was die als allererstes Prinzip nennen, da würde ich mich dann auch auf jeden Fall dahinter stellen, ist erstmal grundsätzlich heranzutreten an diese Metriken mit der Erwartung, dass die eine qualitative Auseinandersetzung mit dem, was ich da jetzt bewerten möchte, zum Beispiel eine Publikation, niemals ersetzen sollten bei einer wichtigen Entscheidungsfindung. Sondern immer das Ganze nur ergänzen sollten oder unterstützen sollten oder anreichern sollten. Ein qualitatives Urteil aber, dass man eben grundsätzlich bei diesen Metriken eben nicht mit der Auffassung an die Verwendung gehen sollte, die sind jetzt ein adäquater Ersatz dafür, dass ich schaue, was steht drin.

[00:30:28] Doreen Siegfried:
Ja. Lesen muss man es noch. Okay.

[00:30:31] Steffen Lemke:
Genau. Und das erstmal so als wichtigstes Grundprinzip, was ja auch wahrscheinlich naheliegend ist, aber trotzdem denke ich, dass zum Beispiel, wenn man jetzt in so einem wissenschaftliches Arbeiten-Kurs eine Lehreinheit über diese Metriken hätte, dann sollte das definitiv, denke ich, gesagt werden und vorkommen.

[00:30:47] Doreen Siegfried:
Okay. Vielleicht mal so zum Verhältnis zwischen diesen ganzen Forschungsmetriken und externer Wissenschaftskommunikation, was wir auch schon angesprochen haben. Wie wirken sich denn externe Faktoren wie zum Beispiel diese nachgelagerte Wissenschaftskommunikation auf Wirkungsindikatoren aus?

[00:31:04] Steffen Lemke:
Ja, also diese Frage, wie jetzt zum Beispiel Pressemitteilungen über Forschung oder die journalistische Aufbereitung von Forschungsergebnissen, wie das diese Metriken betrifft, das ist auch eine Fragestellung, mit der ich mich im Rahmen meiner Dissertation auseinandergesetzt habe. Und was sich da erst mal vereinfacht sagen lässt oder heruntergebrochen sagen lässt, ist, dass es einen ganz erheblichen Zusammenhang gibt dazwischen, welche wissenschaftlichen Artikel in solchen außerakademischen Kommunikationsformaten auftauchen und deren späteren Metriken. Also, was wir da konkret gemacht haben ist, wir haben große Gruppen von Artikeln genommen, von denen wir zum Beispiel wussten, die haben im Jahr 2016 eine Pressemitteilung erhalten. Dann haben wir eine Kontrollgruppe konstruiert aus Artikeln, die in den gleichen Monaten in den gleichen Journalen zu gleichen Themen erschienen waren, aber eben keine Pressemitteilung erhalten haben. Und wenn man dann guckt, so vier, fünf Jahre später, wie haben sich die verschiedenen Metriken entwickelt, die verschiedenen bibliometrischen aber auch altmetrischen Kennzahlen. Dann über alle gemessenen Kennzahlen hinweg, haben die mit Pressemitteilung beworbenen Artikel extreme Vorteile, also teilweise extreme Vorteile. Auf jeden Fall Vorteile. Zum Beispiel, wenn man jetzt auf den altmetrischen Indikator guckt, wie häufig diese Artikel dann später in journalistischen Medien auftauchen, dann sind die, die eine Pressemitteilung erhalten haben, wahrscheinlich auch wenig verwunderlich, aber viel, viel präsenter. Und zwar ungefähr zehn Mal so häufig werden die im Schnitt dann in diesen journalistischen Medien genannt. Aber auch wenn man zum Beispiel auf Indikatoren schaut, die dann auf sozialen Medien basieren, wie Nennung in Twitter, dann sind es immer noch so fünf bis sechsmal so viele Nennungen für die Artikel, die eine Pressemitteilung erhalten haben. Und selbst bei Zitationen, wo man vielleicht denken würde, dass es wiederum, also akademische Zitationen, die finden in einem Kosmos statt, der ist irgendwie losgelöst von diesem journalistischen Kosmos. Selbst da haben dann die Artikel mit Pressemitteilungen nur etwa doppelt so viele Zitationen im Schnitt aufgewiesen. Und ja, solche Zusammenhänge haben wir da wiederholt gesehen. Was man aber, denke ich, immer noch wichtiger Weise da anmerken muss, ist, dass wir da jetzt nicht von einer direkten Kausalität ausgehen können. Also auch wenn dieser Zusammenhang erst mal extrem scheint, können wir natürlich jetzt nicht sicher sagen, wegen der Pressemitteilungen ist das so. Diese Kausalität die steht nicht fest. Also man kann im Grunde so zwei Erklärungsansätze da unterscheiden. Also es gibt diese als Publicity-Hypothese bezeichnete Erklärung. Das wäre eben zu sagen, weil ein Artikel in der Pressemitteilung stand, deswegen hat er mehr Sichtbarkeit bekommen. Deswegen ist es auch kausal wahrscheinlicher, dass andere Wissenschaftlerinnen und Wissenschaftler den wahrnehmen und deswegen auch wahrscheinlicher, dass sie ihn zitieren werden. Man kann aber auch als zweite große Hypothese, das ist dann die sogenannte Earmark-Hypothese, davon ausgehen, dass es eben einfach bestimmte Artikel gibt  – und das ist, denke ich, auch einleuchtend – die haben bestimmte Qualitäten, die sind einfach vielleicht ganz besonders, ja besonders gut oder ganz besonders überraschend oder tatsächlich besonders innovativ. Und deswegen sind sie auf der einen Seite für Mitarbeitende in Press Offices oder auch für Journalist:innen besonders attraktiv, in deren Arbeit aufgenommen zu werden. Und unabhängig von dieser journalistischen Aufbereitung auch attraktiv für andere Wissenschaftlerinnen und Wissenschaftler, zitiert zu werden.

[00:34:32] Doreen Siegfried:
Also. Ja, also da ich ja aus der Kommunikation komme, würde ich mal sagen, die zweite These ist wahrscheinlich – also aus meiner Sicht, ich bin jetzt keine Forscherin – am wahrscheinlichsten, weil natürlich in den Pressestellen auch eine Selektion stattfindet.

[00:34:47] Steffen Lemke:
Klar.

[00:34:47] Doreen Siegfried:
Also man guckt sich an, welche Forschungsergebnisse sind dann tatsächlich für potenzielle Leser:innen von Tagespresse, von Tagesmedien interessant. Also was kann ich Journalist:innen anbieten, was ist auch irgendwie verständlich oder hat irgendwie so ein Wow-Effekt oder was auch immer. Was, wo fragt sich niemand was das soll, sondern wo ist es irgendwie leicht verkäuflich sozusagen. Und Wissenschaftler:innen anderer Fächer denken ja ähnlich.

[00:35:25] Steffen Lemke:
Klar.

[00:35:25] Doreen Siegfried:
Und gucken auch so, okay, das überrascht mich jetzt aber oder damit habe ich nicht gerechnet oder das ist ja jetzt mal ein richtig interessanter Wurf. Das es sozusagen eine Art von Vorselektion ist, die dann ihren Weg einfach nimmt, durch diese ganzen Pressemitteilungen, dann ist es vorselektiert. Die Journalist:innen finden es auch interessant, nehmen das auf, machen einen Bericht darüber. Dann lesen andere Wissenschaftler aus anderen Disziplinen das. Denken, wow, das ist aber wirklich interessant. Dann wird es zitiert usw. Es erscheint mir als ein logischer Weg.

[00:35:57] Steffen Lemke:
Ja, da stimme ich absolut zu. Trotzdem zum einen, auch wenn sich diese Kriterien, die dann vielleicht eher Journalist:innen oder Pressesprecherinnen und -sprecher wählen, auch wenn die sich überschneiden mit denen von Forschenden müssen die ja nicht immer gleich sein. Es gibt sicherlich auch Beispiele für Paper, wo man sagen kann, da hätten Wissenschaftler ganz starke Argumente dafür, warum das zitiert werden sollte. Und medial aufzubereiten ist es trotzdem ganz schwierig oder auch nicht besonders interessant für die meisten Konsumenten. Aber ja, diese Frage, welcher dieser Effekte denn jetzt existiert und ob diese Effekte existieren, also da eine verkürzte Antwort auch aus der Dissertation ist, es gibt ganz starke Hinweise und handfeste Argumente dafür, dass beide Effekte substanzielle Rollen spielen.

[00:36:48] Doreen Siegfried:
Habt ihr denn auch, das würde mich mal methodisch interessieren, habt ihr dann sozusagen auch Pressemitteilungen sozusagen generieren lassen von… Also habt ihr einfach nur Pressemitteilungen untersucht, die sowieso entstanden sind? Oder wurden Pressestellen auch beauftragt, einfach zu jetzt den nächsten Meldungen, sagen wir mal über ein halbes Jahr, jedes Forschungsergebnis, was reinkommt, wird einmal nicht gefiltert, sondern ich mache zu jedem, zu jedem Artikel eine Pressemitteilung. Das würde mich mal interessieren, ob… Das würde nämlich gegen diesen Filtereffekt sprechen. Dass man sagt, okay, jedes noch so kleinteilige Forschungsergebnis kriegt jetzt einfach eine Pressemitteilung und dann guckt man mal, was dann passiert.

[00:37:29] Steffen Lemke:
Ja, das ist auf jeden Fall eine spannende Idee für eine Fortsetzungsstudie.

[00:37:32] Doreen Siegfried:
Ja, guck. [lacht]

[00:37:33] Steffen Lemke:
Das wäre toll, wenn man da kooperierende Pressestellen irgendwie ins Boot holen könnte, weil das wäre auf jeden Fall spannend, das anzuschauen. Wir haben jetzt hier, gerade weil wir ja auch einen zeitlichen Versatz brauchten, um irgendwie Metriken messen zu können, haben wir auf vergangene Pressemitteilungen geguckt.

[00:37:45] Doreen Siegfried:
Ja klar.

[00:37:46] Steffen Lemke:
Also dieses Jahr 2016. Das ist schon das Jahr, was wir da als Grenze hatten. Weil ja bei bestimmten Metriken, ganz besonders bei Zitationen, auf die wir ja auch geguckt haben, da sagt man eben, es braucht so ein paar Jahre, bis sich da überhaupt was stabilisiert. Nach so drei, vier Jahren, da ist dann schon ein Großteil der Zitationen – oder eher 4 bis 5 Jahren – da ist bei den meisten Publikationen, die zitiert werden, ein Großteil der Zitationen schon passiert. Da kann man dann was messen. Das ist einigermaßen stabil. Aber direkt zum Beispiel jetzt, wenn wir jetzt Pressemitteilungen generieren würden und dann irgendwie messen wollen würden, wie wirkt sich das aus auf die Aufmerksamkeit, die dann die jeweiligen Publikationen später erhalten, dann müssten wir natürlich erst mal jahrelang warten…

[00:38:28] Doreen Siegfried:
Ja, klar.

[00:38:29] Steffen Lemke:
…bis dann Zitationen sich ansammeln könnten.

[00:38:30] Doreen Siegfried:
Okay. Aber das wäre ja sozusagen ein Appell an alle Wissenschaftlerinnen und Wissenschaftler: Arbeitet gut mit eurer Pressestelle zusammen. Gebt euch Mühe. Wenn daraus eine Pressemitteilung wird, dann hat das unmittelbare Effekte auch für die eigene, ja für die eigene Wahrnehmung in der Fachcommunity. So habe ich dich richtig verstanden?

[00:38:48] Steffen Lemke:
Ja, also auch da gilt natürlich so dieser Grundsatz, dass wenn man so ganz klein auf Artikelebene unterwegs ist, es dann nicht ganz so belastbar ist, diese Aussage. Also wir können jetzt nicht sagen, immer wenn ein Artikel eine Pressemitteilung kriegt, dann kriegt er auch immer garantiert später ganz viele Zitationen und ganz viel Aufmerksamkeit. Auch da gibt es natürlich Ausreißer nach oben, die das Gesamtbild prägen. Und deswegen, ja also auch wenn es diese Gesamttendenz gibt, kann man natürlich jetzt keinen Forschenden …

[00:39:15] Doreen Siegfried:
Man kann nichts versprechen. Nein. Aber man kann natürlich Wissenschaftler:innen einladen, doch mehr nach außen zu gehen.

[00:39:21] Steffen Lemke:
Das bestimmt, ja.

[00:39:23] Doreen Siegfried:
Okay. Welche Rolle spielt denn die aktive Bewerbung auch durch Verlage? Also, es sind ja zum einen die Pressestellen, das hast du gerade schon geschildert. Es gibt ja aber auch die Möglichkeit, dass Verlage einzelne Artikel sozusagen hervorheben oder auch die Wissenschaftler:innen selbst. Wir hatten es vorhin schon per Twitter oder wie auch immer, gibt es ja noch andere Möglichkeiten. Welche Rolle spielt das dann für diese Wirkungsmetriken am Ende wieder?

[00:39:53] Steffen Lemke:
Ja, also Verlage sind da auf jeden Fall auch ein ganz, ganz aktiver Player quasi. Also gerade was jetzt Pressemitteilungen auf großen Portalen angeht, da gibt es zum Beispiel EurekAlert! als das wahrscheinlich international bekannteste Portal für wissenschaftsbezogene Pressemitteilungen. Und wir haben uns auch angeguckt anhand von repräsentativen Stichproben, wer ist denn eigentlich verantwortlich für das, was da passiert. Und neben Pressemitteilungen, die jetzt von Instituten direkt kommen, spielen eben auch wissenschaftliche Verlage da eine große Rolle und veröffentlichen da viel. Also die Journale, in denen dann die Artikel erscheinen. Und dazu gibt es noch so ein weiteres Format von externer Kommunikation wissenschaftlicher Ergebnisse, die wir uns im Detail angeguckt haben, die sonst relativ wenig Aufmerksamkeit bis jetzt in der Forschung erhalten hat. Und zwar sogenannte Embargo-E-Mails. Denn was Verlage häufig machen, ist, dass sie Vorabversionen von bald erscheinenden wissenschaftlichen Artikeln bei ihnen registrierten Journalist:innen und Journalisten vorab zukommen lassen, eben unter Embargo. Und sagen: „Okay, Ihr dürft jetzt schon eure News Storys darauf aufbauen und eure Verarbeitung quasi dieser Artikel vorbereiten, dürft aber erst ab einem bestimmten Embargo-Datum“ – was dann oftmals das Erscheinungsdatum jeweils des Artikels ist – „das Ganze veröffentlichen.“ Und das zum Beispiel ist ja so eine Art von externer Bewerbung von Wissenschaft, die ist erst mal viel weniger nachvollziehbar und viel weniger öffentlich und sichtbar als jetzt Pressemitteilungen es in der Regel sind. Und auch da aber zum Beispiel sehen wir, dass das ebenfalls da ganz starke Zusammenhänge gibt mit den späteren Metriken der beworbenen Artikel. Also auch auf diesem Weg nehmen die Verlage, ist anzunehmen, ganz erheblich Einfluss darauf, welche Forschung später irgendwie Wahrnehmung erfährt und Aufmerksamkeit erfährt und damit auch, was diese Metriken später sagen werden, welche Forschung ja in großen Anführungszeichen relevant ist.

[00:41:58] Doreen Siegfried:
Liegt das denn letztlich an den Verlagen? Weil auch Pressestellen arbeiten ja mit Sperrfrist, dass man sagt, „Okay, hier ist der Artikel, hier haben wir schon mal ein paar Grafiken usw. Ihr dürft gerne schon mal den Artikel vorbereiten, vielleicht auch schon mal ein Hintergrundgespräch führen mit dem Wissenschaftler oder der Wissenschaftlerin. Aber bitte nicht vor Dienstag 12:00 Uhr veröffentlichen.“ Das ist also übliche Praxis auch in Pressestellen. Also liegt es daran, dass das Verlage machen, weil sie ein besonderes Renommee haben? Oder ist das tatsächlich diese, diese Sperrfrist, dieses Embargo, was da so noch mal dem Ganzen so eine besondere Aufmerksamkeit gibt?

[00:42:38] Steffen Lemke:
Also vermutlich letzteres. Also das ist nicht auf Verlage beschränkt, ist schon richtig. Grundsätzlich gilt natürlich unabhängig davon, welche Stelle jetzt diese Art von Kontakt zu Journalisten hat und die diese Mechanismen nutzt, dass wenn man jetzt auf diese Metriken wieder schaut, dass das für die Validität dieser Metriken als Indikatoren dafür eben, was relevant ist oder eben auch in anderen Fällen, was jetzt eben besondere Aufmerksamkeit verdient, dass das dafür Implikationen hat. Also, dass das ein Effekt ist, den muss mindestens die szientometrische Community, aber wahrscheinlich die Wissenschaftscommunity als Ganze, kennen und das wissen, dass in diesen Metriken eben diese Art von Einflussnahme, jetzt ein bisschen überspitzt gesagt, dass die da drinsteckt. Und dass das etwas ist, was man kritisch bedenken muss, wenn man eben diese Metriken nutzt.

[00:43:35] Doreen Siegfried:
Was mir natürlich da noch durch den Kopf geht: In welchen Konstellationen werden dann tatsächlich solche Embargo-Pressemitteilungen verschickt? Also sind das, ist das auch wieder mit Selektion verbunden? Also werden solche Embargo-Pressemitteilungen verschickt für ganz besonders wichtige spektakuläre Forschung? Also ist das sozusagen wirklich nochmal so ein Qualitätsindikator, nach dem Motto, okay wir haben wirklich spektakuläre Forschung und wir geben sie schon mal so ein bisschen vorab als Preview raus. Und weil es so wichtig ist, gibt es dann auch noch ein Embargo usw. Also ist das sozusagen nur noch die Elite der Forschung, die sozusagen mit diesem Embargo rausgeschickt wird?

[00:44:18] Steffen Lemke:
Ja, genau das sind Fragestellungen, wo ich ganz dringenden Forschungsbedarf sehe. Und ich glaube auch viele Kolleginnen und Kollegen aus dem Feld. Wo ich glaube, wo es ganz viele interessante Fragen noch zu beantworten gibt. Also da weiß man einfach sehr wenig. Und genau diese Frage, welche Mechanismen bestimmen denn am Ende, was einem Embargo quasi unterworfen wird und was nicht? Das muss man sich nur anschauen. Und das sind auf jeden Fall noch ja spannende Fortsetzungen für diese Arbeiten in der Zukunft.

[00:44:48] Doreen Siegfried:
Ja, okay. Ich finde es auch spannend. Okay. Wie können dann Impact-Metriken verbessert werden, damit sie die Auswirkungen wissenschaftlicher Forschung besser widerspiegeln? Also du hattest gesagt, okay, man kann verschiedene Sachen nebeneinanderstellen. Aber was gibt es sozusagen noch von deiner Seite für Verbesserungsvorschläge?

[00:45:05] Steffen Lemke:
Ja, also zwei grundsätzliche Ansätze würde ich da sehen. Und das eine ist das jetzt auch von dir schon angesprochene Verbreitern irgendwie der Metriken. Mehr Metriken heranziehen, die Last quasi verteilen, weil jede Metrik hat ihre Schwächen, ihre Probleme und ihre Limitationen. Und wenn man zumindest irgendwie eine Bewertungskultur schafft, in der dann nicht auf eine einzelne Metrik geguckt wird, sondern auf zumindest eine breite Vielzahl von Metriken, dann werden hoffentlich eben die Limitationen der Einzelnen ein bisschen abgefedert. Das zweite oder der zweite breite Weg zur Verbesserung der Metriken in der Praxis ist, meiner Meinung nach, die Schaffung von mehr Offenheit. Ganz, ganz allgemein abstrakt. Also auch ja, in eine ähnliche Kerbe schlagen, die ja grundsätzlich ein starkes Bestreben zu mehr Open Science besteht und eine größere Sensibilität dafür, dass eine offenere Wissenschaft diverse Vorteile für die Gesellschaft bringen kann. Da lässt sich auch viel von auf Metriken übertragen. Also das beginnt bei den ganz technischen, den Datenerhebungsgrundlagen. Also dieses angesprochene Problem, dass eben viele Metriken, die so in der Praxis verwendet werden, am Ende gar nicht transparent nachvollziehbar sind und nicht durch den Einzelnen oder die Einzelne, die dann vielleicht da bewertet mit wird, auch überprüfbar oder nachvollziehbar ist, was da eigentlich berechnet wurde. Das ist ein Problem, was man eben mit größerer Offenheit von Datenquellen, aber auch enen von Berechnungsweisen denke ich, angehen sollte. Und da gibt es auch diverse Initiativen, die in diese Richtung arbeiten. Also da passiert schon viel in diese Richtung, aber etabliert sind eben oft noch Datenquellen und Berechnungen, die eben nicht offen sind, nicht vollständig nachvollziehbar sind.

[00:46:56] Doreen Siegfried:
Ja, okay. Verstehe. Welche Empfehlung hast du denn für Forscher:innen oder welche Empfehlung gibt es für Forscher:innen, Förderorganisationen oder auch andere Interessensgruppen, um die Verwendung von Impact-Metriken als Forschungsindikatoren zu verbessern?

[00:47:13] Steffen Lemke:
Ja. Also da gab es in den letzten Jahren ein paar sehr einflussreiche und viel Aufmerksamkeit erregende Publikationen zu. Also zum einen das schon erwähnte Leidener Manifest ist so eine Anlaufstelle. Wenn jetzt jemand kommt und sagt „Ich möchte mal wissen, was sind eigentlich die wichtigsten Limitationen oder die wichtigsten Aspekte, die ich bedenken muss, wenn ich jetzt in irgendeiner wichtigen Entscheidung oder irgendeinem Evaluationsprozess Metriken nutzen möchte.“ Das wäre so die erste Adresse, wo sehr kompakt, also das kann man in wenigen Minuten wahrscheinlich durchlesen, das wichtigste zusammengefasst ist. In ähnlicher Richtung kann man dann auch noch die DORA Declaration on Research Assessment nennen. Das war ein anderes, viel Aufmerksamkeit erregendes, eine Veröffentlichung, wo es dann speziell um journalbasierte Metriken viel geht. Oder auch wenn es einen ausführlicher interessiert, dann gibt es noch den Metric Tide Report. Das ist auch ein Dokument, was sehr ausführlich auf die verschiedenen Problematiken im Umgang mit solchen Metriken eingeht, wovon wir ja auch viel heute angerissen haben hier. Und dann wiederum so für Einzelpersonen, die sagen, grundsätzlich interessiert mich das Thema oder ich habe jetzt eine einzelne Metrik und möchte kompakt und schnell irgendwie Informationen darüber einsehen. Was weiß man denn, was so deren Stärken und Schwächen angeht? Dann gibt es eine Ressource namens Metrics Toolkit. Das kann man, wenn man es einfach googelt, dann findet man das schnell. Und das ist wiederum von den Forschenden aus meinem Bereich. Kuratierte Informationen, wo auch sehr übersichtlich und kompakt dargestellt wird, was sind die wichtigsten Lessons, die man so mitnehmen sollte, was bestimmte Metriken angeht. Das so als Fingerzeige, wo man hingucken kann.

[00:49:04] Doreen Siegfried:
Ja, okay. Da sind wir ja auch schon bei unserer letzten Frage. Wahrscheinlich überlappt sich das jetzt. Also welchen Tipp hast du denn für unsere Zuhörer:innen bezogen auf Relevanzindikatoren?

[00:49:14] Steffen Lemke:
Ja, also eben, wenn es darum geht, weitere vertiefende Informationen einzuholen, dann die gerade schon erwähnten. Und sonst, auf die Gefahr hin, dass ich mich da auch wiederhole, aber eben sich bewusst zu sein, dass eben diese Metriken, gerade wenn man jetzt einzelne Entitäten anguckt, eine sehr beschränkte Aussagekraft haben. Es gibt da so eine Analogie, die habe ich mal in einem Vortrag vom Kollegen Björn Hammarfelt gehört. Auch wenn ich nicht ganz sicher bin, ob er der ursprüngliche Urheber ist. Aber der hatte mal das illustriert, man solle Metriken als eine Waage verstehen, die zwar ganz verlässlich einen Elefanten aus einer Menge von Hasen ermitteln kann, aber die nicht geeignet ist, um eine Kuh von einem Pferd zu unterscheiden.

[00:49:54] Doreen Siegfried:
Okay. [lacht]

[00:44:54] Steffen Lemke:
Und einfach so, grundsätzlich so diese Denkweise, dass Metriken durchaus natürlich nützlich sein können, um irgendwie herausragende Entitäten zu identifizieren, aber eben nicht, um solche Detailvergleiche zwischen sich sehr ähnelnden Einzelentitäten vorzunehmen. Das ist eigentlich so eine ganz, ganz gute, grundsätzliche Lehre, glaube ich.

[00:50:11] Doreen Siegfried:
Ja, okay.

[00:50:12] Steffen Lemke:
Und auch bei aller Negativität, die jetzt vielleicht jetzt so zum Thema Metriken angeklungen ist hier, weil es geht ja nun mal in der Forschung der Metriken ganz stark darum, rauszufinden, wofür sollte man sie nicht benutzen und was sind ihre Schwächen, über die man Bescheid wissen muss? Man sollte jetzt natürlich nicht als Fazit daraus ziehen, dass die Tatsache, dass wir diese technischen Möglichkeiten haben, so viel verschiedene Metriken zu erfassen und zu beobachten, dass das irgendwie nutzlos wäre. Ganz und gar nicht. Also, dass man jetzt grundsätzlich so viele Möglichkeiten mehr hat, auch gerade im Bereich Altmetrics nachzuvollziehen, wie und wo denn eigentlich irgendwie Forschung verwendet wird und von wem es irgendwie aufgegriffen wird. Das ist schon an sich eine großartige Sache, womit man viele sehr, sehr interessante Beobachtungen anstellen kann und Beschreibungen vornehmen kann, wie denn eigentlich Wissenschaft sich verbreitet und funktioniert und wie sie genutzt wird. Deswegen also zum Abschluss vielleicht von mir noch mal als positives Fazit. Da lässt sich sehr, sehr viel Nutzen, auch rausziehen aus dieser reichhaltigen Metrics-Landschaft.

[00:51:15] Doreen Siegfried:
Ja, es ist auf jeden Fall sehr spannend, was mit der eigenen Forschung, die man da in wochenlanger, wenn nicht ja jahrelanger Arbeit irgendwie hervorgebracht hat, dann am Ende irgendwie so passiert. Okay, ich danke dir, Steffen. Vielen Dank auch an unsere Zuhörerinnen und Zuhörer an den Kopfhörern. Ich hoffe, es hat Ihnen gefallen. Wir werden die wichtigsten Links in die Shownotes packen. Lesen Sie sich das da gerne durch. Lassen Sie uns auch gerne Feedback da, sei es via Email, Twitter, YouTube oder LinkedIn. Und ich lade Sie natürlich herzlich ein, abonnieren Sie fleißig auf iTunes oder Spotify oder überall da, wo man sonst Podcast hört. Ich freue mich aufs nächste Mal.

[00:51:55] Steffen Lemke:
Dankeschön.