{"id":76,"date":"2023-05-22T09:19:51","date_gmt":"2023-05-22T07:19:51","guid":{"rendered":"2828aa35-74e4-40d6-85df-93587956d02c"},"modified":"2026-01-16T12:47:44","modified_gmt":"2026-01-16T11:47:44","slug":"fos-28-relevanz-von-forschungsoutput","status":"publish","type":"podcast","link":"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/","title":{"rendered":"FOS 28 Relevanz von Forschungsoutput"},"content":{"rendered":"\n    <div class=\"pwp4-wrapper intrinsic-ignore\" id=\"podlovewebplayer_7cc5506af4d8c7694af28e3197c01c1c0f880573\" data-episode=\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/?podlove_action=pwp4_config\"><audio controls=\"controls\" preload=\"none\">\n  <source src=\"https:\/\/podcast.zbw.eu\/fos\/podlove\/file\/82\/s\/webplayer\/c\/website\/fos_28.mp3\" type=\"audio\/mpeg\"\/>\n<\/audio><\/div>\n  \n  \n\n    \n\n\t<div class=\"podlove-contributors-cards\">\n\t\t\t<\/div>\n\n\t<style>\n\t\t.podlove-contributors-cards {\n\t\t\tmargin-bottom: 1rem;\n\t\t\tbackground: white;\n\t\t\toverflow: hidden;\n\t\t\tborder-radius: 0.375rem;\n\t\t\tbox-shadow: 0 1px 3px 0 rgba(0, 0, 0, 0.1), 0 1px 2px 0 rgba(0, 0, 0, 0.06);\n\t\t}\n\t\t.podlove-contributors-card {\n\t\t\tdisplay: flex;\n\t\t\talign-items: center;\n\t\t\tpadding: 1rem 1.5rem\n\t\t}\n\t\t.podlove-contributors-card-inner {\n\t\t\tdisplay: flex;\n\t\t\talign-items: center;\n\t\t\tflex: 1 1 0;\n\t\t\tmin-width: 0;\n\t\t}\n\t\t.podlove-contributors-card-avatar {\n\t\t\twidth: 50px;\n\t\t\theight: 50px;\n\t\t\tborder-radius: 0.25rem;\n\t\t\toverflow: hidden;\n\t\t\tflex-shrink: 0;\n\t\t}\n\t\t.podlove-contributors-card-person {\n\t\t\tflex: 1 1 0;\n\t\t\tmin-width: 0;\n\t\t\tpadding: 0 1rem;\n\t\t\tdisplay: grid;\n\t\t\tgrid-template-columns: repeat(2, minmax(0, 1fr));\n\t\t\tgap: 1rem;\n\t\t}\n\t\t.podlove-contributors-card-person-details {\n\t\t\tcolor: #999\n\t\t}\n\t\t.podlove-contributors-card-services {\n\t\t\tflex-wrap: wrap;\n\t\t\tdisplay: flex;\n\t\t\talign-items: center;\n\t\t\talign-content: center;\n\t\t\tjustify-content: flex-end;\n\t\t}\n\t\t.podlove-contributors-card-services-service {\n\t\t\tdisplay: inline-block;\n\t\t\tflex-shrink: 0;\n\t\t\tpadding-left: 0.5rem;\n\t\t\ttext-decoration: none;\n\t\t\tbox-shadow: none;\n\t\t}\n\t<\/style>\n\n\n\n\n\n\n<div class=\"zbw_shownotes\">\n\n\n\n<p id=\"block-f49bc985-664d-4419-badb-a07bec4d25d3\">LINKS UND HINTERGR\u00dcNDE:<\/p>\n\n\n\n<p id=\"block-ac30694f-3a45-4880-8b0c-1a0b1cedfb1b\"><a href=\"https:\/\/macau.uni-kiel.de\/receive\/macau_mods_00003250?lang=en\" target=\"_blank\" rel=\"noreferrer noopener\">An Assessment of Impact Metrics\u2018 Potential as Research Indicators<\/a><\/p>\n\n\n\n<p id=\"block-d6fd6c84-1267-4bb0-927f-cee6d56093ab\"><a href=\"https:\/\/www.frontiersin.org\/articles\/10.3389\/frma.2018.00039\/full\" target=\"_blank\" rel=\"noreferrer noopener\">\u201eWhen You Use Social Media You Are Not Working\u201c: Barrriers for the Use of Metrics in Social Sciences<\/a><\/p>\n\n\n\n<p id=\"block-73eb4fb0-32b9-4214-894b-677bb2b903fc\"><a href=\"http:\/\/www.leidenmanifesto.org\/uploads\/4\/1\/6\/0\/41603901\/leiden_manifesto_german__leidener_manifest.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Bibliometrie: Das Leidener Manifest zu Forschungsmetriken<\/a><\/p>\n\n\n\n<p id=\"block-650f7a9c-d898-4fda-a811-ad02e361e6cb\"><a href=\"https:\/\/link.springer.com\/article\/10.1007\/s11192-021-04217-1\" target=\"_blank\" rel=\"noreferrer noopener\">Research articles promoted in embargo e-mails receive higher citations and altmetrics<\/a><\/p>\n\n\n\n<p id=\"block-60d62942-4136-45dc-908a-39c28d420f49\"><a href=\"https:\/\/sfdora.org\/\" target=\"_blank\" rel=\"noreferrer noopener\">Declaration on Research Assessment (DORA)<\/a><\/p>\n\n\n\n<p id=\"block-97a67f4e-a8e7-4df3-afd2-86fce3eec36e\"><a href=\"https:\/\/www.ukri.org\/wp-content\/uploads\/2021\/12\/RE-151221-TheMetricTideFullReport2015.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">The Metric Tide<\/a><\/p>\n\n\n\n<p id=\"block-d84fe54a-5f00-446a-a036-6eaae291f176\"><a href=\"https:\/\/www.metrics-toolkit.org\/\" target=\"_blank\" rel=\"noreferrer noopener\">Metrics Toolkit<\/a><\/p>\n\n\n\n<\/div>\n\n\n\n<div data-wp-context=\"{ &quot;autoclose&quot;: false, &quot;accordionItems&quot;: [] }\" data-wp-interactive=\"core\/accordion\" role=\"group\" class=\"wp-block-accordion is-layout-flow wp-block-accordion-is-layout-flow\">\n<div data-wp-class--is-open=\"state.isOpen\" data-wp-context=\"{ &quot;id&quot;: &quot;accordion-item-1&quot;, &quot;openByDefault&quot;: false }\" data-wp-init=\"callbacks.initAccordionItems\" data-wp-on-window--hashchange=\"callbacks.hashChange\" class=\"wp-block-accordion-item is-layout-flow wp-block-accordion-item-is-layout-flow\">\n<h3 class=\"wp-block-accordion-heading has-small-font-size\"><button aria-expanded=\"false\" aria-controls=\"accordion-item-1-panel\" data-wp-bind--aria-expanded=\"state.isOpen\" data-wp-on--click=\"actions.toggle\" data-wp-on--keydown=\"actions.handleKeyDown\" id=\"accordion-item-1\" class=\"wp-block-accordion-heading__toggle\"><span class=\"wp-block-accordion-heading__toggle-title\">Episode 28 als Text<\/span><span class=\"wp-block-accordion-heading__toggle-icon\" aria-hidden=\"true\">+<\/span><\/button><\/h3>\n\n\n\n<div inert aria-labelledby=\"accordion-item-1\" data-wp-bind--inert=\"!state.isOpen\" id=\"accordion-item-1-panel\" role=\"region\" class=\"wp-block-accordion-panel is-layout-flow wp-block-accordion-panel-is-layout-flow\">\n<p>The Future is Open Science \u2013 Folge 28: Relevanz von Forschungsoutput<\/p>\n\n\n\n<p>Dr. Doreen Siegfried<br>Leitung Marketing und Public Relations, ZBW \u2013 Leibniz-Informationszentrum Wirtschaft<\/p>\n\n\n\n<p>Dr. Steffen Lemke<br>Wissenschaftlicher Mitarbeiter, Forschungsbereich Web Science, ZBW \u2013 Leibniz-Informationszentrum Wirtschaft<\/p>\n\n\n\n<p>[00:00:03] Steffen Lemke:<br>Auf der anderen Seite, was ich in unseren Nutzerstudien interessant fand und \u00fcberraschend fand, ist, dass es doch auch bei jungen Wissenschaftlern h\u00e4ufig so eine erstaunlich, ja ich w\u00fcrde sagen, konservative Haltung zu geben scheint,<\/p>\n\n\n\n<p>[00:00:14] Steffen Lemke:<br>dass erstmal so soziale Medien mit einer gewissen Skepsis be\u00e4ugt werden.<\/p>\n\n\n\n<p>[00:00:22] Steffen Lemke:<br>Ja also es beginnt h\u00e4ufig oft schon auf einer technischen Ebene, dass Datenquellen nicht klar sind, dass nicht klar ist, auf welcher Berechnungsgrundlage entsteht denn jetzt so eine Metrik, die am Ende vielleicht benutzt wird, um eben Forschende zu bewerten in wichtigen Kontexten.<\/p>\n\n\n\n<p>[00:00:37] Steffen Lemke:<br>Und wenn man dann guckt, so vier, f\u00fcnf Jahre sp\u00e4ter, wie haben sich die verschiedenen Metriken entwickelt, die verschiedenen bibliometrischen aber auch altmetrischen Kennzahlen, dann \u00fcber alle gemessenen Kennzahlen hinweg, haben die mit Pressemitteilung beworbenen Artikel extreme Vorteile, also teilweise extreme Vorteile, auf jeden Fall Vorteile.<\/p>\n\n\n\n<p>[00:00:56] Steffen Lemke:<br>Also auch auf diesem Weg nehmen die Verlage, ist anzunehmen, ganz erheblich Einfluss darauf, welche Forschung sp\u00e4ter irgendwie Wahrnehmung erf\u00e4hrt und Aufmerksamkeit erf\u00e4hrt und damit auch, was diese Metriken sp\u00e4ter sagen werden, welche Forschung ja, in gro\u00dfen Anf\u00fchrungszeichen, relevant ist.<\/p>\n\n\n\n<p>[00:01:17] Doreen Siegfried:<br>Hallo und herzlich willkommen zu einer neuen Folge von \u201eThe Future is Open Science\u201c, dem Podcast der ZBW. Wir wollen heute \u00fcber die Messung der Relevanz wissenschaftlicher Endprodukte sprechen. Also, wann ist eine wissenschaftliche Publikation relevant und f\u00fcr wen relevant? Dass dieses Thema der Relevanz von Forschungsoutput selbst hoch bedeutsam ist, zeigen die vielen Impact-Indikatoren von sowohl kommerziellen als auch wissenschaftlichen Anbietern, die derzeit so auf dem Markt sind. Hier wollen wir heute etwas Licht in den Dschungel bringen. Und zu Gast habe ich deshalb heute einen Wissenschaftler, der sich in seiner Forschung prim\u00e4r mit dem Vermessen wissenschaftlicher Aktivit\u00e4ten befasst. Herzlich willkommen, Dr. Steffen Lemke.<\/p>\n\n\n\n<p>[00:01:58] Steffen Lemke:<br>Ja, vielen Dank f\u00fcr die Einladung.<\/p>\n\n\n\n<p>[00:02:01] Doreen Siegfried:<br>F\u00fcr uns zum Einstieg: was sind Wirkungsmetriken in der Wissenschaft und welche unterschiedlichen Ans\u00e4tze von Impact-Indikatoren sind gerade auf dem Markt?<\/p>\n\n\n\n<p>[00:02:10] Steffen Lemke:<br>Unter diesem Begriff Wirkungsmetriken, der wird auch oft ziemlich synonym verwendet mit zum Beispiel Impact-Metriken oder manchmal auch Forschungsmetriken, da versteht man eine gro\u00dfe Vielzahl von Kennzahlen, die alle irgendwie gemeinsam haben, dass sie ausdr\u00fccken sollen, wo oder auf welche Weise Forschungsergebnisse verwendet werden. Und daran h\u00e4ngt dann oft so diese Hoffnung, dass man dadurch Indikatoren erh\u00e4lt daf\u00fcr, welche Forschung denn besonders relevant ist. Und zur Frage, welche Ans\u00e4tze da auf dem Markt sind, da kann man grob zwischen zwei gro\u00dfen Familien erst mal unterscheiden. Da gibt es als den sozusagen traditionellen Ansatz die gro\u00dfe Gruppe der bibliometrischen Kennzahlen. Und da ist das Grundprinzip, was den meisten dieser Kennzahlen zugrunde liegt, auf Zitationen zu schauen. Also zu schauen, wie h\u00e4ufig wurde denn ein bestimmter wissenschaftlicher Artikel in anderen wissenschaftlichen Publikationen zitiert. Und basierend auf diesem Prinzip lassen sich dann f\u00fcr verschiedene Fragestellungen und Ebenen verschiedene Indikatoren konstruieren. Zum Beispiel werden sicherlich auch viele schon mal von Journal Impact Faktoren geh\u00f6rt haben, die dann eben auf diesem Prinzip basierend Auskunft dar\u00fcber geben, welche Journale besonders relevant sein sollen. Oder auch h-Indizes sind ein anderes bekanntes Beispiel, was dann \u00fcber Forschende was aussagen soll. Und die zweite Familie von den beiden, die ich jetzt erw\u00e4hnt hatte, die man davon unterscheiden kann, die ist so der j\u00fcngere Ansatz, um das zu komplementieren. Und die wird mit diesem Sammelbegriff Altmetrics gerne bezeichnet. Und das ist so ein Sammelbegriff f\u00fcr eine sehr, sehr heterogene, sehr weit gefasste, gro\u00dfe, offene Menge an Indikatoren, die alle irgendwie dieses Prinzip verbindet zu schauen, wie h\u00e4ufig und wo wird denn mit wissenschaftlichen Publikationen in Online-Umgebung interagiert. Das beinhaltet dann zum Beispiel die Idee zu schauen, wie h\u00e4ufig wird eine bestimmte Publikation auf Social Media geteilt, zum Beispiel auf Twitter erw\u00e4hnt. Aber geht auch weit dar\u00fcber hinaus und beinhaltet zum Beispiel auch die Idee zu schauen, wie h\u00e4ufig wird ein wissenschaftlicher Artikel in den journalistischen Medien referenziert oder in Policy Dokumenten usw. Das ist also eine sehr, sehr heterogene, sehr, sehr gro\u00dfe, offene Menge. Und das ist so die Grundunterscheidung der beiden Ans\u00e4tze, die man f\u00fcr diese Wirkungsmetriken hat.<\/p>\n\n\n\n<p>[00:04:28] Doreen Siegfried:<br>Ja, okay. Was sind denn vielleicht einige Beispiele f\u00fcr solche Indikatoren, Wirkungskennzahlen, die derzeit in der wissenschaftlichen Gemeinschaft auch verwendet werden?<\/p>\n\n\n\n<p>[00:04:39] Steffen Lemke:<br>Also, was die tats\u00e4chlich praktische Verwendung angeht, da dominieren ganz stark diese traditionellen bibliometrischen Metriken. Also die schon erw\u00e4hnten Beispiele Zitationszahlen, Impact-Faktoren, h-Indizes, die sind alle sehr viel bekannter und verbreiteter als diese altmetrischen Alternativen. Und konkrete Anwendungsf\u00e4lle, die reichen dann von so allt\u00e4glichen Mikroanwendungen, also zum Beispiel, was vielen Forschenden sicherlich bekannt ist, ist, wenn man jetzt Literatur sucht und eine Literatursuchmaschine seiner Wahl nutzt, dass man in den allermeisten F\u00e4llen dann auch irgendwie die Zitationszahl mit angezeigt bekommt und die oftmals auch ein ganz wichtiges Filter- oder Sortierkriterium dann darstellen. Das w\u00e4re so ein Alltagsanwendungsfall, den wahrscheinlich die meisten Forschenden schon irgendwie kennen. Aber das reicht eben auch bis zu gro\u00dfangelegten Evaluationen zum Beispiel von wissenschaftlichen Institutionen. Also gerade der erw\u00e4hnte Journal-Impact Factor, der spielt ja in vielen Zusammenh\u00e4ngen eine gro\u00dfe wichtige Rolle. Ein Beispiel w\u00e4re zum Beispiel die medizinische Forschung in Deutschland. Da haben im Rahmen der leistungsorientierten Mittelvergabe eigentlich alle medizinischen Fakult\u00e4ten irgendwie verankert in ihren Bewertungsmechanismen, dass auch einflie\u00dft, bei der Frage \u201eWo gehen welche Mittel hin?\u201c, in wie renommierten Journalen haben die Forschenden aus einer bestimmten medizinischen Arbeitsgruppe publiziert in der Vergangenheit. Und das wird dann abgek\u00fcrzt eben durch diesen Journal Impact Factor in aller Regel erhoben. Also so um die Spannbreite der Anwendungsf\u00e4lle anzuzeigen.<\/p>\n\n\n\n<p>[00:06:13] Doreen Siegfried:<br>Okay, das hei\u00dft also, es reicht nicht, wenn ein Artikel heruntergeladen wurde, sondern er muss sozusagen auch tats\u00e4chlich, man muss sehen k\u00f6nnen, dass dieser Artikel auch benutzt wurde.<\/p>\n\n\n\n<p>[00:06:24] Steffen Lemke:<br>Ja, ob man daran sehen, dass der Artikel benutzt wurde, kann man ja so direkt gar nicht. Das ist auch ein v\u00f6llig berechtigter und h\u00e4ufiger Kritikpunkt an dieser Art der Wissenschaftsbewertung. Also tats\u00e4chlich wird eben oft dieser sehr verk\u00fcrzte Weg gegangen, zu schauen, wie h\u00e4ufig werden im Durchschnitt Artikel aus dem Journal, in dem der Artikel erschienen ist, zitiert. Und eben, dass das \u00fcber den einzelnen Artikel, \u00fcber dessen tats\u00e4chliche Verwendung oftmals kaum etwas aussagt. Da gibt es eben auch viele, viele Studien zu, die das belegen und die dann diese Kritik an dieser starken Fokussierung auf den Journal Impact Factor dann auch begr\u00fcnden. Und wiederum die tats\u00e4chliche Verwendung, das ist eben das, was man sich ja eigentlich w\u00fcnscht, Indikatoren zu haben, die direkter und klarer genau das zeigen, dass ein Artikel auch wirklich verwendet wurde. Und das ist auch ein bisschen so ein Antrieb hinter dieser Altmetrics-Idee, dass man sagt, komplimentieren wir doch oder erg\u00e4nzen wir doch diesen Journal Impact Factor-Ansatz durch Metriken, die direkter auf Artikelebene ausdr\u00fccken, dass etwas auch wirklich irgendwo verwendet wurde. Die haben nat\u00fcrlich dann eigene Schw\u00e4chen wiederum oder eigene Probleme, mit denen man sich auseinandersetzen muss. Aber ja, das ist so der Ansporn dahinter.<\/p>\n\n\n\n<p>[00:07:35] Doreen Siegfried:<br>Das ist die Grundidee. Ja, verstehe. Okay. Was hat dich dazu inspiriert, das Potenzial von Wirkungsindikatoren als Forschungsindikatoren so umfassend zu untersuchen?<\/p>\n\n\n\n<p>[00:07:46] Steffen Lemke:<br>Ja, ich glaube, da kommen so zwei Interessensgebiete zusammen. Zum einen ist so ein grunds\u00e4tzliches Interesse aus der Richtung, so Wissenschaftsphilosophie, dass ich es einfach spannend finde, sich zu fragen, was macht Wissenschaft aus, auch \u00fcber Disziplingrenzen hinweg? Was vereint das irgendwie? Kann man dem irgendwie sinnvollen Wert beimessen? L\u00e4sst sich da \u00fcberhaupt so eine Vermessung vornehmen? Das sind so Fragen, die finde ich grunds\u00e4tzlich ganz spannend. Und auf der anderen Seite dann so ein wahrscheinlich typisch ingenieurstechnisches, ja so ein ingenieurstechnischer Antrieb, dass man einfach Freude dran hat, eben ja praktikable L\u00f6sungen f\u00fcr Realweltprobleme zu finden und Dinge messbar zu machen. Und sich zu \u00fcberlegen, auch wenn ich was vielleicht gar nicht direkt messen kann. Was ist denn so die bestm\u00f6gliche, der bestm\u00f6gliche Workaround oder die bestm\u00f6gliche Ann\u00e4herungsl\u00f6sung? Und das, wenn man diese, diese Interessen oder Neigungen vereint, glaube ich dann, dass ist man in diesem Bereich Szientometrie, dann hat man da viele spannende Fragen zu beantworten oder zu bearbeiten.<\/p>\n\n\n\n<p>[00:08:44] Doreen Siegfried:<br>Ja, okay. Du hast jetzt ja gerade schon diese beiden gro\u00dfen Familien vorgestellt, die bibliometrischen Indikatoren und Altmetrics. Was messen denn die unterschiedlichen Indikatoren und was nicht? Kannst du das vielleicht auch noch mal kurz skizzieren?<\/p>\n\n\n\n<p>[00:08:57] Steffen Lemke:<br>Ja, das, was jetzt diese Indikatoren wirklich konkret messen, das ist nat\u00fcrlich so eine absolute Kernfrage dieses Forschungsgebiets, die gerade f\u00fcr zitationsbasierte Metriken seit Jahrzehnten diskutiert wird. Und bestimmt auch noch viele, viele Jahrzehnte diskutiert werden wird. Also das ist ganz schwer, da jetzt irgendwie eine ganz konkrete, kurze Antwort darauf zu finden, die wirklich jeder Forschende aus diesem Gebiet unterst\u00fctzen w\u00fcrde. Aber um sich dem so anzun\u00e4hern. Also, was glaube ich, erst mal jeder unterschreiben w\u00fcrde oder fast jeder oder jede Forschende aus dem Bereich, ist, dass das erst mal Indikatoren f\u00fcr Aufmerksamkeit sind, die bestimmten Entit\u00e4ten entgegengebracht wurde. Sei es jetzt Publikationen oder Forschenden oder Instituten. Und allein mit dieser recht bescheidenen Annahme, dass das Indikatoren f\u00fcr Aufmerksamkeit einfach nur sind, da lassen sich dann auch schon interessante Fragen mit beantworten. Aber schon bei diesem Wort Relevanz, was wir ja auch schon ein paar Mal jetzt geh\u00f6rt haben, da wird es schon ein bisschen schwieriger. Also zum einen m\u00fcsste man nat\u00fcrlich erst mal den Relevanzbegriff irgendwie klar definieren, was wahrscheinlich viele Forschende aus verschiedenen Disziplinen auch unterschiedlich machen w\u00fcrden. Und ob dann wirklich diese Indikatoren oder diese Metriken verl\u00e4ssliche Indikatoren f\u00fcr Relevanz sind, ja da gibt es F\u00fcr und Wider-Argumente. Ganz schwierig wird es dann bei Begriffen wie Qualit\u00e4t oder so. Was man dann auch \u00f6fters h\u00f6rt, dass diese Indikatoren einfach so, ja unbesehen als Qualit\u00e4tsma\u00dfe bezeichnet oder betrachtet werden. Und ich glaube, da w\u00fcrden dann sp\u00e4testens viele, die sich eben mit diesen Metriken im Forschungsbereich auseinandersetzen, ja kritisch aufhorchen und davor warnen, da vielleicht die, die die Formulierung zu \u00fcberdenken oder zu \u00e4ndern. Denn ja, Qualit\u00e4t ist nat\u00fcrlich auch, genau wie Relevanz, zum einen so ein Konzept, was, wo es viele, viele verschiedene Annahmen zu gibt, die sich auch von Forschungsfeld zu Forschungsfeld unterscheiden. Aber selbst wenn man es jetzt mit einem Forschungsfeld zu tun hat, wo man vielleicht relativ klare, konkrete, messbare Qualit\u00e4tskriterien formulieren kann. Zum Beispiel in der klinischen Forschung, k\u00f6nnte man ja so sagen, dass bei einer klinischen Studie erst mal eine hohe Stichprobenzahl erst mal ein objektives Ma\u00df f\u00fcr Qualit\u00e4t irgendwie ist. Oder ein Indikator daf\u00fcr. Selbst, wenn man solche Qualit\u00e4tsma\u00dfe gut formuliert hat, dann stellen Studien, die da die Korrelation mit solchen Impact-Metriken wie zum Beispiel Zitationszahlen pr\u00fcfen, in der Regel fest, dass die Korrelation zwischen diesen Qualit\u00e4tshinweisen und diesen Metriken, die ist da, aber die ist gar nicht so \u00fcberzeugend stark. Also diese Metriken sind da eben ein sehr grobes Ma\u00df, nur ein sehr grober Indikator. Und deswegen davon zu sprechen, dass diese Indikatoren und Metriken Qualit\u00e4t messen w\u00fcrden, da zum Beispiel w\u00fcrde ich sagen, Nein, das tun sie nicht.<\/p>\n\n\n\n<p>[00:11:54] Doreen Siegfried:<br>Ja, okay. Und bei Relevanz h\u00f6re ich da auch ein Fragezeichen draus, ob sie wirklich Relevanz messen.<\/p>\n\n\n\n<p>[00:11:58] Steffen Lemke:<br>Ja.<\/p>\n\n\n\n<p>[00:11:58] Doreen Siegfried:<br>Und dann ist auch die Frage Relevanz, Relevanz, In welchem Kontext?<\/p>\n\n\n\n<p>[00:12:03] Steffen Lemke:<br>Genau.<\/p>\n\n\n\n<p>[00:12.03] Doreen Siegfried:<br>Relevanz f\u00fcr die Fachcommunity, Relevanz f\u00fcr eine Anwendercommunity, Relevanz f\u00fcr andere neben gelagerte F\u00e4cher, f\u00fcr die Gesellschaft? F\u00fcr wen?<\/p>\n\n\n\n<p>[00:12:13] Steffen Lemke:<br>Genau. Was Relevanz bedeutet, ist ja eben einfach extrem vom Anwendungsfall abh\u00e4ngig. Und nat\u00fcrlich unterscheiden sich auch da die einzelnen Metriken, also wie vielseitig die sind. Da haben wir ja eben schon so ein bisschen dr\u00fcber gesprochen, gerade im Fall von Altmetrics. Und ob jetzt eine bestimmte Metrik eine bestimmte Relevanz ausdr\u00fccken kann, das muss man dann eben von der Zielgruppe und von dem Informationsbed\u00fcrfnis, was dann die jeweilige Person hat, abh\u00e4ngig beantworten. Und kann man nicht pauschalisieren, denke ich.<\/p>\n\n\n\n<p>[00:12:45] Doreen Siegfried:<br>Okay, aber wir k\u00f6nnen festhalten, Aufmerksamkeit wird auf jeden Fall gemessen. Und dann ist noch die Frage: Aufmerksamkeit warum? Weil es spektakul\u00e4r ist. Weil es besonders gut ist. Weil es vielleicht auch besonders schlecht ist. K\u00f6nnte ja auch sein. Verstehe, okay. Welche Indikatoren sind die prominentesten in deinen Augen und welche werden im wissenschaftlichen Alltag wirklich nur sehr wenig wahrgenommen und eingesetzt?<\/p>\n\n\n\n<p>[00:13:12] Steffen Lemke:<br>Ja, so ein bisschen hatte ich das ja eben schon angerissen, dass eben diese bibliometrischen Kennzahlen ganz klar die pr\u00e4sentesten sind. Und auch im Rahmen dieser Dissertation, da wurden auch Nutzerstudien mit Forschenden durchgef\u00fchrt, wo wir viele Forschende aus verschiedenen Disziplinen auch befragt haben, welche Impact-Indikatoren sie grunds\u00e4tzlich kennen, wie sie die beschreiben, wof\u00fcr sie die benutzen usw. Und da kam bei uns eben auch wiederholt immer wieder heraus, dass solche zitationsbasierten Indikatoren, und ganz besonders Journal Impact Faktoren, f\u00fcr die Mehrzahl der Forschenden eine wichtige Rolle spielen. Auch schon von sehr, sehr jungen Karrierestufen an, haben wir doch oft diesen Fall gehabt in Interviews zum Beispiel, dass uns dann Forschende berichtet haben, dass sie in verschiedensten Kontexten ihre Entscheidung von diesen Journal Impact Faktoren abh\u00e4ngig machen. Zum Beispiel, wenn es darum geht, wo ver\u00f6ffentlichen sie ihre ersten eigenen Papers oder was zitieren sie selbst? Und dass sie auch zum Beispiel ge\u00e4u\u00dfert haben, dass sie dann oftmals von ihren \u00e4lteren Kollegen und Kolleginnen oder ihren Chefs darauf hingewiesen werden, dass man das ruhig so macht. W\u00e4hrend gleichzeitig diese jungen Forschern oftmals nicht wirklich erkl\u00e4ren konnten, was denn zum Beispiel Journal Impact Factor ist oder wie der sich berechnet oder was der eigentlich wirklich ausdr\u00fcckt. Und ja, was dagegen die Nutzung von Altmetrics angeht, haben wir eben festgestellt, das ist doch ein Konzept, dass es den allermeisten, die sich jetzt nicht so wie ich zum Beispiel damit quasi beruflich besch\u00e4ftigen, ist das ein fremdes Konzept und hat noch in der Praxis vergleichsweise wenig Bedeutung. Ich w\u00fcrde aber vermuten oder behaupten, dass es da Anzeichen gibt, dass das zunimmt und dass ja, dass die Bekanntheit und die Pr\u00e4senz dieser verschiedenen Arten von Metriken im Alltag vieler Forschender eben ja steigt.<\/p>\n\n\n\n<p>[00:15:08] Doreen Siegfried:<br>Ja, okay. Ich kenne das aus Gespr\u00e4chen mit Forschenden, dass beispielsweise Twitter ja auch als so eine Art ich nenne es mal Marketingkanal f\u00fcr eigene Publikationen genutzt wird, um darauf aufmerksam zu machen. Da sind wir wieder bei der Aufmerksamkeit. Gar nicht so sehr, um am Ende dann noch mehr Zitationen zu haben, sondern vielleicht auch, um gesehen zu werden als potenzieller Kooperationspartner oder als potenzieller Co-Autor oder Co-Autorin oder \u00e4hnliches. Also das gibt halt andere Anreize, so was tats\u00e4chlich zu nutzen. Hast du so was auch beobachtet, dass die Sachen parallel laufen, dass es so eine Art Aufmerksamkeit gibt, Aufmerksamkeitssuche, weil es f\u00fcr die Karriere wichtig ist? Also dieses Publizieren in diesen Top Journals und parallel so dieses sich vernetzen in der Community sichtbar sein auch als Person?<\/p>\n\n\n\n<p>[00:16:07] Steffen Lemke:<br>Ja klar. Also interessanterweise, was jetzt so dieses Beispiel anging mit Social Media-Nutzung zur Vernetzung. Auf der einen Seite w\u00fcrde ich sagen, ganz klar w\u00fcrden die allermeisten das auch best\u00e4tigen aus den eigenen Erfahrungen, dass das zunimmt. Und dass heutzutage einfach viele Forschende irgendwie einen Twitter Account haben, weil es einfach eine richtig praktische Methode ist, sich zu vernetzen. Und zum Beispiel auch wenn man neue Kolleginnen und Kollegen auf einer Konferenz kennengelernt hat, da irgendwie ganz unkompliziert den Kontakt aufrecht zu erhalten. Auf der anderen Seite, was ich in unseren Nutzerstudien interessant fand und \u00fcberraschend fand, ist, dass es doch auch bei jungen Wissenschaftlern h\u00e4ufig so eine erstaunlich, ja ich w\u00fcrde sagen, konservative Haltung zu geben scheint\u2026<\/p>\n\n\n\n<p>[00:16:49] Doreen Siegfried:<br>Aha, okay.<\/p>\n\n\n\n<p>[00:16:50] Steffen Lemke:<br>dass erstmal so soziale Medien mit einer gewissen Skepsis be\u00e4ugt werden. Und wir hatten dann auch so Aussagen, dass sobald man irgendwie im B\u00fcro ist und Social Media nutzt, dann f\u00fchlt man sich so, als w\u00fcrde man sich vor der Arbeit dr\u00fccken oder als w\u00fcrde man gar keine Arbeit machen. Auch wenn es um ganz eindeutig professionelle Kontexte geht, weil es Kontaktpflege mit Kollegen oder so ist. Also ja, da bin ich \u00fcberrascht, dass da doch durchaus Hemmungen zu bestehen scheinen. Auch bei vielen jungen Wissenschaftlern auch.<\/p>\n\n\n\n<p>[00:17:21] Doreen Siegfried:<br>Ja, okay. Wir haben ja schon ein bisschen \u00fcber das Thema Relevanz gesprochen, wo siehst du denn noch weitere Probleme beim Einsatz mit Relevanzmetriken?<\/p>\n\n\n\n<p>[00:17:29] Steffen Lemke:<br>Ja, also ein Teil der der Dissertation, die ich jetzt geschrieben habe, da ging es eben darum, solche Probleme im Einsatz von solchen Metriken zu katalogisieren. Und das deutet ja schon an, dass es da viele gibt. Dass man da, also, dass das ein Thema ist. Da wird auch viel zu geforscht. Um vielleicht ein Beispiel rauszunehmen, worauf sich relativ viele Probleme, die auch in den Nutzerstudien immer wieder ge\u00e4u\u00dfert wurden, bei uns herunterbrechen lassen. Das ist erst mal mangelnde Transparenz. Also was ein Problem ist, ist das h\u00e4ufig eben\u2026 Es beginnt h\u00e4ufig, oft schon auf einer technischen Ebene, dass Datenquellen nicht klar sind, dass nicht klar ist, auf welcher Berechnungsgrundlage entsteht denn jetzt irgend so eine Metrik, die am Ende vielleicht benutzt wird, um eben Forschende zu bewerten in wichtigen Kontexten. Geht aber auch hin von diesen eher technischen Aspekten bis hin zu einer Transparenz, die oder einer mangelnden Transparenz, die die nutzenden Forschenden so wahrnehmen, weil die eben in aller Regel ja zu keinem Zeitpunkt ihrer Karriere irgendwie mal geschult werden. Oder unterrichtet dar\u00fcber werden, welche Metriken werden denn so in der Wissenschaftsevaluation benutzt und was sind deren Berechnungsgrundlagen und was sind deren St\u00e4rken und Schw\u00e4chen und Limitationen. Auf der anderen Seite eben, wie schon erw\u00e4hnt, kommen diese Forschenden auch schon in sehr jungen Karrierejahren in der Regel mit diesen Metriken in Kontakt und in diese Situation, dass die sicherlich einflie\u00dfen in deren Entscheidung. Und also, das so zu diesem abstrakt als Intransparenz beschriebenen Problem. Und das denke ich, ist ebenso eins der gr\u00f6\u00dften. Und vielleicht noch so um ein weiteres allgemeines Problem mit der Verwendung von Metriken zu nennen: ich glaube, was man so als Faustregel sagen kann, ist, je kleiner die beurteilten Entit\u00e4ten werden, je kleiner die Einheit, die ich da jetzt irgendwie bewerten m\u00f6chte, desto fragw\u00fcrdiger wird der R\u00fcckgriff auf solche Metriken.<\/p>\n\n\n\n<p>Also wenn ich jetzt mir im Rahmen von so einer Forschungsevaluation bei zwei \u00e4hnlich gearteten Instituten, die im quasi gleichen Forschungsfeld arbeiten und \u00e4hnlich lange bestehen, \u00e4hnlich gro\u00df personell aufgestellt sind, wenn ich mir da \u00fcber Jahre hinweg anschaue: Wie entwickeln sich die Zitationsraten der Publikationen dieser Institute, um irgendwie so einen Aufschluss dar\u00fcber zu kriegen: Ja, wie stark werden die konsumiert? Dann mag das oft informative Ergebnisse liefern und auch robuste Ergebnisse liefern. Aber wenn ich jetzt zum Beispiel mir von einer Forscherin zwei Artikel angucke und ich sehe, der eine Artikel hat 50, der andere nur 30 Zitationen, dann basierend auf diesen zwei Einzelbeobachtungen zu schlie\u00dfen, dass der eine Artikel besser sein muss oder interessanter oder relevanter oder was auch immer. Das ist nat\u00fcrlich h\u00f6chst fragw\u00fcrdig.<\/p>\n\n\n\n<p>[00:20:23] Doreen Siegfried:<br>Ja, das ist zu kurz gesprungen. Ja, vielleicht noch mal ganz kurz, weil du sagtest, junge Wissenschaftler:innen orientieren sich schon sehr fr\u00fch an diesen Indikatoren, wissen aber eigentlich gar nicht so richtig, wie die berechnet werden, was dahinter steckt usw. W\u00fcrdest du sagen, g\u00e4be es, mal angenommen, eine Schulung, die verpflichtend oder fakultativ sein w\u00fcrde, f\u00fcr Predocs nenne ich es mal, w\u00fcrden da Leute hingehen? Meinst du, da w\u00e4re ein Interesse?<\/p>\n\n\n\n<p>[00:20:54] Steffen Lemke:<br>Ich glaube, in der Karrierestufe, da sind die in den allermeisten F\u00e4llen ja die Forschenden immer irgendwie selbst verantwortlich f\u00fcr das, was sie dann so an Fortbildung konsumieren und so. Ich glaube aber, dass das offensichtlich erstmal ein guter Ansatz w\u00e4re oder ein Ansatz, der mit ziemlich geringen Kosten verbunden w\u00e4re. Dass man dieses Thema Wissenschaftsevaluation und Metriken, die daf\u00fcr genutzt werden, und was dann in der Praxis eine Rolle spielt an Metriken, das aufzunehmen, zum Beispiel in solchen Kursangeboten rund ums Thema wissenschaftliches Arbeiten, was sich dann vielleicht an Doktoranden und Doktorandinnen richtet. In solchen Kontexten, denke ich, m\u00fcsste man ja auch gar nicht viel Zeit aufwenden. Also wenn man dann einfach sagt, man baut es als Einheit ein und einen Nachmittag erkl\u00e4rt man irgendwie in zwei bis vier Stunden. Wenn wir jetzt von unserem Pr\u00e4senzunterrichtsszenario mal, wenn wir uns das vorstellen, erkl\u00e4rt man so im Laufe eines Nachmittags die wichtigsten Metriken, die unterwegs sind und vor allen Dingen, was eben deren Limitationen sind, wof\u00fcr man sie nicht benutzen sollte und wo dann eben deren Aussagekraft doch stark begrenzt ist. Dann w\u00e4re ja schon sehr, sehr viel erreicht. Und das ist ja keine Raketenwissenschaft.<\/p>\n\n\n\n<p>[00:22:03] Doreen Siegfried:<br>Nein, nein.<\/p>\n\n\n\n<p>[00:22:03] Steffen Lemke:<br>Das l\u00e4sst sich relativ schnell eben auch auf wichtige Lektionen herunterbrechen.<\/p>\n\n\n\n<p>[00:20:53] Doreen Siegfried:<br>Ist einfach wie Mathematik eigentlich. Ja.<\/p>\n\n\n\n<p>[00:20:55] Steffen Lemke:<br>Und meiner Erfahrung nach passiert das eben kaum bis gar nicht in solchen Kontexten. Also mir ist das nicht begegnet zumindest. Und ich denke eben einfach, da dann eine Sensibilit\u00e4t zu schaffen, in solchen Veranstaltungen, w\u00fcrde thematisch passen und w\u00e4re nicht allzu aufwendig.<\/p>\n\n\n\n<p>[00:22:31] Doreen Siegfried:<br>Ja, okay. W\u00fcrde auf jeden Fall so ein bisschen sensibilisieren auch f\u00fcr die Schw\u00e4chen dieses ganzen Ansatzes.<\/p>\n\n\n\n<p>[00:22:36] Steffen Lemke:<br>Ja.<\/p>\n\n\n\n<p>[00:22:37] Doreen Siegfried:<br>Okay. Nochmal zum Thema Relevanz jetzt mal eine ganz gro\u00dfe Frage: Ist Relevanz quantitativ messbar?<\/p>\n\n\n\n<p>[00:22:43] Steffen Lemke:<br>Ja, also ich glaube, meine Antwort ist da jetzt wahrscheinlich schon zu erwarten.<\/p>\n\n\n\n<p>[00:22:46]<\/p>\n\n\n<p>[beide lachen]<\/p>\n\n\n\n<p>[00:22:46] Steffen Lemke:<br>Weil wir haben ja schon so ein bisschen \u00fcber Relevanz gesprochen. Und auf der einen Seite ist da nat\u00fcrlich dieses Problem, dass man ganz pr\u00e4zise definieren m\u00fcsste: Was meint man jetzt? Aber grunds\u00e4tzlich w\u00fcrde ich so eine Aussage, w\u00e4re ich immer erstmal skeptisch und w\u00fcrde sagen, nee, man sollte sich von der Idee, die jetzt, das Konzept, Relevanz direkt zu messen, verabschieden. Aber deswegen sprechen wir ja auch so oft von Indikatoren. Weil, was man ja beabsichtigt oder was der Gedanke ist, ist, dass man vielleicht das wahre Konstrukt, was einen interessiert, was dann oft zum Beispiel Relevanz ist oder manchmal vielleicht auch Qualit\u00e4t oder noch irgendwas Anderes, dass man das selbst nicht messen kann, aber man versucht irgendwas Anderes zu finden, was ein Indikator daf\u00fcr ist, was darauf hindeutet, dass etwas vermutlich mit einer akzeptabel gro\u00dfen Wahrscheinlichkeit relevant sein k\u00f6nnte. Und also ich glaube, mit so einem Mindset, um diesen Begriff zu benutzen, dazu sollte man rangehen an solche Metriken und die verstehen, dass das eben der Versuch ist, etwas zu finden, was ann\u00e4herungsweise einem Aufschluss dar\u00fcber gibt, was relevant ist.<\/p>\n\n\n\n<p>[00:23:54] Doreen Siegfried:<br>Die Frage, die sich mir stellt: Es gibt sicherlich keine Forschungseinrichtung, keinen Wissenschaftler oder keine Wissenschaftlerin, die nicht von sich sagen w\u00fcrde, ich trete an, relevante Wissenschaft zu machen. Auch ganz viele Wissenschaftsf\u00f6rderer, Forschungsf\u00f6rderer sagen, okay, wir wollen, dass die Forschung relevant ist. Wenn sich jetzt aber noch, also ich meine, dieses ganze Thema Altmetrics gibt es ja auch jetzt nicht erst seit einer Woche. Gibt es denn da Ans\u00e4tze, erste Ideen, um zu sagen, okay, alle wollen relevante Wissenschaft machen? Jetzt haben wir zumindest schon mal so vielleicht so eine erste Idee, wie man das operationalisieren kann. Also gibt es da tats\u00e4chlich schon Entwicklungen, das tats\u00e4chlich auch richtig zu messen?<\/p>\n\n\n\n<p>[00:24:41] Steffen Lemke:<br>Also wor\u00fcber man sich da in dem Kontext Gedanken macht, ist oder was so der grunds\u00e4tzliche Ansatz ist, ist, dass man versucht, das Portfolio der Metriken zu verbreitern, um eben vielf\u00e4ltigere Formen der Relevanz irgendwie abbilden zu k\u00f6nnen. Also, dass eben Zitationen als dieses althergebrachte Ma\u00df daf\u00fcr, was ist relevant, was ist nicht relevant, dass das nicht universell funktioniert, das ist lange bekannt. Also gerade zum Beispiel von den Geistes- und Sozialwissenschaften, da gibt es seit langer Zeit eben diese Kritik, dass es nun mal so ist, dass biomedizinische Artikel, zum Beispiel, die werden mehr zitiert als die meisten geisteswissenschaftlichen Artikel. Was eben auch zum Beispiel an der Publikationskultur liegt, dass man in biomedizinischen Forschungsfeldern eher in Journalen publiziert. Und in Geisteswissenschaften h\u00e4ufig eher in Monographien. Und also diese Kritik, die ist bekannt und man versucht das eben abzumildern oder abzufedern, indem man eben im Zuge dieser Altmetrics sich \u00fcberlegt, welche Indikatoren k\u00f6nnten denn Relevanz in anderen Sph\u00e4ren irgendwie abbilden. Ein altmetrischer Indikator, der da gerade viel Aufmerksamkeit in der Forschung erf\u00e4hrt und vielversprechend scheint, sind zum Beispiel Zitationen in solchen Policy Dokumenten.<\/p>\n\n\n\n<p>[00:25:59] Doreen Siegfried:<br>Ah, ja.<\/p>\n\n\n\n<p>[00:26:00] Steffen Lemke:<br>Im Kontext der Medizin wird das gerade viel untersucht. Da hat man zum Beispiel innerhalb der Medizin dieses Problem, dass klinische Studien im Vergleich zu Grundlagenforschung viel weniger zitiert werden. Und damit Institute, die klinische Forschung viel machen, die werden in einer Evaluation, die auf Zitationen guckt, Nachteile haben gegen\u00fcber Instituten, die Grundlagenforschung machen. Und Policy Dokumente wiederum, also zum Beispiel solche medizinischen Leitlinien, die dann Berufsverb\u00e4nde von Medizinern verabschieden, die wiederum die machen starke Nutzung von klinischer Forschung und k\u00f6nnten deswegen besser geeignet sein, um irgendwie abzubilden, was war denn eigentlich besonders relevante, weil irgendwie viel benutzte, klinische Forschung. Und das ist so der Weg, um eben diese verschiedenen voneinander abweichenden Vorstellungen von Relevanz irgendwie besser abbilden zu k\u00f6nnen, indem man die Metriken in der Breite quasi ausbaut und das Portfolio verbreitert.<\/p>\n\n\n\n<p>[00:26:57] Doreen Siegfried:<br>Ja, okay. Wo wir gerade in der Breite sind. Also gibt es dann sozusagen also zielgruppenspezifische Relevanzindikatoren? Dass man sagt, okay, wenn ich jetzt wissen will, wie wichtig ist meine wissenschaftliche Erkenntnis innerhalb meiner Peer Group nehme ich den Indikator. Wenn ich wissen will, wie wichtig ist das jetzt beispielsweise f\u00fcr die Praxis, nehmen wir dieses Beispiel mit den Policy Papers in der Medizin, dann nehme ich noch einen anderen Indikator. Also gibt es da sozusagen zielgruppenspezifische Diversit\u00e4t?<\/p>\n\n\n\n<p>[00:27:31] Steffen Lemke:<br>Ja, also verschiedenen Zielgruppen und vor allen Dingen auch in Abh\u00e4ngigkeit von dem Informationsinteresse, was dann die jeweilige Person hat. W\u00fcrde man verschiedene Metriken zur Beantwortung ihrer jeweiligen Fragestellung empfehlen. Also wenn ich jetzt eine junge Wissenschaftlerin oder junger Wissenschaftler bin und wissen m\u00f6chte, ich bin vielleicht neu in meinem Forschungsfeld, ich kenn mich noch nicht so aus und ich m\u00f6chte wissen, was sind denn eigentlich so die Journale, auf die jeder guckt. Dann ist wahrscheinlich schon eine vern\u00fcnftige Herangehensweise, auf diesen zuvor schon ausgiebig kritisierten Journal Impact Factor zu gucken. Das wird dann schon eine gro\u00dfe \u00dcberschneidung haben. Wenn ich angucke in meinem Forschungsfeld, was sind die Journale, die den gr\u00f6\u00dften Journal Impact Factor haben, dann hat das wahrscheinlich eine gro\u00dfe \u00dcberschneidung mit dem, was mir wahrscheinlich auch irgendwie eine rang\u00e4ltere Kollegin oder ein Kollege erz\u00e4hlen w\u00fcrde, was die Journale sind, die, worauf man sich so in dem jeweiligen Gebiet geeinigt hat, dass da alle drauf gucken.<\/p>\n\n\n\n<p>[00:28:27] Doreen Siegfried:<br>Dass das die wichtigen sind.<\/p>\n\n\n\n<p>[00:28:28] Steffen Lemke:<br>Andersherum, wenn ich jetzt aber zum Beispiel ein Journalist bin und mich interessiert, welche Forschungsthemen aus einem bestimmten Feld wurden denn jetzt im vergangenen Jahr so im \u00f6ffentlichen Diskurs besonders viel behandelt und welche waren da sehr pr\u00e4sent, dann liefert mir wahrscheinlich ein altmetrischer Indikator, wie die Nennung in journalistischen Medien in dem Zeitraum oder auch die Nennung in sozialen Medien ein viel interessanteres Bild. Also eins, was wahrscheinlich viel n\u00e4her dran ist an dem, was ich wissen m\u00f6chte, als wenn ich jetzt auf die althergebrachten Zitationen schauen w\u00fcrde.<\/p>\n\n\n\n<p>[00:28:58] Doreen Siegfried:<br>Ja, okay. Ja, okay. Was ist deiner Meinung nach der wichtigste Aspekt von Wirkungsmetriken f\u00fcr die wissenschaftliche Forschung?<\/p>\n\n\n\n<p>[00:29:07] Steffen Lemke:<br>Also, wenn es so einen Aspekt geben muss, den ich so rauspicken soll.<\/p>\n\n\n\n<p>[00:29:14] Doreen Siegfried:<br>Du kannst auch zwei sagen. [lacht]<\/p>\n\n\n\n<p>[00:29:16] Steffen Lemke:<br>Na also, es gibt ein Dokument erst mal, um das kurz zu erkl\u00e4ren. Das Leidener Manifest, das wurde vor sieben oder acht Jahren ver\u00f6ffentlicht, von f\u00fchrenden Forscherinnen und Forschern aus dem Bereich der Szientometrie, der sich eben mit diesen Metriken auseinandersetzt. Da haben die mal zehn Prinzipien formuliert, \u2026<\/p>\n\n\n\n<p>[00:29:34] Doreen Siegfried:<br>Okay. Ja.<\/p>\n\n\n\n<p>[00:29:34] Steffen Lemke:<br>\u2026wovon die meinen, das muss man wissen, wenn man solche Metriken in irgendwelchen evaluativen Kontexten einsetzen m\u00f6chte, dass so als kleiner Verweis, falls man die ganz lange ausf\u00fchrliche Antwort h\u00f6ren will, aber\u2026<\/p>\n\n\n\n<p>[00:29:44] Doreen Siegfried:<br>Also Leidener Manifest, wir packen das mal in die Shownotes.<\/p>\n\n\n\n<p>[00:29:45]<\/p>\n\n\n<p>[beide lachen]<\/p>\n\n\n\n<p>[00:29:49] Steffen Lemke:<br>Sehr gut. Aber was die als allererstes Prinzip nennen, da w\u00fcrde ich mich dann auch auf jeden Fall dahinter stellen, ist erstmal grunds\u00e4tzlich heranzutreten an diese Metriken mit der Erwartung, dass die eine qualitative Auseinandersetzung mit dem, was ich da jetzt bewerten m\u00f6chte, zum Beispiel eine Publikation, niemals ersetzen sollten bei einer wichtigen Entscheidungsfindung. Sondern immer das Ganze nur erg\u00e4nzen sollten oder unterst\u00fctzen sollten oder anreichern sollten. Ein qualitatives Urteil aber, dass man eben grunds\u00e4tzlich bei diesen Metriken eben nicht mit der Auffassung an die Verwendung gehen sollte, die sind jetzt ein ad\u00e4quater Ersatz daf\u00fcr, dass ich schaue, was steht drin.<\/p>\n\n\n\n<p>[00:30:28] Doreen Siegfried:<br>Ja. Lesen muss man es noch. Okay.<\/p>\n\n\n\n<p>[00:30:31] Steffen Lemke:<br>Genau. Und das erstmal so als wichtigstes Grundprinzip, was ja auch wahrscheinlich naheliegend ist, aber trotzdem denke ich, dass zum Beispiel, wenn man jetzt in so einem wissenschaftliches Arbeiten-Kurs eine Lehreinheit \u00fcber diese Metriken h\u00e4tte, dann sollte das definitiv, denke ich, gesagt werden und vorkommen.<\/p>\n\n\n\n<p>[00:30:47] Doreen Siegfried:<br>Okay. Vielleicht mal so zum Verh\u00e4ltnis zwischen diesen ganzen Forschungsmetriken und externer Wissenschaftskommunikation, was wir auch schon angesprochen haben. Wie wirken sich denn externe Faktoren wie zum Beispiel diese nachgelagerte Wissenschaftskommunikation auf Wirkungsindikatoren aus?<\/p>\n\n\n\n<p>[00:31:04] Steffen Lemke:<br>Ja, also diese Frage, wie jetzt zum Beispiel Pressemitteilungen \u00fcber Forschung oder die journalistische Aufbereitung von Forschungsergebnissen, wie das diese Metriken betrifft, das ist auch eine Fragestellung, mit der ich mich im Rahmen meiner Dissertation auseinandergesetzt habe. Und was sich da erst mal vereinfacht sagen l\u00e4sst oder heruntergebrochen sagen l\u00e4sst, ist, dass es einen ganz erheblichen Zusammenhang gibt dazwischen, welche wissenschaftlichen Artikel in solchen au\u00dferakademischen Kommunikationsformaten auftauchen und deren sp\u00e4teren Metriken. Also, was wir da konkret gemacht haben ist, wir haben gro\u00dfe Gruppen von Artikeln genommen, von denen wir zum Beispiel wussten, die haben im Jahr 2016 eine Pressemitteilung erhalten. Dann haben wir eine Kontrollgruppe konstruiert aus Artikeln, die in den gleichen Monaten in den gleichen Journalen zu gleichen Themen erschienen waren, aber eben keine Pressemitteilung erhalten haben. Und wenn man dann guckt, so vier, f\u00fcnf Jahre sp\u00e4ter, wie haben sich die verschiedenen Metriken entwickelt, die verschiedenen bibliometrischen aber auch altmetrischen Kennzahlen. Dann \u00fcber alle gemessenen Kennzahlen hinweg, haben die mit Pressemitteilung beworbenen Artikel extreme Vorteile, also teilweise extreme Vorteile. Auf jeden Fall Vorteile. Zum Beispiel, wenn man jetzt auf den altmetrischen Indikator guckt, wie h\u00e4ufig diese Artikel dann sp\u00e4ter in journalistischen Medien auftauchen, dann sind die, die eine Pressemitteilung erhalten haben, wahrscheinlich auch wenig verwunderlich, aber viel, viel pr\u00e4senter. Und zwar ungef\u00e4hr zehn Mal so h\u00e4ufig werden die im Schnitt dann in diesen journalistischen Medien genannt. Aber auch wenn man zum Beispiel auf Indikatoren schaut, die dann auf sozialen Medien basieren, wie Nennung in Twitter, dann sind es immer noch so f\u00fcnf bis sechsmal so viele Nennungen f\u00fcr die Artikel, die eine Pressemitteilung erhalten haben. Und selbst bei Zitationen, wo man vielleicht denken w\u00fcrde, dass es wiederum, also akademische Zitationen, die finden in einem Kosmos statt, der ist irgendwie losgel\u00f6st von diesem journalistischen Kosmos. Selbst da haben dann die Artikel mit Pressemitteilungen nur etwa doppelt so viele Zitationen im Schnitt aufgewiesen. Und ja, solche Zusammenh\u00e4nge haben wir da wiederholt gesehen. Was man aber, denke ich, immer noch wichtiger Weise da anmerken muss, ist, dass wir da jetzt nicht von einer direkten Kausalit\u00e4t ausgehen k\u00f6nnen. Also auch wenn dieser Zusammenhang erst mal extrem scheint, k\u00f6nnen wir nat\u00fcrlich jetzt nicht sicher sagen, wegen der Pressemitteilungen ist das so. Diese Kausalit\u00e4t die steht nicht fest. Also man kann im Grunde so zwei Erkl\u00e4rungsans\u00e4tze da unterscheiden. Also es gibt diese als Publicity-Hypothese bezeichnete Erkl\u00e4rung. Das w\u00e4re eben zu sagen, weil ein Artikel in der Pressemitteilung stand, deswegen hat er mehr Sichtbarkeit bekommen. Deswegen ist es auch kausal wahrscheinlicher, dass andere Wissenschaftlerinnen und Wissenschaftler den wahrnehmen und deswegen auch wahrscheinlicher, dass sie ihn zitieren werden. Man kann aber auch als zweite gro\u00dfe Hypothese, das ist dann die sogenannte Earmark-Hypothese, davon ausgehen, dass es eben einfach bestimmte Artikel gibt \u2013 und das ist, denke ich, auch einleuchtend \u2013 die haben bestimmte Qualit\u00e4ten, die sind einfach vielleicht ganz besonders, ja besonders gut oder ganz besonders \u00fcberraschend oder tats\u00e4chlich besonders innovativ. Und deswegen sind sie auf der einen Seite f\u00fcr Mitarbeitende in Press Offices oder auch f\u00fcr Journalist:innen besonders attraktiv, in deren Arbeit aufgenommen zu werden. Und unabh\u00e4ngig von dieser journalistischen Aufbereitung auch attraktiv f\u00fcr andere Wissenschaftlerinnen und Wissenschaftler, zitiert zu werden.<\/p>\n\n\n\n<p>[00:34:32] Doreen Siegfried:<br>Also. Ja, also da ich ja aus der Kommunikation komme, w\u00fcrde ich mal sagen, die zweite These ist wahrscheinlich \u2013 also aus meiner Sicht, ich bin jetzt keine Forscherin \u2013 am wahrscheinlichsten, weil nat\u00fcrlich in den Pressestellen auch eine Selektion stattfindet.<\/p>\n\n\n\n<p>[00:34:47] Steffen Lemke:<br>Klar.<\/p>\n\n\n\n<p>[00:34:47] Doreen Siegfried:<br>Also man guckt sich an, welche Forschungsergebnisse sind dann tats\u00e4chlich f\u00fcr potenzielle Leser:innen von Tagespresse, von Tagesmedien interessant. Also was kann ich Journalist:innen anbieten, was ist auch irgendwie verst\u00e4ndlich oder hat irgendwie so ein Wow-Effekt oder was auch immer. Was, wo fragt sich niemand was das soll, sondern wo ist es irgendwie leicht verk\u00e4uflich sozusagen. Und Wissenschaftler:innen anderer F\u00e4cher denken ja \u00e4hnlich.<\/p>\n\n\n\n<p>[00:35:25] Steffen Lemke:<br>Klar.<\/p>\n\n\n\n<p>[00:35:25] Doreen Siegfried:<br>Und gucken auch so, okay, das \u00fcberrascht mich jetzt aber oder damit habe ich nicht gerechnet oder das ist ja jetzt mal ein richtig interessanter Wurf. Das es sozusagen eine Art von Vorselektion ist, die dann ihren Weg einfach nimmt, durch diese ganzen Pressemitteilungen, dann ist es vorselektiert. Die Journalist:innen finden es auch interessant, nehmen das auf, machen einen Bericht dar\u00fcber. Dann lesen andere Wissenschaftler aus anderen Disziplinen das. Denken, wow, das ist aber wirklich interessant. Dann wird es zitiert usw. Es erscheint mir als ein logischer Weg.<\/p>\n\n\n\n<p>[00:35:57] Steffen Lemke:<br>Ja, da stimme ich absolut zu. Trotzdem zum einen, auch wenn sich diese Kriterien, die dann vielleicht eher Journalist:innen oder Pressesprecherinnen und -sprecher w\u00e4hlen, auch wenn die sich \u00fcberschneiden mit denen von Forschenden m\u00fcssen die ja nicht immer gleich sein. Es gibt sicherlich auch Beispiele f\u00fcr Paper, wo man sagen kann, da h\u00e4tten Wissenschaftler ganz starke Argumente daf\u00fcr, warum das zitiert werden sollte. Und medial aufzubereiten ist es trotzdem ganz schwierig oder auch nicht besonders interessant f\u00fcr die meisten Konsumenten. Aber ja, diese Frage, welcher dieser Effekte denn jetzt existiert und ob diese Effekte existieren, also da eine verk\u00fcrzte Antwort auch aus der Dissertation ist, es gibt ganz starke Hinweise und handfeste Argumente daf\u00fcr, dass beide Effekte substanzielle Rollen spielen.<\/p>\n\n\n\n<p>[00:36:48] Doreen Siegfried:<br>Habt ihr denn auch, das w\u00fcrde mich mal methodisch interessieren, habt ihr dann sozusagen auch Pressemitteilungen sozusagen generieren lassen von\u2026 Also habt ihr einfach nur Pressemitteilungen untersucht, die sowieso entstanden sind? Oder wurden Pressestellen auch beauftragt, einfach zu jetzt den n\u00e4chsten Meldungen, sagen wir mal \u00fcber ein halbes Jahr, jedes Forschungsergebnis, was reinkommt, wird einmal nicht gefiltert, sondern ich mache zu jedem, zu jedem Artikel eine Pressemitteilung. Das w\u00fcrde mich mal interessieren, ob\u2026 Das w\u00fcrde n\u00e4mlich gegen diesen Filtereffekt sprechen. Dass man sagt, okay, jedes noch so kleinteilige Forschungsergebnis kriegt jetzt einfach eine Pressemitteilung und dann guckt man mal, was dann passiert.<\/p>\n\n\n\n<p>[00:37:29] Steffen Lemke:<br>Ja, das ist auf jeden Fall eine spannende Idee f\u00fcr eine Fortsetzungsstudie.<\/p>\n\n\n\n<p>[00:37:32] Doreen Siegfried:<br>Ja, guck. [lacht]<\/p>\n\n\n\n<p>[00:37:33] Steffen Lemke:<br>Das w\u00e4re toll, wenn man da kooperierende Pressestellen irgendwie ins Boot holen k\u00f6nnte, weil das w\u00e4re auf jeden Fall spannend, das anzuschauen. Wir haben jetzt hier, gerade weil wir ja auch einen zeitlichen Versatz brauchten, um irgendwie Metriken messen zu k\u00f6nnen, haben wir auf vergangene Pressemitteilungen geguckt.<\/p>\n\n\n\n<p>[00:37:45] Doreen Siegfried:<br>Ja klar.<\/p>\n\n\n\n<p>[00:37:46] Steffen Lemke:<br>Also dieses Jahr 2016. Das ist schon das Jahr, was wir da als Grenze hatten. Weil ja bei bestimmten Metriken, ganz besonders bei Zitationen, auf die wir ja auch geguckt haben, da sagt man eben, es braucht so ein paar Jahre, bis sich da \u00fcberhaupt was stabilisiert. Nach so drei, vier Jahren, da ist dann schon ein Gro\u00dfteil der Zitationen \u2013 oder eher 4 bis 5 Jahren \u2013 da ist bei den meisten Publikationen, die zitiert werden, ein Gro\u00dfteil der Zitationen schon passiert. Da kann man dann was messen. Das ist einigerma\u00dfen stabil. Aber direkt zum Beispiel jetzt, wenn wir jetzt Pressemitteilungen generieren w\u00fcrden und dann irgendwie messen wollen w\u00fcrden, wie wirkt sich das aus auf die Aufmerksamkeit, die dann die jeweiligen Publikationen sp\u00e4ter erhalten, dann m\u00fcssten wir nat\u00fcrlich erst mal jahrelang warten\u2026<\/p>\n\n\n\n<p>[00:38:28] Doreen Siegfried:<br>Ja, klar.<\/p>\n\n\n\n<p>[00:38:29] Steffen Lemke:<br>\u2026bis dann Zitationen sich ansammeln k\u00f6nnten.<\/p>\n\n\n\n<p>[00:38:30] Doreen Siegfried:<br>Okay. Aber das w\u00e4re ja sozusagen ein Appell an alle Wissenschaftlerinnen und Wissenschaftler: Arbeitet gut mit eurer Pressestelle zusammen. Gebt euch M\u00fche. Wenn daraus eine Pressemitteilung wird, dann hat das unmittelbare Effekte auch f\u00fcr die eigene, ja f\u00fcr die eigene Wahrnehmung in der Fachcommunity. So habe ich dich richtig verstanden?<\/p>\n\n\n\n<p>[00:38:48] Steffen Lemke:<br>Ja, also auch da gilt nat\u00fcrlich so dieser Grundsatz, dass wenn man so ganz klein auf Artikelebene unterwegs ist, es dann nicht ganz so belastbar ist, diese Aussage. Also wir k\u00f6nnen jetzt nicht sagen, immer wenn ein Artikel eine Pressemitteilung kriegt, dann kriegt er auch immer garantiert sp\u00e4ter ganz viele Zitationen und ganz viel Aufmerksamkeit. Auch da gibt es nat\u00fcrlich Ausrei\u00dfer nach oben, die das Gesamtbild pr\u00e4gen. Und deswegen, ja also auch wenn es diese Gesamttendenz gibt, kann man nat\u00fcrlich jetzt keinen Forschenden \u2026<\/p>\n\n\n\n<p>[00:39:15] Doreen Siegfried:<br>Man kann nichts versprechen. Nein. Aber man kann nat\u00fcrlich Wissenschaftler:innen einladen, doch mehr nach au\u00dfen zu gehen.<\/p>\n\n\n\n<p>[00:39:21] Steffen Lemke:<br>Das bestimmt, ja.<\/p>\n\n\n\n<p>[00:39:23] Doreen Siegfried:<br>Okay. Welche Rolle spielt denn die aktive Bewerbung auch durch Verlage? Also, es sind ja zum einen die Pressestellen, das hast du gerade schon geschildert. Es gibt ja aber auch die M\u00f6glichkeit, dass Verlage einzelne Artikel sozusagen hervorheben oder auch die Wissenschaftler:innen selbst. Wir hatten es vorhin schon per Twitter oder wie auch immer, gibt es ja noch andere M\u00f6glichkeiten. Welche Rolle spielt das dann f\u00fcr diese Wirkungsmetriken am Ende wieder?<\/p>\n\n\n\n<p>[00:39:53] Steffen Lemke:<br>Ja, also Verlage sind da auf jeden Fall auch ein ganz, ganz aktiver Player quasi. Also gerade was jetzt Pressemitteilungen auf gro\u00dfen Portalen angeht, da gibt es zum Beispiel EurekAlert! als das wahrscheinlich international bekannteste Portal f\u00fcr wissenschaftsbezogene Pressemitteilungen. Und wir haben uns auch angeguckt anhand von repr\u00e4sentativen Stichproben, wer ist denn eigentlich verantwortlich f\u00fcr das, was da passiert. Und neben Pressemitteilungen, die jetzt von Instituten direkt kommen, spielen eben auch wissenschaftliche Verlage da eine gro\u00dfe Rolle und ver\u00f6ffentlichen da viel. Also die Journale, in denen dann die Artikel erscheinen. Und dazu gibt es noch so ein weiteres Format von externer Kommunikation wissenschaftlicher Ergebnisse, die wir uns im Detail angeguckt haben, die sonst relativ wenig Aufmerksamkeit bis jetzt in der Forschung erhalten hat. Und zwar sogenannte Embargo-E-Mails. Denn was Verlage h\u00e4ufig machen, ist, dass sie Vorabversionen von bald erscheinenden wissenschaftlichen Artikeln bei ihnen registrierten Journalist:innen und Journalisten vorab zukommen lassen, eben unter Embargo. Und sagen: \u201eOkay, Ihr d\u00fcrft jetzt schon eure News Storys darauf aufbauen und eure Verarbeitung quasi dieser Artikel vorbereiten, d\u00fcrft aber erst ab einem bestimmten Embargo-Datum\u201c \u2013 was dann oftmals das Erscheinungsdatum jeweils des Artikels ist \u2013 \u201edas Ganze ver\u00f6ffentlichen.\u201c Und das zum Beispiel ist ja so eine Art von externer Bewerbung von Wissenschaft, die ist erst mal viel weniger nachvollziehbar und viel weniger \u00f6ffentlich und sichtbar als jetzt Pressemitteilungen es in der Regel sind. Und auch da aber zum Beispiel sehen wir, dass das ebenfalls da ganz starke Zusammenh\u00e4nge gibt mit den sp\u00e4teren Metriken der beworbenen Artikel. Also auch auf diesem Weg nehmen die Verlage, ist anzunehmen, ganz erheblich Einfluss darauf, welche Forschung sp\u00e4ter irgendwie Wahrnehmung erf\u00e4hrt und Aufmerksamkeit erf\u00e4hrt und damit auch, was diese Metriken sp\u00e4ter sagen werden, welche Forschung ja in gro\u00dfen Anf\u00fchrungszeichen relevant ist.<\/p>\n\n\n\n<p>[00:41:58] Doreen Siegfried:<br>Liegt das denn letztlich an den Verlagen? Weil auch Pressestellen arbeiten ja mit Sperrfrist, dass man sagt, \u201eOkay, hier ist der Artikel, hier haben wir schon mal ein paar Grafiken usw. Ihr d\u00fcrft gerne schon mal den Artikel vorbereiten, vielleicht auch schon mal ein Hintergrundgespr\u00e4ch f\u00fchren mit dem Wissenschaftler oder der Wissenschaftlerin. Aber bitte nicht vor Dienstag 12:00 Uhr ver\u00f6ffentlichen.\u201c Das ist also \u00fcbliche Praxis auch in Pressestellen. Also liegt es daran, dass das Verlage machen, weil sie ein besonderes Renommee haben? Oder ist das tats\u00e4chlich diese, diese Sperrfrist, dieses Embargo, was da so noch mal dem Ganzen so eine besondere Aufmerksamkeit gibt?<\/p>\n\n\n\n<p>[00:42:38] Steffen Lemke:<br>Also vermutlich letzteres. Also das ist nicht auf Verlage beschr\u00e4nkt, ist schon richtig. Grunds\u00e4tzlich gilt nat\u00fcrlich unabh\u00e4ngig davon, welche Stelle jetzt diese Art von Kontakt zu Journalisten hat und die diese Mechanismen nutzt, dass wenn man jetzt auf diese Metriken wieder schaut, dass das f\u00fcr die Validit\u00e4t dieser Metriken als Indikatoren daf\u00fcr eben, was relevant ist oder eben auch in anderen F\u00e4llen, was jetzt eben besondere Aufmerksamkeit verdient, dass das daf\u00fcr Implikationen hat. Also, dass das ein Effekt ist, den muss mindestens die szientometrische Community, aber wahrscheinlich die Wissenschaftscommunity als Ganze, kennen und das wissen, dass in diesen Metriken eben diese Art von Einflussnahme, jetzt ein bisschen \u00fcberspitzt gesagt, dass die da drinsteckt. Und dass das etwas ist, was man kritisch bedenken muss, wenn man eben diese Metriken nutzt.<\/p>\n\n\n\n<p>[00:43:35] Doreen Siegfried:<br>Was mir nat\u00fcrlich da noch durch den Kopf geht: In welchen Konstellationen werden dann tats\u00e4chlich solche Embargo-Pressemitteilungen verschickt? Also sind das, ist das auch wieder mit Selektion verbunden? Also werden solche Embargo-Pressemitteilungen verschickt f\u00fcr ganz besonders wichtige spektakul\u00e4re Forschung? Also ist das sozusagen wirklich nochmal so ein Qualit\u00e4tsindikator, nach dem Motto, okay wir haben wirklich spektakul\u00e4re Forschung und wir geben sie schon mal so ein bisschen vorab als Preview raus. Und weil es so wichtig ist, gibt es dann auch noch ein Embargo usw. Also ist das sozusagen nur noch die Elite der Forschung, die sozusagen mit diesem Embargo rausgeschickt wird?<\/p>\n\n\n\n<p>[00:44:18] Steffen Lemke:<br>Ja, genau das sind Fragestellungen, wo ich ganz dringenden Forschungsbedarf sehe. Und ich glaube auch viele Kolleginnen und Kollegen aus dem Feld. Wo ich glaube, wo es ganz viele interessante Fragen noch zu beantworten gibt. Also da wei\u00df man einfach sehr wenig. Und genau diese Frage, welche Mechanismen bestimmen denn am Ende, was einem Embargo quasi unterworfen wird und was nicht? Das muss man sich nur anschauen. Und das sind auf jeden Fall noch ja spannende Fortsetzungen f\u00fcr diese Arbeiten in der Zukunft.<\/p>\n\n\n\n<p>[00:44:48] Doreen Siegfried:<br>Ja, okay. Ich finde es auch spannend. Okay. Wie k\u00f6nnen dann Impact-Metriken verbessert werden, damit sie die Auswirkungen wissenschaftlicher Forschung besser widerspiegeln? Also du hattest gesagt, okay, man kann verschiedene Sachen nebeneinanderstellen. Aber was gibt es sozusagen noch von deiner Seite f\u00fcr Verbesserungsvorschl\u00e4ge?<\/p>\n\n\n\n<p>[00:45:05] Steffen Lemke:<br>Ja, also zwei grunds\u00e4tzliche Ans\u00e4tze w\u00fcrde ich da sehen. Und das eine ist das jetzt auch von dir schon angesprochene Verbreitern irgendwie der Metriken. Mehr Metriken heranziehen, die Last quasi verteilen, weil jede Metrik hat ihre Schw\u00e4chen, ihre Probleme und ihre Limitationen. Und wenn man zumindest irgendwie eine Bewertungskultur schafft, in der dann nicht auf eine einzelne Metrik geguckt wird, sondern auf zumindest eine breite Vielzahl von Metriken, dann werden hoffentlich eben die Limitationen der Einzelnen ein bisschen abgefedert. Das zweite oder der zweite breite Weg zur Verbesserung der Metriken in der Praxis ist, meiner Meinung nach, die Schaffung von mehr Offenheit. Ganz, ganz allgemein abstrakt. Also auch ja, in eine \u00e4hnliche Kerbe schlagen, die ja grunds\u00e4tzlich ein starkes Bestreben zu mehr Open Science besteht und eine gr\u00f6\u00dfere Sensibilit\u00e4t daf\u00fcr, dass eine offenere Wissenschaft diverse Vorteile f\u00fcr die Gesellschaft bringen kann. Da l\u00e4sst sich auch viel von auf Metriken \u00fcbertragen. Also das beginnt bei den ganz technischen, den Datenerhebungsgrundlagen. Also dieses angesprochene Problem, dass eben viele Metriken, die so in der Praxis verwendet werden, am Ende gar nicht transparent nachvollziehbar sind und nicht durch den Einzelnen oder die Einzelne, die dann vielleicht da bewertet mit wird, auch \u00fcberpr\u00fcfbar oder nachvollziehbar ist, was da eigentlich berechnet wurde. Das ist ein Problem, was man eben mit gr\u00f6\u00dferer Offenheit von Datenquellen, aber auch enen von Berechnungsweisen denke ich, angehen sollte. Und da gibt es auch diverse Initiativen, die in diese Richtung arbeiten. Also da passiert schon viel in diese Richtung, aber etabliert sind eben oft noch Datenquellen und Berechnungen, die eben nicht offen sind, nicht vollst\u00e4ndig nachvollziehbar sind.<\/p>\n\n\n\n<p>[00:46:56] Doreen Siegfried:<br>Ja, okay. Verstehe. Welche Empfehlung hast du denn f\u00fcr Forscher:innen oder welche Empfehlung gibt es f\u00fcr Forscher:innen, F\u00f6rderorganisationen oder auch andere Interessensgruppen, um die Verwendung von Impact-Metriken als Forschungsindikatoren zu verbessern?<\/p>\n\n\n\n<p>[00:47:13] Steffen Lemke:<br>Ja. Also da gab es in den letzten Jahren ein paar sehr einflussreiche und viel Aufmerksamkeit erregende Publikationen zu. Also zum einen das schon erw\u00e4hnte Leidener Manifest ist so eine Anlaufstelle. Wenn jetzt jemand kommt und sagt \u201eIch m\u00f6chte mal wissen, was sind eigentlich die wichtigsten Limitationen oder die wichtigsten Aspekte, die ich bedenken muss, wenn ich jetzt in irgendeiner wichtigen Entscheidung oder irgendeinem Evaluationsprozess Metriken nutzen m\u00f6chte.\u201c Das w\u00e4re so die erste Adresse, wo sehr kompakt, also das kann man in wenigen Minuten wahrscheinlich durchlesen, das wichtigste zusammengefasst ist. In \u00e4hnlicher Richtung kann man dann auch noch die DORA Declaration on Research Assessment nennen. Das war ein anderes, viel Aufmerksamkeit erregendes, eine Ver\u00f6ffentlichung, wo es dann speziell um journalbasierte Metriken viel geht. Oder auch wenn es einen ausf\u00fchrlicher interessiert, dann gibt es noch den Metric Tide Report. Das ist auch ein Dokument, was sehr ausf\u00fchrlich auf die verschiedenen Problematiken im Umgang mit solchen Metriken eingeht, wovon wir ja auch viel heute angerissen haben hier. Und dann wiederum so f\u00fcr Einzelpersonen, die sagen, grunds\u00e4tzlich interessiert mich das Thema oder ich habe jetzt eine einzelne Metrik und m\u00f6chte kompakt und schnell irgendwie Informationen dar\u00fcber einsehen. Was wei\u00df man denn, was so deren St\u00e4rken und Schw\u00e4chen angeht? Dann gibt es eine Ressource namens Metrics Toolkit. Das kann man, wenn man es einfach googelt, dann findet man das schnell. Und das ist wiederum von den Forschenden aus meinem Bereich. Kuratierte Informationen, wo auch sehr \u00fcbersichtlich und kompakt dargestellt wird, was sind die wichtigsten Lessons, die man so mitnehmen sollte, was bestimmte Metriken angeht. Das so als Fingerzeige, wo man hingucken kann.<\/p>\n\n\n\n<p>[00:49:04] Doreen Siegfried:<br>Ja, okay. Da sind wir ja auch schon bei unserer letzten Frage. Wahrscheinlich \u00fcberlappt sich das jetzt. Also welchen Tipp hast du denn f\u00fcr unsere Zuh\u00f6rer:innen bezogen auf Relevanzindikatoren?<\/p>\n\n\n\n<p>[00:49:14] Steffen Lemke:<br>Ja, also eben, wenn es darum geht, weitere vertiefende Informationen einzuholen, dann die gerade schon erw\u00e4hnten. Und sonst, auf die Gefahr hin, dass ich mich da auch wiederhole, aber eben sich bewusst zu sein, dass eben diese Metriken, gerade wenn man jetzt einzelne Entit\u00e4ten anguckt, eine sehr beschr\u00e4nkte Aussagekraft haben. Es gibt da so eine Analogie, die habe ich mal in einem Vortrag vom Kollegen Bj\u00f6rn Hammarfelt geh\u00f6rt. Auch wenn ich nicht ganz sicher bin, ob er der urspr\u00fcngliche Urheber ist. Aber der hatte mal das illustriert, man solle Metriken als eine Waage verstehen, die zwar ganz verl\u00e4sslich einen Elefanten aus einer Menge von Hasen ermitteln kann, aber die nicht geeignet ist, um eine Kuh von einem Pferd zu unterscheiden.<\/p>\n\n\n\n<p>[00:49:54] Doreen Siegfried:<br>Okay. [lacht]<\/p>\n\n\n\n<p>[00:44:54] Steffen Lemke:<br>Und einfach so, grunds\u00e4tzlich so diese Denkweise, dass Metriken durchaus nat\u00fcrlich n\u00fctzlich sein k\u00f6nnen, um irgendwie herausragende Entit\u00e4ten zu identifizieren, aber eben nicht, um solche Detailvergleiche zwischen sich sehr \u00e4hnelnden Einzelentit\u00e4ten vorzunehmen. Das ist eigentlich so eine ganz, ganz gute, grunds\u00e4tzliche Lehre, glaube ich.<\/p>\n\n\n\n<p>[00:50:11] Doreen Siegfried:<br>Ja, okay.<\/p>\n\n\n\n<p>[00:50:12] Steffen Lemke:<br>Und auch bei aller Negativit\u00e4t, die jetzt vielleicht jetzt so zum Thema Metriken angeklungen ist hier, weil es geht ja nun mal in der Forschung der Metriken ganz stark darum, rauszufinden, wof\u00fcr sollte man sie nicht benutzen und was sind ihre Schw\u00e4chen, \u00fcber die man Bescheid wissen muss? Man sollte jetzt nat\u00fcrlich nicht als Fazit daraus ziehen, dass die Tatsache, dass wir diese technischen M\u00f6glichkeiten haben, so viel verschiedene Metriken zu erfassen und zu beobachten, dass das irgendwie nutzlos w\u00e4re. Ganz und gar nicht. Also, dass man jetzt grunds\u00e4tzlich so viele M\u00f6glichkeiten mehr hat, auch gerade im Bereich Altmetrics nachzuvollziehen, wie und wo denn eigentlich irgendwie Forschung verwendet wird und von wem es irgendwie aufgegriffen wird. Das ist schon an sich eine gro\u00dfartige Sache, womit man viele sehr, sehr interessante Beobachtungen anstellen kann und Beschreibungen vornehmen kann, wie denn eigentlich Wissenschaft sich verbreitet und funktioniert und wie sie genutzt wird. Deswegen also zum Abschluss vielleicht von mir noch mal als positives Fazit. Da l\u00e4sst sich sehr, sehr viel Nutzen, auch rausziehen aus dieser reichhaltigen Metrics-Landschaft.<\/p>\n\n\n\n<p>[00:51:15] Doreen Siegfried:<br>Ja, es ist auf jeden Fall sehr spannend, was mit der eigenen Forschung, die man da in wochenlanger, wenn nicht ja jahrelanger Arbeit irgendwie hervorgebracht hat, dann am Ende irgendwie so passiert. Okay, ich danke dir, Steffen. Vielen Dank auch an unsere Zuh\u00f6rerinnen und Zuh\u00f6rer an den Kopfh\u00f6rern. Ich hoffe, es hat Ihnen gefallen. Wir werden die wichtigsten Links in die Shownotes packen. Lesen Sie sich das da gerne durch. Lassen Sie uns auch gerne Feedback da, sei es via Email, Twitter, YouTube oder LinkedIn. Und ich lade Sie nat\u00fcrlich herzlich ein, abonnieren Sie flei\u00dfig auf iTunes oder Spotify oder \u00fcberall da, wo man sonst Podcast h\u00f6rt. Ich freue mich aufs n\u00e4chste Mal.<\/p>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","template":"","meta":{"footnotes":""},"tags":[167,31,170,171,172,169,33],"class_list":["post-76","podcast","type-podcast","status-publish","hentry","tag-altmetrics","tag-forschung","tag-impact","tag-impact-indikatoren","tag-kennzahlen","tag-wirkungsmetriken","tag-wissenschaft","post"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.0 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>FOS 28 Relevanz von Forschungsoutput<\/title>\n<meta name=\"description\" content=\"Dr. Steffen Lemke bringt Licht in den Dschungel der vielen Impact-Indikatoren zur Messung der Relevanz von Forschungsoutput.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"FOS 28 Relevanz von Forschungsoutput\" \/>\n<meta property=\"og:description\" content=\"Dr. Steffen Lemke bringt Licht in den Dschungel der vielen Impact-Indikatoren zur Messung der Relevanz von Forschungsoutput.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/\" \/>\n<meta property=\"og:site_name\" content=\"The Future is Open Science\" \/>\n<meta property=\"article:modified_time\" content=\"2026-01-16T11:47:44+00:00\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data1\" content=\"46\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/\",\"name\":\"FOS 28 Relevanz von Forschungsoutput\",\"isPartOf\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#website\"},\"datePublished\":\"2023-05-22T07:19:51+00:00\",\"dateModified\":\"2026-01-16T11:47:44+00:00\",\"description\":\"Dr. Steffen Lemke bringt Licht in den Dschungel der vielen Impact-Indikatoren zur Messung der Relevanz von Forschungsoutput.\",\"breadcrumb\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Start\",\"item\":\"https:\/\/podcast.zbw.eu\/fos\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Episoden\",\"item\":\"https:\/\/podcast.zbw.eu\/fos\/podcast\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"FOS 28 Relevanz von Forschungsoutput\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#website\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/\",\"name\":\"The Future is Open Science\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/podcast.zbw.eu\/fos\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#organization\",\"name\":\"The Future is Open Science\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif\",\"contentUrl\":\"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif\",\"width\":572,\"height\":98,\"caption\":\"The Future is Open Science\"},\"image\":{\"@id\":\"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"FOS 28 Relevanz von Forschungsoutput","description":"Dr. Steffen Lemke bringt Licht in den Dschungel der vielen Impact-Indikatoren zur Messung der Relevanz von Forschungsoutput.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/","og_locale":"de_DE","og_type":"article","og_title":"FOS 28 Relevanz von Forschungsoutput","og_description":"Dr. Steffen Lemke bringt Licht in den Dschungel der vielen Impact-Indikatoren zur Messung der Relevanz von Forschungsoutput.","og_url":"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/","og_site_name":"The Future is Open Science","article_modified_time":"2026-01-16T11:47:44+00:00","twitter_card":"summary_large_image","twitter_misc":{"Gesch\u00e4tzte Lesezeit":"46\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/","url":"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/","name":"FOS 28 Relevanz von Forschungsoutput","isPartOf":{"@id":"https:\/\/podcast.zbw.eu\/fos\/#website"},"datePublished":"2023-05-22T07:19:51+00:00","dateModified":"2026-01-16T11:47:44+00:00","description":"Dr. Steffen Lemke bringt Licht in den Dschungel der vielen Impact-Indikatoren zur Messung der Relevanz von Forschungsoutput.","breadcrumb":{"@id":"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/podcast.zbw.eu\/fos\/2023\/05\/22\/fos-28-relevanz-von-forschungsoutput\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Start","item":"https:\/\/podcast.zbw.eu\/fos\/"},{"@type":"ListItem","position":2,"name":"Episoden","item":"https:\/\/podcast.zbw.eu\/fos\/podcast\/"},{"@type":"ListItem","position":3,"name":"FOS 28 Relevanz von Forschungsoutput"}]},{"@type":"WebSite","@id":"https:\/\/podcast.zbw.eu\/fos\/#website","url":"https:\/\/podcast.zbw.eu\/fos\/","name":"The Future is Open Science","description":"","publisher":{"@id":"https:\/\/podcast.zbw.eu\/fos\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/podcast.zbw.eu\/fos\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/podcast.zbw.eu\/fos\/#organization","name":"The Future is Open Science","url":"https:\/\/podcast.zbw.eu\/fos\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/","url":"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif","contentUrl":"https:\/\/podcast.zbw.eu\/fos\/wp-content\/uploads\/sites\/2\/2025\/12\/ZBW_Logo.gif","width":572,"height":98,"caption":"The Future is Open Science"},"image":{"@id":"https:\/\/podcast.zbw.eu\/fos\/#\/schema\/logo\/image\/"}}]}},"_links":{"self":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes\/76","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes"}],"about":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/types\/podcast"}],"author":[{"embeddable":true,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/comments?post=76"}],"version-history":[{"count":8,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes\/76\/revisions"}],"predecessor-version":[{"id":648,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/episodes\/76\/revisions\/648"}],"wp:attachment":[{"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/media?parent=76"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/podcast.zbw.eu\/fos\/wp-json\/wp\/v2\/tags?post=76"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}