Folge 47: Gamification im Kontext von Open Access

The Future is Open Science – Folge 47: Gamification im Kontext von Open Access

Audio

Dr. Doreen Siegfried
Leitung Marketing und Public Relations, ZBW – Leibniz-Informationszentrum Wirtschaft

Dr. Athanasios Mazarakis
Wissenschaftlicher Mitarbeiter und Postdoc, Forschungsabteilung Web Science, ZBW – Leibniz-Informationszentrum Wirtschaft

[00:00:00] Intro

[00:00:03] Athanasios Mazarakis:
Reputation ist extrem wichtig. Und das war auch mit Abstand wirklich die Wahl Nummer eins, durchgehend. Journal Impact Factor, ein Journal mit einer hohen Reputation wird immer an erster Stelle gewählt.

[00:00:19] Athanasios Mazarakis:
Man muss es halt so anwenden, dass es halt nicht einfach nur ist: Hier, ich folge der Karotte. Also es kann nicht sein, dass, hier Du kriegst den Badge und dann kriegst du dafür irgendwie, keine Ahnung, noch einen zusätzlichen Vorteil. Sondern es muss ganz klar für Open Science, für Open Access…

[00:00:41] Athanasios Mazarakis:
Aber wenn wir ein bisschen mehr Fairness schaffen könnten, indem wir wirklich diese spielerischen Elemente verwenden und diese transparent angezeigt werden, dann haben wir eigentlich alle davon profitiert.

[00:01:02] Doreen Siegfried:
Hallo und herzlich willkommen zu einer neuen Folge von „The Future is Open Science“, dem Podcast der ZBW. Mein Name ist Doreen Siegfried und ich treffe mich hier mit ganz unterschiedlichen Leuten aus dem Wissenschaftsbetrieb, die Ihnen verraten, wie sie in ihrer täglichen Arbeit Open Science voranbringen. Heute sprechen wir über Gamification, das heißt über Spielelemente, und darüber, wie diese im wissenschaftlichen Alltag ganz bekannte Routinen, wie beispielsweise das Publizieren, verändern können. Unser heutiger Gast ist wissenschaftlicher Mitarbeiter und Postdoc in der Forschungsabteilung der ZBW. Und der Diplompsychologe und promovierte Wirtschaftswissenschaftler forscht im Bereich Web Science mit einem Schwerpunkt auf Informatik und digitalen Wissensprozessen. Herzlich willkommen, Dr. Athanasios Mazarakis.

[00:01:54] Athanasios Mazarakis:
Hallo.

[00:01:56] Doreen Siegfried:
Du hast zusammen, jetzt gerade kürzlich, zusammen mit Paula Bräuer und Isabelle Dorsch aus der Web-Science-Forschungsgruppe eine umfassende Studie durchgeführt zu den Potenzialen von Spielelementen, um Forschende zu motivieren, im Open Access zu publizieren. Warum habt Ihr Euch an das Thema rangemacht? Warum habt Ihr Euch entschieden, Gamification in diesem Kontext zu untersuchen?

[00:02:21] Athanasios Mazarakis:
Ja, ich meine die Problematik mit Open Science und Open Access, dass dafür mehr gemacht werden soll, die ist ja immer noch vorhanden. Es ist ja bei mir kein Geheimnis, wir hatten ja schon einen Podcast zu Gamification, das ist ja eines meiner Steckenpferde. Und wir hatten Forschungsprojekte im Zeitraum davor, wo wir uns auch mit Open Access und auch zum Teil mit Anreizsystemen, unter anderem mit Gamification, beschäftigt haben. Ja, und dann kam irgendwann mal so die Idee: Hm, was wäre, wenn man beides kombinieren würde? Wenn man es schaffen würde, die Motivation zum Publizieren im Bereich von Open Access mit Gamification zu kombinieren? Wie könnte man das angehen? Welche Möglichkeiten gibt es dazu? Und funktioniert das überhaupt?

[00:03:04] Doreen Siegfried:
Ja, okay. Für alle, die vielleicht nicht so in diesem ganzen Open-Access-, Open-Science-Thema drin sind: Welche spezifischen Herausforderungen im Bereich Open Access wolltet Ihr denn mit der Studie adressieren? Oder anders formuliert: Was war eigentlich das Problem?

[00:03:18] Athanasios Mazarakis:
Ja, das Problem ist für alle Wissenschaftlerinnen und Wissenschaftler: Ich schreib vielleicht mal was und ich möchte das gerne publizieren. Und dann habe ich die Problematik: Wo publiziere ich das? Und da bieten sich Konferenzen an, da haben wir dann Proceedings. Aber hochkarätiger sind normalerweise Journals, also wissenschaftliche Zeitschriften. Und da gibt es leider nicht nur eine wissenschaftliche Zeitschrift, sondern zwei, drei, vier, fünf, tausend oder noch mehr, die jeweils relevant sein könnten. Und da unterscheiden die sich. Bei einigen kann ich Open Access kostenlos publizieren. Das heißt also, wenn ich dort es schaffe, angenommen zu werden mit meiner Publikation, dann ist mein Beitrag, den ich geleistet habe, frei verfügbar für die gesamte Welt. Dann gibt es aber Closed Access, das heißt, da haben wir ein Abo-Modell, wo dann quasi ich dafür bezahlen muss oder die Bibliothek muss bezahlen oder wer auch immer. Also es ist hinter einer Paywall und ich komme nicht ohne Weiteres ran. Und dann gibt es dann viele unterschiedliche Varianten wie Gold Open Access und Green Open Access und so weiter und so fort. Ja, und die Frage ist am Ende des Tages: Für was entscheide ich mich? Nach welchen Kriterien würde ich als Wissenschaftlerin oder Wissenschaftler dann vorgehen, um zu entscheiden, wo publiziere ich?

[00:04:41] Doreen Siegfried:
Ja, okay. Und was war für Euch der ausschlaggebende Punkt (mal abgesehen davon, dass du natürlich als Gamification-Forscher gerne dich mit Gamification beschäftigst), diesen möglichen Anreiz tatsächlich für Open-Access-Publikationen überhaupt in Betracht zu ziehen?

[00:04:58] Athanasios Mazarakis:
Simpel gesagt es wurde noch nicht gemacht. Es gibt unterschiedliche Initiativen, um eben Anreize bzw. Anreizsysteme für den Bereich Open Science, speziell auch Open Access, zu etablieren. In den Niederlanden sind sie da schon dabei. Da wurde schon einiges gemacht. Aber auch sonst gab es immer mal wieder die Idee, wo dann gesagt wurde, „Ja, wir brauchen mehr Anreize, wir brauchen mehr Anreizsysteme“. Häufig war das damit kombiniert mit monetären Anreizsystemen. Das Problem mit den monetären Anreizsystemen ist, okay, das muss dann halt jemand bezahlen und dann wird es halt ein bisschen schwieriger. Und dann komme ich halt zu meinem Steckenpferd, den nicht monetären Anreizen. Da hatten wir eben hier auch weitere Personen dazu. Wir haben dazu zu diesen Bereichen auch schon geforscht im Allgemeinen, ob man Open Access und nicht monetäre Anreize miteinander kombinieren kann. Das war in einer sehr kleinen Studie schon mal erfolgreich und nun dachten wir uns okay, das ist ein immer noch sehr relevantes Problem. Wollen wir es mal auf ein praktisches Problem anwenden, also auf die Auswahl des Publikationsmediums der Zeitschrift für eine Wissenschaftlerin oder einen Wissenschaftler. Und schauen wir mal, ob man da was mit Gamification machen kann oder nicht.

[00:06:09] Doreen Siegfried:
Ja, okay. Wie seid Ihr denn konkret vorgegangen?

[00:06:12] Athanasios Mazarakis:
Du meinst jetzt die Studie? Also wie…

[00:06:15] Doreen Siegfried:
Genau. Also, wie habt Ihr… Was habt Ihr genau gemacht?

[00:06:17] Athanasios Mazarakis:
Okay. Also. Wir haben uns auf eine Studie als… eine Studie als Orientierung genommen, Lemke und Kollegen und Kolleginnen. Da wurde eine Conjoint-Analyse durchgeführt. Da will ich jetzt nicht zu spezifisch reingehen, aber kurz erklären, was eine Conjoint-Analyse ist. Gehen wir mal davon aus, in unserem Beispiel haben wir es mit einem Stuhl… Machen wir das mal anders. Ich möchte mir gerne ein neues Auto kaufen. So ein Auto hat verschiedene Attribute: Farbe, PS-Anzahl, Türen und den Preis. Farben: Blau, Grün, Rot, Weiß, was auch immer. PS, sagen wir mal 100 PS, 150 und 200 PS. Preis, ich wollte schon sagen… ja, 30, 40, 50.000 € usw. Das heißt also, wir haben unterschiedliche Faktoren mit unterschiedlichen Attributsausprägungen. Und leider ist das halt alles nicht so eindeutig. Also wenn ich mir zum Beispiel ein teureres Auto kaufe, dann bezahle ich dafür mehr, was an sich nicht so gut ist. Ich kriege aber vielleicht mehr PS, aber vielleicht nicht in meiner Wunschfarbe. Wie gesagt, ein fiktionales Beispiel. Und das alles so in Einklang zu bringen, ist ein bisschen schwierig. Und genau das macht jetzt so eine Conjoint-Analyse. Eine Conjoint-Analyse gibt Dir zu einer bestimmten Frage in dem Kontext „Welches Auto würdest du gerne kaufen?“ unterschiedliche Fahrzeuge. Also du kriegst vielleicht jetzt angezeigt drei Autos, einen Dreitürer, der kostet 15.000 € in der Farbe Weiß, einen Fünftürer in der Farbe Blau für 25.000 € und der hat 100 PS. Der davor hat vielleicht nur 50 PS. Und dann ein drittes Auto mit 200 PS, aber das kostet dann vielleicht 50.000 € in der Farbe Rot. Du triffst danach eine Auswahlentscheidung und rankst und sagst okay, das rote Auto ist zwar schön, finde ich eine gute Farbe, ist mir zu teuer, kommt aber vielleicht an die zweite Stelle. Das günstige Auto passt, kommt an die erste Stelle und an die letzte Stelle kommt so das Auto, was nur so mittel ist in den ganzen Ausprägungen. Und das ist eine Auswahlentscheidung, beziehungsweise eigentlich hast du da drei Auswahlentscheidung getroffen. Jetzt kommt es darauf an, wie viel Attributsausprägungen wir haben. Wenn wir ganz viele haben, dann multipliziert sich das alles. Und theoretisch könntest du jedes Auto abfragen und dann eventuell herausfinden, welches halt häufiger oben landet und welches nicht so häufig genannt wird. Würde aber bedeuten, dass wir den Leuten sehr, sehr, sehr viele Fragen stellen. Und jetzt kommt diese Conjoint-Analyse zum Tragen. Anhand von mathematischen Formeln und Algorithmen werden bestimmte Merkmalskombinationen ausgesucht, die häufiger vorkommen. Gleichzeitig geben wir aber den Personen, die dann an diesem Experiment teilnehmen, Choice-Sets, also so Sets, wo eben bestimmte Ausprägungen häufiger vorkommen. Und da können sie das dann entscheiden, ohne alle Auswahlentscheidungen treffen zu müssen. Also sie kriegen nur einen Teil davon, der allerdings so abgesichert ist, dass alle relevanten Merkmalsausprägungen vorhanden sind. Ja, und dann gebe ich halt so… in unserem Beispiel waren das halt 15 mal die Sachen. 15 Entscheidungen, wie ranke ich drei Journals? Also, bei welchem Journal würde ich eher publizieren? Nummer eins, Nummer zwei, Nummer drei. Und die haben sich dann unterschieden in mehreren Varianten. In dem konkreten Fall haben wir untersucht: Gamification. Da kann ich wahrscheinlich gleich noch was dazu erzählen, mit welchen…

[00:10:03] Doreen Siegfried:
Ja, gerne.

[00:10:05] Athanasios Mazarakis:
…Attributen. Wir haben den Journal Impact Factor untersucht. Der Journal Impact Factor bedeutet ja… Das ist ein biometrisches Maß, wie häufig oder wie relevant in den letzten Jahren eine wissenschaftliche Zeitschrift war und den Preis. Also die Artikel Process Charge. Also, wie viel kostet es mich, einen Artikel OA zu publizieren? Da hatten wir dann unterschiedliche Varianten und entweder kostet das gar nichts, dann war es quasi Closed Access, oder aber der höchste Betrag war 2.800 €. Beim Journal Impact Factor hatten wir auch drei Varianten, so von null, fünf und einen dreißiger Impact Factor. Und dann hatten wir fünf Varianten von Gamification.

[00:10:50] Doreen Siegfried:
Okay. Also ich fasse noch mal zusammen oder ich versuche mal, das in meinen Worten noch mal wiederzugeben, wie die Methode funktioniert. Also, wenn wir bei diesem Auto-Beispiel bleiben, das heißt, ich habe verschiedene Faktoren, Anzahl der Türen, Farbe und Preis und PS, also vier und sag, das ist mir alles gleich wichtig. Und dann stelle ich hinterher fest, naja, die Farbe ist mir doch nicht so wichtig, weil ich merke, wenn ich mich entscheiden muss, der Preis ist entscheidend oder die Anzahl der Türen oder die PS. Okay, also man kriegt dann letztlich so raus, was ist dann den Leuten wirklich wichtig.

[00:11:22] Athanasios Mazarakis:
Ja.

[00:11:24] Doreen Siegfried:
Ja. Okay.

[00:11:25] Athanasios Mazarakis:
Aber das funktioniert. Weil man ist sonst halt mit dieser allgemeinen Entscheidung überfordert. Ich weiß in dem Moment nicht so genau, was mir wichtig ist, weil ich denke mir, es ist alles gleich wichtig. Die Realität ist eine andere. Ich habe bestimmte Präferenzen, die versucht man dann ein bisschen dann dadurch heraus zu kitzeln.

[00:11:43] Doreen Siegfried:
Ja, ja, okay. Ja. Gut. Okay. Also, das ist jetzt die Methode. Und wie kommt da jetzt Gamification ins Spiel?

[00:11:52] Athanasios Mazarakis:
Ja, eine von den Varianten, oder mit den Attributsausprägungen, ist halt Gamification. Und es gibt ja schon so Bestrebungen. Es gibt auch ein paar alte Paper, wo das dann schon untersucht wurde. Was wäre, wenn man zum Beispiel entweder den Personen selber eine Kenntlichmachung geben könnte, zum Beispiel auf einer Profilseite. Dass man sagt, hier, Du kannst darstellen, Du hast zum Beispiel so häufig schon Open Access publiziert. Oder aber zum Beispiel auf dem publizierten Artikel selber, dass man darauf einen… zum Beispiel ein Badge, also ein Abzeichen, darauf hat, um zu kennzeichnen, dass ich als Autorin oder Autor dementsprechend hier einen Open-Access-Artikel habe.

[00:12:35] Doreen Siegfried:
Ja, okay, alles klar. Wie habt Ihr denn… Es gibt ja verschiedene Gamificationelemente. Wie habt Ihr die ausgewählt, die dann letztlich in der Studie untersucht wurden?

[00:12:48] Athanasios Mazarakis:
Da haben wir eine sehr breite Erfahrung mittlerweile, weil wir mittlerweile sehr, sehr viele unterschiedliche Elemente untersucht haben. Was sich hier wahrscheinlich weniger gut angeboten hätte, wäre sowas wie eine Story. Also dass ich dann erkläre, hier, da ist das passiert und so weiter und so fort. Nein, wir wollten relativ klare, eindeutige, einfach zu verstehende Gamification-Spiel-Design-Elemente nehmen. Da bieten sich eigentlich so die Klassiker an. Die Klassiker werden genannt bei uns: Das sind die Punkte, das sind die Badges und auch ein Leaderboard. Leaderboard ist etwas, was wir eigentlich nicht in unserer Macht haben. Das wäre etwas, was vielleicht für Publisher relevant wäre, die dann zeigen wollen, wer hat besonders viel in OA publiziert. Was man allerdings sehr gut verwenden kann, sind Punkte. Und am besten, was man verwenden kann, ist einfach ein Abzeichen. Und ja, das waren so die Klassiker. Wir haben uns dann noch andere Sachen überlegt, was man dann noch machen könnte. Das Problem ist, je mehr Elemente wir haben, desto mehr Merkmalsausprägungen haben, desto länger müssen wir dann natürlich unsere Probandinnen und Probanden dann mit unserem Experiment quälen. Und das wollten wir natürlich nicht. Also haben wir uns dann für ein paar klassische entschieden.

[00:14:02] Doreen Siegfried:
Ja, okay, das verstehe ich. Gab es denn Herausforderungen bei der Gestaltung und Durchführung des Experiments, also jetzt bei der Rekrutierung der Teilnehmer:innen zum Beispiel?

[00:14:13] Athanasios Mazarakis:
Das nicht so sehr. Ich meine, wir wurden auch sehr gut unterstützt von der ZBW. Da hatten wir die Möglichkeit, auf eine Mailingliste zurückzugreifen, was natürlich eine Herausforderung ist. Das kann man nicht einfach so machen. Also man kann nicht einfach jetzt sagen: Hier, dann stell Dir mal vor, das ist so und so und mach mal. Sondern das muss halt natürlich programmiert werden. Programmierung bedeutet, das muss gut aussehen auf den Smartphones und auf den unterschiedlichen Betriebssystemen, weil die immer relevanter sind, oder auf dem Tablet. Und der klassische Desktop-PC spielt zwar noch eine Rolle, aber ist nicht mehr so wichtig. Ja und dann muss halt getestet, getestet und nochmals getestet werden. Und was wir hatten, war eine sehr nette Animation, wo Du dann diese Zeitschriften nehmen konntest und dann rüber ziehen musstest.

[00:15:04] Doreen Siegfried:
Ah.

[00:15:04] Athanasios Mazarakis:
Also, das war nicht nur ein Anklicken oder so,…

[00:15:06] Doreen Siegfried:
Ja.

[00:15:06] Athanasios Mazarakis:
…sondern es war ein willentlicher Prozess. Ich muss die Sachen in eine bestimmte Reihenfolge reinbringen.

[00:15:14] Doreen Siegfried:
Okay, das heißt, Du musstest richtig mit der Maus da drauf klicken. Okay.

[00:15:16] Athanasios Mazarakis:
Ja. Oder mit dem Finger halt.

[00:15:18] Doreen Siegfried:
Oder mit dem Finger. [lacht] Haben denn die meisten Leute das mobil gemacht? Könnt ihr das irgendwie sehen?

[00:15:22] Athanasios Mazarakis:
Das haben mobil gemacht. Aber es gibt halt allgemeine Statistiken. Also ich glaube schon seit acht, neun Jahren ist mobil einfach das ja vorrangige Medium.

[00:15:36] Doreen Siegfried:
Mobile first. Ja, okay. Und welche Rückmeldungen von den Teilnehmerinnen und Teilnehmern fandest du denn am interessantesten oder auch am überraschendsten?

[00:15:45] Athanasios Mazarakis:
Am überraschendsten, dass sie es gut fanden.

[00:15:50]
[beide lachen]

[00:15:50] Athanasios Mazarakis:
Ich habe gedacht, okay, was ist denn das für ein weltfremdes Ding hier, was Ihr oder so habt? Weil die Gefahr besteht immer. Man denkt okay. Interessiert das eigentlich die Leute? Nein. Wir waren sehr überrascht über die positiven Kommentare. Ich war allerdings, oder wir waren allerdings, über einen Aspekt überrascht. Nämlich in Bezug auf die Bezahlung der Open-Access-Gebühren. Da wurde uns sehr häufig gesagt, ja, das haben sie alles hier schön und gut und brav ausgefüllt. Allerdings ihnen persönlich sind die Gebühren ─ also den Probanden ─ egal, weil häufig die Gebühren auch übernommen werden von den Organisationen, wo die Personen arbeiten. Ob das jetzt wirklich in der Realität immer so problemlos funktioniert, wissen wir nicht. Ich weiß aus eigener Erfahrung, dass die Übernahme kompletter Gebühren nicht immer funktioniert. Wir haben zwar Projekt DEAL und das funktioniert halt für sehr viele Zeitschriften gut, aber für andere zum Beispiel…   Also, ich weiß jetzt hier an der Christian-Albrechts-Universität zu Kiel, wenn Du da nicht im Projekt DEAL drin bist, sondern allgemein in so einem Open-Access-Journal publizierst, werden zum Beispiel nur die Gebühren bis 2.000 € übernommen. Alles über 2.000 €, fehlt das Geld.

[00:17:09] Doreen Siegfried:
Ja, ich glaube, das hängt damit zusammen, was für eine Art von Uni Du bist. Wie gut ausgestattet die ist.

[00:17:14] Athanasios Mazarakis:
Korrekt.

[00:17:15] Doreen Siegfried:
Also das Thema… Wir hatten ja diese Open-Science-Studie dieses Jahr ─ das Thema Autorengebühren spielt halt auch eine große Rolle als Hindernis. Naja, okay.

[00:17:23] Athanasios Mazarakis:
Und das ist dann ein Problem. Und einfach mal salopp gesagt, wenn ich dann einen Tausender noch alleine bezahlen muss für meine eigene Arbeit, das ist schwierig.

[00:17:34] Doreen Siegfried:
Ja, das ist ja gerade für junge Wissenschaftler:innen ein Monatseinkommen, also…

[00:17:38] Athanasios Mazarakis:
Das kommt noch erschwerend dazu, ja.

[00:17:40] Doreen Siegfried:
Ja, okay. Das ist natürlich eine Überraschung, wenn man denkt, Geld ist sozusagen der alles entscheidende Faktor, dass das bei Euren Proband:innen das nicht so war. Wie hast Du denn die qualitative Komponente der Studie integriert und welche zusätzlichen Aspekte hat die letztlich noch geliefert? Oder Einblicke?

[00:18:01] Athanasios Mazarakis:
Da muss man einfach zugeben, das ist sowohl ein Vorteil als auch eine Schwäche unserer Studie. Wir haben einen sehr großen Anteil an Ökonominnen und Ökonomen, bzw. BWLlern, die daran teilgenommen haben. Das liegt an der Mailingliste bzw. natürlich an der ZBW. Die ist halt für die Wirtschaftswissenschaften primär zuständig. Wir haben auch andere rekrutiert, aber 3/4 sind halt trotzdem aus dem BWL-Bereich oder dem VWL-Bereich. Gleichzeitig, das war auch ein bisschen überraschend, haben wir ebenfalls knapp 3/4 Professorinnen und Professoren, die an der Studie teilgenommen haben.

[00:18:36] Doreen Siegfried:
Ah, okay.

[00:18:37] Athanasios Mazarakis:
Und natürlich einen deutschsprachigen Bias mit Deutschland, Österreich und der Schweiz. Das sind alles Aspekte, die für die Generalisierbarkeit der Studie auf jeden Fall eine Limitation darstellen. Nichtsdestotrotz wir haben eine relativ große Stichprobe mit über 350 Personen. Und wenn man sich die Studienlage anschaut ─ und das haben wir dann eben ja auch gemacht in unserem Related Work ─ es gibt wenig Anzeichen dafür, dass es woanders anders aussieht. Wir haben die Problematik mit dem globalen Norden und dem globalen Süden. Ich würde mal sagen, unsere Ergebnisse sind für den globalen Norden durchaus repräsentativ. Für den globalen Süden sieht das natürlich komplett anders aus. Also das, was ich gerade eben gesagt habe mit Geld, spielt da keine Rolle.

[00:19:24] Doreen Siegfried:
Das sieht es da wahrscheinlich komplett anders.

[00:18:26] Athanasios Mazarakis:
Das spielt da definitiv eine Rolle. Die kriegen zwar dort auch ihre Voucher und Rabatte und was auch immer, aber in den entsprechenden Diskussionsforen kriegt man das halt mit. Und die müssen dann vielleicht keine 3.000 € bezahlen, sondern nur in Anführungszeichen 300 €. Aber die 300 € sind dann für die dann trotzdem drei, vier Monatsgehälter. Das ist nicht machbar.

[00:19:46] Doreen Siegfried:
Das verstehe ich. Was sind denn jetzt Eure Ergebnisse?

[00:19:49] Athanasios Mazarakis:
Ja, da haben wir ja schon ein bisschen drumherum geredet. Also, was sind unsere Ergebnisse? Wir haben Gamification untersucht, wir haben die Kosten untersucht und wir haben den Journal Impact Factor untersucht. Und ein, finde ich, ernüchterndes ─ für mich jedenfalls als Open-Science-Menschen ─ Ergebnis ist, am Journal Impact Factor kommt nichts vorbei. Reputation ist extrem wichtig und das war auch mit Abstand wirklich die Wahl Nummer eins durchgehend. Journal Impact Factor, ein Journal mit einer hohen Reputation, wird immer an erster Stelle gewählt.

[00:20:26] Doreen Siegfried:
Okay.

[00:20:27] Athanasios Mazarakis:
Aber ─ und das ist ja dann das Schöne dabei ─ wenn es danach um die Kosten und um Gamification geht, im Bereich der zweiten Wahl ist Gamification nicht nur durchaus ebenbürtig, sondern wird dann auch gesehen als eine Möglichkeit, die eigene Reputation zu erhöhen. Sprich, es ist ein durchaus sinnvolles Anreizsystem mit statistisch signifikanten Ergebnissen, was uns ehrlich gesagt erfreut hat, weil wir einfach unsicher waren. Also wir waren nicht davon überzeugt, dass das Experiment wirklich in dem Bereich funktioniert, sondern es kann auch sein, dass Gamification überhaupt gar keine Rolle spielt. Aber in dem konkreten Kontext ist es mindestens ebenbürtig, was die Kosten angeht, um nicht zu sagen, es bietet eine sehr interessante und gute Alternative, dar.

[00:21:13] Doreen Siegfried:
Ja, okay. Das ist doch interessant. Wenn aber ─ jetzt noch mal zurück zu diesem Journal Impact Factor. Wenn der weiterhin so eine dominierende Rolle spielt, was bedeutet das denn für die zukünftige Entwicklung von Open Access? Also bleibt alles beim Alten oder müssen alle Journals hybrid werden? Also was denkst Du als Experte für Anreizsysteme?

[00:21:34] Athanasios Mazarakis:
Ich würde mal sagen, der Journal Impact Factor, der ist zementiert. Das ist einfach wichtig. Es wird von allen draufgeschaut, seien es die Professorinnen, die Professoren, wenn man auf einer Konferenz ist. Ich habe in einem hochrangigen Journal publiziert, dann heißt das AO. Wenn ich dann in einem Journal publiziert habe, das vielleicht nicht so bekannt ist, dann gibt es halt keine Kommentare dazu. Wir kommen aus diesem Hamsterrad nicht mehr raus. Das ist international so. Das muss man höchstwahrscheinlich dann auch einfach akzeptieren. Nichtsdestotrotz, es gibt ja auch viele… ja, Transformationsprozesse. Stichwort Diamond Open Access, wo da auch viel gemacht wird, dass es eben diese Möglichkeit gibt, dass man in Anführungszeichen kostenlos in solchen, auch hochrangigen Journals publizieren kann. Meine persönliche Meinung ist, ich bin da skeptisch. Ich hoffe, dass das nachhaltig ist. Nichtsdestotrotz, das wird ja alles ja auch mit Steuergeldern bezahlt. Und diese Transformationsprozesse bedeuten ja dann auch, okay, da muss dann Geld fließen und das muss sich dann auch für die Publisher lohnen. Und ich stelle mir halt die Frage, was ist, wenn sich das halt für die nicht mehr lohnt. Und da bieten halt die Ergebnisse, die wir gefunden haben, durchaus Alternativen für andere Journals. Dass die sich das dann mal überlegen könnten, ob denn dann nicht vielleicht die ja das kenntlich machen, dass ich Open Science bzw. Open Access mehr lebe und in Anführungszeichen mich entschieden habe, eher in einem solchen Journal zu publizieren als in einem anderen. In unserer Studie war das so, dass wir eben, wie gesagt, auf dem Artikel dann einen entsprechenden…, ja, ein entsprechendes Abzeichen haben, wo dann eben klar gesagt wird: Okay, hier, das ist jetzt hier Open Access und Du hast dich dann dafür entschieden. Ob das nicht eine Möglichkeit wäre, ein bisschen wenigstens am Journal Impact Factor mal zu wackeln. Nichtsdestotrotz ich sehe ganz klar, dass das halt immer noch der dominante Faktor bleiben wird. Also Gamification ist nicht dazu da, das zu ändern, aber es kann einfach flankierend helfen, diese Transformation zu unterstützen.

[00:23:46] Doreen Siegfried:
Ja, das ist doch auf jeden Fall ein Schritt. Auch wenn es vielleicht ein langer, langer Weg ist. Ihr habt jetzt herausgefunden, das Abzeichen, oder auch Badges genannt, also die direkt auf dem Artikel angezeigt werden, die Wahl also von Open-Access-Zeitschriften beeinflussen können. Was glaubst du, sind die Gründe für diesen Effekt?

[00:24:08] Athanasios Mazarakis:
Es wird mir klar gezeigt, dass ich etwas gemacht habe und das wird direkt auf meinem Artikel dargestellt. Also mit anderen Worten, es wird ein acknowledged, also es wird anerkannt, dass ich das gemacht habe. Wir haben auch noch andere Varianten probiert. Wir haben zum Beispiel gesagt, es gibt eine Profilseite. Da soll man sich dann vorstellen, dass es zum Beispiel auf ResearchGate geht oder LinkedIn oder ähnliches. Und dass dort zum Beispiel ich entweder Punkte dafür bekomme, also OA-Punkte. Oder dass ich dort ein: „Ja, ich auch“ mit einem Badge dann belohnt würde, in Anführungszeichen. Das hat aber nicht diesen großen Effekt, wie das eben dieser Badge auf dem Artikel selber hatte. Das heißt also, wir gehen davon aus, wenn dann dieser Artikel gelesen wird und ich dann eben diese Auszeichnung dann habe, dass das für die Person selber einen deutlicheren Mehrwert hat, als wenn ich das auf der Profilseite habe. Also, sie gehen davon aus, Profilseiten sind weniger relevant als der Artikel, was jetzt vielleicht nicht so überraschend ist, aber in der Deutlichkeit halt trotzdem ja zeigt, das ist der Weg, den man gehen muss.

[00:25:21] Doreen Siegfried:
Ja, okay. Gibt es denn, was die verschiedenen Gamification-Elemente betrifft, Unterschiede in der Wahrnehmung, also von Punkten, Leveln, Abzeichen usw.? Und nächste Frage, wenn wir über Unterschiede reden. Gab es denn vielleicht in eurer Untersuchung Hinweise darauf, auch, warum bestimmte Gamification-Elemente besser funktionieren als andere? Also warum sind die Abzeichen so prominent?

[00:25:46] Athanasios Mazarakis:
Wie gesagt, also ich gehe davon aus, das hilft einfach für die Reputation, dass man das da wirklich dann direkt da sieht. Wir wissen aus der Gamification-Forschung, dass Badges mit Abstand auch das Allheilmittel sind. Vielleicht ein bisschen auch zu häufig das Allheilmittel sind und das auch andere Elemente, die da existieren würden… Ich habe jetzt vorher Story genannt. Wir können auch von Avataren reden, wir können von Fortschrittsmetriken reden und so weiter und so fort. Die sind aber nicht so bekannt. Und wenn ich etwas halt nicht kenne, dann kann es halt auch sein, dass ich damit ein bisschen fremdel. Dass das nicht diesen Effekt hat, den man gerne hätte. Oder noch schlimmer. Und das ist ja auch ein guter alter Usability Spruch. „Don’t make me think“, also bring mich nicht zum Nachdenken. Ab dem Moment, wo etwas nicht klar ist, sondern diffus und ich ins Denken komme, kann das nur noch einen negativen Effekt haben, dass ich das dann gar nicht haben will. Das ist halt bei den Open-Access-Badges halt nicht der Fall. Man muss allerdings auch zugeben, das könnte auch eine kleine Limitation sein. Aber das sehen wir ehrlich gesagt nicht so. Unser Open-Access-Badge hat sich sehr unterschieden. Also wir haben klar gezeigt, wie der aussieht. Es gibt allerdings ja auch im Bereich allgemein, also, wenn ich schon publiziert habe, habe ich ja dieses offene Schloss, wo man dann auch zeigt hier, diesen Artikel kannst du kostenlos bekommen und dadurch ist man vielleicht schon ein bisschen geprimed, dass man da so was weiß.

[00:27:16] Doreen Siegfried:
Ja, okay. Gibt es denn vielleicht Unterschiede, die Ihr feststellen konntet, was die unterschiedlichen Zielgruppen betrifft, innerhalb der wissenschaftlichen Community? Also gibt es zwischen den Karrierestufen Unterschiede oder andere Unterschiede, wo Ihr sagen würdet, die Betriebswirte sind anders als die Volkswirte und noch mal anders als XYZ?

[00:27:36] Athanasios Mazarakis:
Das kann ich sehr schön und sehr einfach beantworten: nein.

[00:27:39] Doreen Siegfried:
[lacht] Nein.

[00:27:39] Athanasios Mazarakis:
Es gibt keine Unterschiede, weder in den Karrierestufen noch in den unterschiedlichen Disziplinen. Wie gesagt, wir haben ja den Bias, aber wir haben uns das trotzdem noch mal genauer angeschaut. Wir haben keine statistisch signifikanten Unterschiede gefunden. Wir sind alle empfänglich dafür.

[00:27:54] Doreen Siegfried:
Ja, okay.

[00:27:54] Athanasios Mazarakis:
Wir sind alle empfänglich für den Journal Impact Factor. Wir kriegen das schon sehr früh mitgeteilt, dass das der Fall ist. Und auch was die Gamification angeht, gab es da auch keine signifikanten Unterschiede zwischen den einzelnen Bereichen.

[00:28:06] Doreen Siegfried:
Ja, okay, das ist aber interessant. Wie können denn wissenschaftliche Publisher oder Institutionen jetzt Eure Erkenntnisse praktisch umsetzen?

[00:28:15] Athanasios Mazarakis:
Das ist ja das, was ich auch schon vorher gesagt hatte. Es sollte natürlich ein transparentes Vorgehen sein. Es sollte ein ethisch korrektes Vorgehen sein. Weil wir haben jetzt überhaupt gar nicht auch über Kritik von Gamification gesprochen. Das haben wir in unserem Paper allerdings auch aufgeführt. Es gibt da durchaus, insbesondere auch im Bereich der Bibliometrie und der Szientometrie, kritische Stimmen, die häufig noch an einem sehr alten Gamification-, ja -Dogma hinterher, ja, kennen.

[00:28:48] Doreen Siegfried:
Ja.

[00:28:50] Athanasios Mazarakis:
Und das ist ein Problem. Man muss es halt so anwenden, dass es halt nicht einfach nur ist: Hier, ich folge der Karotte. Also es kann nicht sein, dass, hier Du kriegst den Badge und dann kriegst Du dafür irgendwie, keine Ahnung, noch einen zusätzlichen Vorteil, sondern es muss ganz klar für Open Science, für Open Access. Es soll eine Auszeichnung sein und nicht etwas, womit dann die Publisher mehr Geld verdienen könnten. Weil das könnte man natürlich auch missbrauchen. Und dass man sagt, hier und zusätzlich kriegst Du, wenn Du 100 € bezahlst oder irgendeinen Betrag X, dann noch diesen Badge obendrauf, weil wir ja gesehen haben, das fördert trotzdem noch Deine Reputation. Das kann natürlich passieren, Ich glaube es aber ehrlich gesagt nicht.

[00:29:33] Doreen Siegfried:
Ja, okay. Eure Studie zeigt ja auch das, das hast Du ja jetzt ausführlich erklärt, dass diese Gamificationelemente durchaus eine wirkungsvolle Ergänzung sein können zu diesen traditionellen Bewertungskriterien, also vor allem gegenüber des Journal Impact Factors. Also, glaubst du denn, dass Gamification auf lange Sicht vielleicht eine Gewichtung von Metriken verändern könnte? Und wenn ja, was wären sozusagen die Herausforderungen?

[00:30:06] Athanasios Mazarakis:
Ich glaube, dass es das verändern kann, aber ich bin sehr vorsichtig, was den Impact angeht. Also, wie gesagt, es wird keinen Wechsel dazu geben. Davon bin ich mir relativ sicher. Wovon ich allerdings ausgehe, ist, dass es trotzdem einen Unterschied machen wird für mehr Aufmerksamkeit. Für mehr Awareness in dem Kontext. Wie gesagt, in den Niederlanden ist man da schon sehr stark dabei. Wir haben das Problem zum Beispiel in Deutschland im Vergleich zum Beispiel zu Finnland. In Finnland ist es so, wenn ich da was publiziere, ist das quasi fast immer Open Access. Und was ich jetzt erfahren habe, der Staat übernimmt auch nachträglich die Publikation von anderen Papern. Das war mir so nicht klar. Da waren Paper publiziert und auf einmal waren die dann zwei Jahre später dann Open Access. Und dann hatte ich nachgefragt und da hatten mir die Kollegen gesagt, das hat dann der Staat übernommen. Okay, ist auch eine nette Geschichte. Soweit sind wir halt hier noch nicht. Und das ist auch eine sehr teure Geschichte. Und wahrscheinlich hatte auch Finnland einfach weniger Wissenschaftlerinnen und Wissenschaftler und dann kann man das dann vielleicht eher finanzieren. Für hier, glaube ich, hätten wir eine gute Steuerungsfunktion. Man könnte… Wir kommen am Journal Impact Factor nicht vorbei. Das ist, der ist einfach gegeben, mit all seinen Vorteilen und Nachteilen. Das ist auch lang und breit alles diskutiert. Aber wenn wir ein bisschen mehr Fairness schaffen könnten, indem wir wirklich diese spielerischen Elemente verwenden und diese transparent angezeigt werden, dann haben wir eigentlich alle davon profitiert.

[00:31:41] Doreen Siegfried:
Ja, auf jeden Fall. Ja, man kann ja auch nichts verändern, wenn man nie mal was Neues ausprobiert.

[00:31:47] Athanasios Mazarakis:
Ja, das stimmt auf jeden Fall. Wobei die Sachen so neu nicht sind. Aber man hat es noch nicht getan. Und das haben wir jetzt halt einfach mal mit unserer Studie mal einfach ausprobiert. Wie gesagt, wir wussten nicht, klappt es oder klappt es nicht? Wir sind froh, dass es geklappt hat. Wir sind auch froh, dass wir hier auch sehr schnell damit auch publiziert wurden und ich hoffe, dass das einfach viele Personen inspiriert, auch in diesem Bereich sich ein bisschen mehr zu öffnen und zu schauen, ob man da nicht etwas davon verwenden kann.

[00:32:14] Doreen Siegfried:
Was ist jetzt sozusagen bei Euch oder bei Dir, also jetzt, wo du die Ergebnisse auf dem Tisch hast. Was ist da jetzt das nächste große Ding? Also was, welche weiteren Fragen ergeben sich aus dieser Forschung, wo Du sagen würdest, also jetzt müsste man noch mal in diese Richtung weitergehen?

[00:32:29] Athanasios Mazarakis:
Was man auf jeden Fall ändern müsste, wären die Merkmalsausprägungen. Ich hatte gerade eben gesagt, wir hatten mit 2.800 € den Höchstbetrag. Ja gut, Inflation ist auch im Publisher-Bereich leider ein Thema und das, was wir damals dachten mit 2.800 ist hoch, ist mittlerweile fast schon der Mainstream. So um die 3.000 € für ein, ich sag jetzt mal, normales Journal, in Anführungszeichen. Wir kratzen schon an den 4.000 € für bessere Journals. Von Nature, Science und Co. wollen wir mal gar nicht reden. Das sind dann Mondpreise, die dort existieren. Das heißt also, man könnte, sollte, dürfte aus wissenschaftlicher Sicht dieses Experiment gerne replizieren. Nicht nur für Wirtschaftswissenschaften, sondern eben für die Lebenswissenschaften, Sozialwissenschaften und so weiter und so fort. Mal zu gucken, wie das dort funktionieren würde. Die Preise sollte man… Also, die Kosten für die Open-Access-Publikation sollte man dementsprechend anpassen. Und man sollte auch schauen, ob man nicht etwas mutiger ist als wir und vielleicht auch noch andere Elemente verwendet. Zum Beispiel eben wirklich einen Fortschrittsbalken oder einen Avatar, der dann entsprechend je mehr Open-Access-Publikationen ich habe, sich dann auch verändern kann. Das wäre eine Möglichkeit. Und aus der praktischen Sicht hoffe ich mal, dass das nächste große Ding etwas wäre, dass man das dann wirklich umsetzt. Also dass man das wirklich vielleicht mal einen Journalpublisher findet, mit dem man das dann umsetzen könnte, in einem bestimmten, eng abgesteckten Bereich, um zu sehen, ob das auch einen Effekt hat, seine Umfragen durchzuführen und so weiter und so fort. Das ist dann natürlich ein Langfristprojekt. Ich muss allerdings auch zugeben, auch für diese Studie hier haben wir auch mehrere Jahre gebraucht. Einfach die Datensammlung, das Erheben, die Auswertung, das Abklären. Auch, wie sich das alles dann verändert hat, so mit der Zeit. Das ist nicht etwas, was man in ein oder zwei Wochen macht. Das dauert halt.

[00:34:28] Doreen Siegfried:
Na ja, klar. Allein schon das Programmieren, hast du ja erwähnt.

[00:34:30] Athanasios Mazarakis:
Ja und auch das Programmieren. Und das Testen dazu. Also, man hat es ja dann programmiert, aber das ist ja dann noch lange nicht fertig. Man testet und testet und man findet immer noch Fehler, bis es dann mal wirklich final ist.

[00:34:44] Doreen Siegfried:
Ihr habt jetzt Gamification angeguckt im Kontext Open Access. Also, wie könnte dann tatsächlich diese Gamification darüber hinaus auch in anderen Bereichen von Open Science genutzt werden? Also Open Data, Open Peer Review usw.

[00:34:58] Athanasios Mazarakis:
Analog. Einfach wirklich komplett analog.

[00:35:00] Doreen Siegfried:
Genau gleich, ja.

[00:35:00] Athanasios Mazarakis:
Wir haben die riesengroße Problematik auch aktuell mit dem Teilen von Datensätzen, nicht nur mit den Publikationen. Auch da würde ein solches Merkmal vielleicht helfen, vielleicht auch nicht. Man müsste es mal herausfinden und ausprobieren. Es gibt natürlich auch andere Möglichkeiten, das zu machen. Und wir kennen NFDI, zum Beispiel, mit den Datenrepositorien oder Gaia-X. Das sind auch so Sachen, wo dann man versucht, entsprechende Aspekte anzugehen. Aber da will ich jetzt gar nicht ins Detail gehen, weil das mit Open Science eigentlich eher nur am Rande was zu tun hat. Ich bin ehrlich gesagt davon überzeugt, überall wo Open dran steht und ich eine Tätigkeit, eine Mehrleistung, das ist es ja, eine Mehrleistung von Personen kenntlich mache, also quasi für Dritte ein Feedback gebe: Guck mal, das ist frei, guck mal, das ist validiert, guck mal, das hat auch Qualität, dass das ein Mehrwert ist. Und das haben wir bisher noch nicht. Das haben wir bisher eben nur abgebildet mit dem Journal Impact Factor. Und das haben wir halt nicht für Datensätze. Das einzige, was man da machen könnte, wäre, da würden wir jetzt in den Bereich von in Anführungszeichen Altmetrics gehen, also gucken, was wurde wie häufig im Bereich Social Media gezählt, getweetet sagt man ja nicht mehr, was weiß ich nicht, weitergeleitet, gext oder was auch immer. Und das Problem halt mit Altmetrics ist, da haben wir ja gesehen a) da sind wir sehr abhängig von Social Media und da steht es ja gerade jetzt nicht so gut mit den ganzen Machtentwicklungen in den einzelnen Bereichen. Und b) an sich ist auch Altmetrics auch ja ein Konstrukt, was sich als nicht so robust und erfolgreich erwiesen hat. Nichtsdestotrotz, man kann es trotzdem machen, man kann es trotzdem verwenden und alles, was man zählen kann, da wären wir jetzt eben bei der Bibliometrie, kann gezählt werden. Und wenn ich dafür dann ein bestimmtes, nennen wir es einfach mal „Gütesiegel“ hätte… Auch wenn es in einer spielerischen Art und Weise ist. Das könnte man mal ausprobieren. Nichtsdestotrotz, wir haben natürlich auch andere Gütesiegel, die kann man dann dementsprechend auch verwenden. Aber es geht ja eben darum, wie teile ich etwas? Und Fakt ist, Qualität allein ist sehr wichtig, reicht aber im Zweifelsfall nicht aus. Und genau das Gleiche zeigen wir ja auch. Der Journal Impact Factor ist ein Maßstab für vermeintlich sehr hohe Qualität, weil sehr häufig dann zitiert wird. Es gibt aber auch noch Platz für andere mögliche Unterstützung dieser Metriken. Und Gamification wäre ein möglicher Fall.

[00:37:37] Doreen Siegfried:
Ja, okay. Wie siehst du denn die Rolle von Gamification in der zukünftigen Wissenschaftskommunikation, also sowohl wissenschaftsintern als auch wissenschaftsextern?

[00:37:46] Athanasios Mazarakis:
Das ist eine sehr gute Frage. Könnte man auch dort verwenden. Jetzt haben wir natürlich da die Problematik, wenn wir da uns überlegen, was wollen wir denn erreichen mit der internen und externen Wissenschaftskommunikation? Und ganz speziell habe ich da jetzt im Hinterkopf Glaubwürdigkeit, Desinformation, Missinformation und so weiter und so fort. Da würde ich sagen, ist das vielleicht auch eine gute Möglichkeit. Und da gibt es ja auch schon Ansätze, dass ja sowas kenntlich gemacht wird, mit so Factsheets und so weiter und so fort. Und da kriegst du ja auch angezeigt, wenn zum Beispiel etwas unwahr ist, also quasi eine negative Gamification. Du kriegst einen Badge, wenn etwas halt nicht so ganz der Wahrheit entspricht und den Fakten. Das ist glaube ich schon relativ gut etabliert. Ob wir das in Zukunft noch behalten werden, weiß ich nicht. Es ist ja erst ein paar Tage her, dass Mark Zuckerberg auf Meta erzählt hat, wir schrauben das alles ein bisschen zurück und machen mehr so auf… Ja, wie drücke ich mich denn jetzt vornehm aus? Auf wahre Meinungsfreiheit? Es ist eine schwierige Entwicklung. Wir müssen alle sehen, wie sich das dann weiterentwickelt. Vielleicht wird es funktionieren. Vielleicht werden aber auch die Personen, die sagen, das Ganze läuft aus dem Ruder, Recht haben. Auf jeden Fall wird da schon gamifiziert, sowohl in positiver als auch in negativer Sicht. Man muss da einfach weiter beobachten, auch aus wissenschaftlicher Sicht, in welche Richtung das geht.

[00:39:19] Doreen Siegfried:
Ja, okay. Ja, Athanasios, wir sind mit unserer Zeit am Ende. Vielen Dank. Vielen Dank auch an Sie, liebe Zuhörer:innen. Wir hoffen, die Episode hat Ihnen gefallen. Teilen Sie uns gerne Ihre Meinung mit. Ob Lob oder auch gerne konstruktive Kritik per Email auf Mastodon, YouTube, BlueSky oder LinkedIn. Und wenn Ihnen unser Podcast gefällt, freuen wir uns, wenn Sie uns abonnieren. Wenn Sie jetzt sagen Gamification gefällt mir super gut, das Thema finde ich sehr interessant, möchte ich Sie noch mal hinweisen auf eine Folge, die jetzt schon recht alt ist, aus dem Jahr 2022, also drei Jahre. Aber da ist es sozusagen so ein Einstieg ins Thema Gamification. Da können Sie ja mal reinhören, wir packen es in die Shownotes. Ansonsten bis zum nächsten Mal. Ich freue mich da drauf.