Stand und Perspektiven bibliometriegestützter Open-Access-Services an Universitäten in Deutschland

1 Einleitung und Fragestellung

Wissenschaftliche Bibliotheken in Deutschland haben mit – wenigen Ausnahmen – die Bibliometrie lange als ein Anwendungsgebiet angesehen, das sie nur indirekt betrifft.^[1] Doch die Situation hat sich im Zuge des Wandels des wissenschaftlichen Publizierens hin zum Open Access (OA) verändert. Mittlerweile besitzen bibliometrische Verfahren und Kompetenzen einen hohen Stellenwert bei der Entwicklung von OA-Dienstleistungen.^[2]

Die breite Implementierung hochschulweiter Publikationsfonds, die durch die Deutsche Forschungsgemeinschaft (DFG) seit 2011 gefördert wird, steht exemplarisch für die gestiegene Bedeutung der Bibliometrie in der Bibliothekspraxis. Das Augenmerk des zugrundeliegenden Förderprogramms „Open Access Publizieren“ lag nicht allein auf der anteiligen Finanzierung von OA-Publikationskosten, sondern auch auf einer belastbaren Erhebung des institutionellen Publikationsaufkommens.^[3] Dabei berücksichtigte das Programm mögliche Verzerrungen und Fehlanreize, die sich aus Selektivität proprietärer Literatur- und Zitationsdatenbanken wie dem Web of Science ergeben, in denen zumeist Zeitschriften etablierter Verlage aus bestimmten Disziplinen indexiert sind.^[4] Infolgedessen haben die antragstellenden Einrichtungen begonnen, institutionelle Berichtsroutinen aufzubauen, um einen möglichst vollständigen Überblick über das OA-Publikationsverhalten ihrer Hochschulangehörigen zu gewinnen.^[5] Ein wesentlicher Aspekt dieses Monitorings ist zudem die Überwachung der Kosten des Open-Access-Publizierens im Rahmen von institutionellen Publikationsfonds.^[6]

Diesbezügliche Bibliometrieangebote, die auch unter dem Begriff „Publikationsmonitoring“ subsumiert werden,^[7] konnten sich dabei den parallel betriebenen Aufbau und die sukzessive Vernetzung von OA-Repositorien, Hochschulbibliografien und Forschungsinformationssystemen mittels interoperabler Metadatenstandards^[8] zu Nutze machen. Aggregatoren wie die wissenschaftliche Suchmaschine BASE^[9] bauten bereits früh auf diesen Standards auf und verbesserten dadurch die Nachweissituation für OA-Publikationen, von der auch die bibliometrische Forschung profitierte.^[10] Inzwischen integrieren bibliometrische Datenbankanbieter und Rankingservices OA-Nachweise.^[11] Mit dem Open Access Monitor existiert mittlerweile ein Monitoringdienst für deutsche Wissenschaftseinrichtungen.^[12] Der Open Access Monitor unterstützt seit 2021 das DFG-Förderprogramm „Open-Access-Publikationskosten“, das die Kofinanzierung von OA-Publikationskosten an wissenschaftlichen Einrichtungen in Deutschland fortsetzt, durch die Analyse von Subskriptions- und OA-Publikationsausgaben sowie der Zahl der Publikationen in den verschiedenen Publikationsarten.^[13]

Während bibliometrische Verfahren und Services im Zuge einer groß angelegten Transformation des bibliothekarischen Erwerbungsmodells von Subskriptionen hin zur Finanzierung von OA-Publikationen an Bedeutung gewinnen,^[14] wächst das Unbehagen gegenüber einer uninformierten Verwendung bibliometrischer Kennzahlen in der Forschungsevaluierung. Problematisch ist insbesondere die Verwendung von zeitschriftenbasierten Metriken wie des Journal Impact Factors (JIF) bei der Bewertung individueller Forschungsaktivitäten. Bei der Auswahl eines Publikationsorts führt dies zu einer Pfadabhängigkeit bei den wissenschaftlichen Autor*innen, in deren Konsequenz sie insbesondere junge OA-Journale als nachrangig gegenüber etablierten Journalen, zumeist Subskriptionsjournale mit kostenpflichtiger OA-Option, die bei großen Verlagen erscheinen, einstufen.^[15] Verlage machen sich diese Bedeutung bibliometrischer Kennzahlen bei der Publikationsentscheidung zu Nutze, indem sie beispielsweise ihre Preisgestaltung abhängig machen vom Abschneiden in Journalrankings und zunehmend auch „Mehrwertdienste“ wie Data Analytics mit OA-Rahmenverträgen verzahnen.^[16]

Kritik an einem unsachgemäßen Umgang mit bibliometrischen Verfahren an wissenschaftlichen Einrichtungen und dessen Konsequenzen für die wissenschaftliche Praxis führten in den letzten Jahren zu einer Reihe von wissenschaftspolitischen Stellungnahmen. Besonders wirkmächtig ist die Declaration on Research Assessment (DORA) von 2012, die nicht nur auf problematische Evaluierungspraxen an wissenschaftlichen Einrichtungen hinweist.^[17] DORA schlägt auch konkrete Alternativen vor, um der Vielfalt und dem Innovationspotenzial neuartiger Publikationsformen gerecht zu werden. So greift die cOAlitionS, ein Zusammenschluss von Förderern wie der Europäischen Kommission und des britischen Wellcome Trust in ihrem Plan S DORA auf und erwartet eine Abkehr von zeitschriftenbasierten Metriken bei der Bewertung individueller Forschungsartikel. Aus Sicht der DFG ist sogar der „Umbau der Systeme zur Leistungsmessung“ wesentlich, damit die flächendeckende OA-Transformation gelingen kann.^[18]

In praktischer Hinsicht konkretisiert das Leiden Manifesto von 2015 die wissenschaftspolitischen Stellungnahmen zum verantwortungsbewussten Umgang mit bibliometrischen Verfahren und Kennzahlen.^[19] Es bildet einen Bezugspunkt auch für Bibliotheken, ihre bibliometrischen Services berufsethisch zu bewerten und umzugestalten.^[20] Zugleich entwickelt sich ein professionelles Verständnis über den Stand und die benötigten Kompetenzen für Bibliometriedienstleistungen an wissenschaftlichen Einrichtungen heraus.^[21] Besonders hervorzuheben ist hierbei das Kompetenzprofil Competency Model for Bibliometric Work, das mittlerweile in der zweiten Auflage vorliegt.^[22]

Vor dem Hintergrund der Wechselbeziehungen zwischen dem Bedarf nach bibliometrisch gestützten OA-Dienstleistungen und Forderungen nach einem verantwortungsbewussten Umgang mit bibliometrischen Kennzahlen, stellen wir uns folgende Fragen: Welche Bibliometrieangebote stellen Universitäten nach außen hin dar? Berücksichtigen die Angebote auch berufsethische Gesichtspunkte? Wie beziehen sich OA-Angebote auf Bibliometrie? Gibt es Anzeichen für ein systematisches Publikationsmonitoring? Inwiefern schaffen die Einrichtungen Transparenz über ihr Monitoring bezüglich der verwendeten Methoden und Daten?

2 Methode

Um den Verbreitungsgrad bibliometrischer Angebote im Zusammenhang mit der OA-Transformation zu erheben, wurden die Webauftritte von 104 deutschen Universitäten und Kunst- und Musikhochschulen mit mehr als 1 000 Studierenden^[23] im Hinblick auf die bereitgestellten Informationen in den Bereichen OA und Bibliometrie systematisch analysiert. Angereichert wurde die Liste mit den Daten zum Anteil des OA-Outcomes deutscher Universitäten im Zeitraum 2010-2018.^[24] Die Erhebung fand im Herbst 2021 statt.

Im Bereich „Open Access“ wurden die Einstiegs- und Unterseiten erster Ebene (z. B. zum Publikationsfonds oder den Wegen des Open Access) auf Hinweise auf Beziehungen zwischen der OA-Beratungspraxis und Bibliometrie sowie auf Hinweise auf ein Monitoring des OA-Publikationsaufkommens durchsucht; entsprechende Sequenzen wurden als Vollzitat für eine vertiefte Analyse erfasst. Darüber hinaus wurde festgehalten, ob Angaben zum Monitoring der OA-Publikationen angeführt und externe Monitoringservices und Rankings mit OA-Bezug verlinkt bzw. eingebunden werden. Weitere verlinkte Internetseiten, Dokumente zum Herunterladen (Flyer, Policys, Strategiepapiere, Formulare etc.) und eingebundene Videos oder Grafiken wurden nicht in die Recherche einbezogen.

Im Bereich „Bibliometrie“ wurde die Existenz eines Informations- und/oder Beratungsangebots erhoben, sowie die Einbindung von Hinweisen auf einen verantwortungsvollen Umgang mit bibliometrischen Daten (z. B. die kritische Einordnung bibliometrischer Methoden), auf Zusammenarbeit mit dem Wissenschaftsmanagement und auf Kurse im Themenfeld aufgenommen. Die Einstiegs- und Unterseiten erster Ebene (z. B. zu Datenquellen oder Indikatoren) wurden außerdem qualitativ auf Hinweise auf Beziehungen zur OA-Transformation untersucht. Die organisatorische Einbindung institutionalisierter bibliometrischer Dienstleistungsangebote wurde im Organigramm der Institution (so vorhanden) nachvollzogen und in ihrem Verhältnis zu den Services im OA-Bereich offen beschrieben.

Die Auswertung der erhobenen Daten erfolgte deskriptiv, dichotome Variablen wurden einfach ausgezählt. Als Volltext erfasste Sequenzen wurden im Rahmen einer Inhaltsanalyse entlang der Fragestellung kodiert. Die Inhaltsanalyse gibt Auskunft über das Spektrum des Zusammenhangs zwischen OA(-Beratung und ‑Monitoring) und Bibliometrie(-dienstleistung) in der Selbstdarstellung deutscher Universitäten.

Wir verzichten in der Darstellung der Ergebnisse auf standortbezogene Belege, da der Fokus des Beitrags darauf liegt, das Spektrum bibliometrischer Angebote im Zusammenhang mit der OA-Transformation aufzuzeigen, nicht aber, einzelne Standorte hervorzuheben. Auf Anfragen können die Ergebnisse der Inhaltsanalyse zur Verfügung gestellt werden.

3 Ergebnisse

4 Diskussion und Ausblick

Während Universitäten ihre Open-Access-Angebote nach außen hin darstellen, präsentierten nur rund ein Viertel der Einrichtungen Bibliometrieangebote auf ihren Webseiten. Dies lässt vermuten, dass solche Services als Regelstruktur nicht in der Breite etabliert sind.^[29] Lediglich in der Gruppe der Technischen Universitäten werden bibliometrische Dienstleistungen inzwischen mehrheitlich nach außen hin dargestellt, wohingegen gerade kleine Universitäten mit spezialisiertem Profil wie (ehemalige) Pädagogische Hochschulen und Musik- und Kunsthochschulen keine bibliometrischen Informationen auf ihren Webauftritten vorhalten. Als mögliche Gründe für diese Verteilungsstruktur kommen sowohl Vernetzungs- und Standardisierungsinitiativen als auch Unterschiede im Fächerprofil der Standorte in Frage, die unterschiedliche bibliometrische Informationsbedarfe und -möglichkeiten hervorrufen.

Zwar stellen einige Standorte umfangreiche bibliometrische Informationen zur Verfügung und beziehen sich dabei auch auf berufsethische Standards, indem sie Kennzahlen und Methoden kritisch einordnen und auf deren verantwortungsvollen Einsatz hinweisen. Bezugnahmen zwischen Bibliometrie und OA-Transformation werden jedoch selten explizit. Hier spiegeln sich die Ergebnisse einer von Graw (2020) vorgelegten Auswertung zum Stellenwert unterschiedlicher Teilelemente von OA-Publikationsberatung: Die befragten OA-Beauftragten schrieben dem Themenkomplex der Bibliometrie in ihrer Beratungspraxis einen gegenüber solchen wie Datenmanagement und Urheberrecht eher marginalen Stellenwert zu, attestierten ihm aber insgesamt eine hohe Relevanz.

Die Analyse der OA-Beratungsangebote mit Bibliometriebezug zeigt, dass insbesondere Fragestellungen rund um Zitationsraten von OA-Journalen im Vergleich zu Closed-Access-Journalen häufig thematisiert, aber selten mit Bezug auf wissenschaftspolitischen Stellungnahmen (DORA, DFG) oder einer verantwortungsbewussten bibliometrischen Berufspraxis (Leiden Manifesto) kontextualisiert werden. Es besteht die Gefahr, dass insbesondere durch die unsachgemäße Bereitstellung von Journalrankings zur Auswahl eines Publikationsorts neue OA-Publikationsangebote kleinerer Verlage benachteiligt werden. Hier wird deutlich, dass bibliometrische Expertise insbesondere über den verantwortungsvollen Einsatz bibliometrischer Indikatoren helfen könnte, Annahmen unter Wissenschaftsmanager*innen und Autor*innen entgegenzuwirken, die langfristig hemmend auf die erfolgreiche OA-Transformation wirken könnten.

Trotz der Auflagen der Forschungsförderer, insbesondere der DFG im Zuge der Förderung von OA-Publikationskosten, zur Entwicklung von Berichtsroutinen zur belastbaren Erfassung institutioneller OA-Publikationen sowie der hiermit verbundenen Kosten muss insgesamt angenommen werden, dass nicht an allen Standorten ein Monitoring erfolgt. So gaben in einer Befragung zum Stand der OA-Transformation an wissenschaftlichen Einrichtungen in Deutschland 2018 knapp 16 % der befragten 402 Institutionen an, dass sie OA-Publikationen nicht erfassen; weitere 19 % dokumentierten diese nur intern. Den Anteil des OA-Publikationsaufkommens am Gesamt des Publikationsaufkommens maßen rund 35 % der 402 Institutionen, weitere 19 % planten zu diesem Zeitpunkt eine solche Messung.^[30] Trotz der Bedeutung von OA-Transformationsverträgen bei der Umwidmung von Mitteln für OA-Publikationskosten erfolgt im Bereich Lizenzierung elektronischer Ressourcen nur bei rund der Hälfte aller Bibliotheken in Deutschland eine Evaluierung von OA-Ausgaben.^[31]

Auch in den Webauftritten der Universitäten finden sich nicht flächendeckend Hinweise auf eine systematische Auswertung des OA-Publikationsaufkommens. Nur wenige Universitäten bereiten Ergebnisse aus eigens erstellten, evaluativen bibliometrischen Analysen oder vorliegende Daten, wie sie etwa über den Open Access Monitor abrufbar sind, systematisch so auf, dass sie für die Öffentlichkeit einsehbar und transparent auf der eigenen Homepage integriert sind. Auswertungen, die den Anteil und den Typ von OA-Publikationen einer Einrichtung offenlegen, sind insgesamt selten. Umfang und Qualität der präsentierten Daten unterscheiden sich ebenso wie die angewandten Verfahren und herangezogenen Datenquellen. Einzig die mit der Transformation verbundenen Kosten werden regelmäßig über Services der Open APC Initiative eingebunden.

Die Ergebnisse der Analyse legen zwei Faktoren nahe, die die marginale Sichtbarkeit des bibliometrischen Publikationsmonitorings erklären könnten. Zum einen werden dort, wo Monitoringdaten aufbereitet und zur Verfügung gestellt werden, Zusammenhänge zum Stand des Ausbaus von Forschungsinformationssystemen offenbar. Dadurch sollen publikationsbezogene Forschungsinformationen für die datengestützte Forschungsberichterstattung abfragbar aufbereitet werden. Damit entsteht eine Umgebung, die als institutionelle Datenquelle für bibliometrische Auswertungen dienen kann. In einzelnen europäischen Ländern werden Forschungsinformationssysteme bereits in das Publikationsmonitoring einbezogen, was die Validität standortbezogener Auswertungen verbessert und Verzerrungen je nach Fach- und Publikationskultur transparent macht.^[32] An deutschen Universitäten zeigt sich hier derzeit eine hochdynamische Gesamtsituation insbesondere im Kontext des Kerndatensatz Forschung.^[33] An manchen Standorten, die einen Datenaustausch zwischen Repositorien und Forschungsinformationssystemen ermöglichen, finden sich bereits Routinen für das Publikationsmonitoring, mit denen sich die Vielfalt des Publizierens an Universitäten widerspiegeln lässt.^[34]

Ein weiterer Faktor könnte im trotz der externen Anforderungen bzw. Auflagen (etwa der Fördergeldgeber) untergeordneten Stellenwert von Controlling und Monitoring in den OA-Policys der Universitäten liegen: Eine Re-Analyse eines Korpus von OA-Policys deutscher Forschungseinrichtungen aus dem Projekt Open4DE^[35] zeigte, dass sich nur an zwei Universitäten ausdrücklich Passagen finden, die nicht nur ein mehr oder minder konkretes Ziel für die OA-Transformation festlegen, sondern auch bibliometrische bzw. quantitative Verfahren zur Evaluierung dieser Ziele nennen. Hier finden sich dann auch entsprechende Berichte und Daten. Zwar sind solche Policys als Strategiepapiere keine Beschreibungen prozessualer Wirklichkeit an den Einrichtungen, sondern drücken einen gewünschten Zustand aus und unterliegen spezifischen, öffentlichen und wissenschaftspolitischen Anforderungen. Doch sind sie als Steuerungsinstrumente in ihrer Bedeutung nicht zu vernachlässigen.^[36]

Ein Indiz für die Wirkmächtigkeit solcher Instrumente bzw. allgemein wissenschaftspolitischer Aufmerksamkeit und spezifischer Förderpolitiken könnte die Bedeutung einrichtungsübergeordneter Zusammenschlüsse und Koordinierungsstellen für Open Access bzw. Open Science für das bibliometrische Publikationsmonitoring sein, wie die Auswertung für den Standort Berlin zeigte: Hier wird seit Jahren ein arbeitsteilig organisiertes OA-Monitoring durchgeführt.^[37] Generell könnte der institutionenübergreifende Austausch von Akteur*innen standardisierend wirken. Ob und inwieweit sich in diesem Zusammenhang auch kommunale und regionale Zusammenschlüsse verschiedener Institutionen wie Universitäten, Fachhochschulen und außeruniversitären Forschungseinrichtungen förderlich auf die Entwicklung standardisierter Praktiken des Monitorings auswirken, konnte mit der vorliegenden Auswertung noch nicht abschließend festgestellt werden.

Insgesamt muss festgehalten werden, dass in Bezug auf das Monitoring des institutionellen OA-Publikationsaufkommens derzeit keine ausgeprägte Kultur der Transparenz und des Teilens von Daten, Methoden und standardisierten Praktiken zur bibliometrischen Auswertung – wie sie als Teil der Idee der Openness im Zusammenhang mit Open Access durchaus zu erwarten wäre – zu erkennen ist. Hier befinden sich Bibliometrie- und OA-Community in einer ähnlichen Lage. Auch Vernetzungsinitiativen im Bibliometriebereich bemängeln den ungleichen Zugang zu bibliometrischen Daten.^[38] Die gegenwärtige Entwicklung, große bibliometrische Datensätze strukturiert als Open Data bereitzustellen, hat daher gemeinsam mit dem Aufbau vernetzter universitärer Nachweissysteme ein großes Potential, die Anwendung bibliometrischer Verfahren an Bibliotheken offener und nachvollziehbarer zu gestalten. Ohne ein Verständnis über die benötigten Kompetenzen und eine entsprechende formale Zertifizierung ist der verantwortungsvolle Einsatz der Bibliometrie an Universitäten im Kontext der OA-Transformation nicht gesichert.^[39]

Die vorliegende Untersuchung beruht auf einer Auswertung der auf den institutionellen Webseiten der Universitäten zur Verfügung gestellten Informationen. Es können daher keine Aussagen darüber gemacht werden, ob neben den explizit aufgeführten Angeboten bibliometrische Expertise an den Einrichtungen vorhanden ist und gegebenenfalls in Beratungssettings für Wissenschaftler*innen und Wissenschaftsmanager*innen sowie in Prozessen des Monitorings bzw. der Berichterstattung eingesetzt wird. Alle Ergebnisse zum Stand der öffentlichen Kommunikation und organisatorischen Verortung von Bibliometriedienstleistungen im Kontext der OA-Transformation an deutschen Universitäten sind daher als Beobachtungen und Tendenzen zu verstehen, welche wir zukünftig mittels qualitativer Verfahren vertieft untersuchen werden.

5 Danksagung

Wir bedanken uns bei Friedrich Summann, der bereits seit Mitte der 2000er-Jahre auf die Bedeutung von Metadatenstandards für die Auffindbarkeit wissenschaftlicher Veröffentlichungen hinwies und maßgeblich Standardisierungsinitiativen im Kontext Open-Access-Repositorien und Forschungsinformationssysteme voranbrachte. Friedrich Summann erkannte nicht nur früh das Potential offener und vernetzter Publikationssysteme als alternative Datenquelle für bibliometrische Untersuchungen im Vergleich zu den vorherrschenden geschlossenen proprietären Literatur- und Zitationsdatenbanken, sondern hat insbesondere mit BASE und seinen Standardisierungsaktivitäten aktiv an einer offeneren Bibliometriepraxis mitgewirkt. Lieber Friedrich, wir haben viel von Dir gelernt und sind Dir sehr dankbar!