Analyse der Abdeckung wissenschaftlicher Publikationen auf Semantic Scholar im Kontext von Open Access

2.1 Publikationsmonitoring an Bibliotheken und Hochschulen

Im Zuge der OA-Transformation sind immer mehr Bibliotheken am Veröffentlichungsprozess wissenschaftlicher Publikationen beteiligt. Diese Entwicklung ist mit öffentlich subventionierten Förderprogrammen verbunden, die das OA-Publizieren sowie dessen substanzielle Strukturen an beteiligten Einrichtungen fördern. Seit 2011 werden in Deutschland durch das Förderprogramm „Open Access Publizieren“ sowie durch dessen Nachfolgeprogramm „Open-Access-Publikationskosten“ hochschulweite Publikationsfonds aufgebaut. Vorausgegangen sind Entwicklungen in den Vereinigten Staaten, wo bereits 1998 erste Maßnahmen zur Einrichtung von Publikationsfonds getroffen wurden. Mit der „Compact for Open-Access Publishing Equity“ sollte ein neues Finanzierungsmodell etabliert werden, welches auf Publikationsgebühren beruht und damit hohe Subskriptionsgebühren ausgleichen und ersetzen sollte.^[8] Ein (OA-)Publikationsfond wird nach Pampel und Tullney als ein Finanzierungs- und Steuerungsinstrument wissenschaftlicher Einrichtungen zur Übernahme von (OA-)Publikationsgebühren definiert.^[9] Ziel dieser Publikationsfonds ist es, öffentlich zugängliche wissenschaftliche Publikationen zu fördern.^[10] Mit der Implementierung von Publikationsfonds an wissenschaftlichen Institutionen ist auch eine umfassende Beschäftigung mit der internen Publikationsaktivität verbunden.^[11] Unter anderem soll durch ein sogenanntes Publikationsmonitoring, definiert als die systematische Erfassung und Dokumentation des Publikationsoutputs einer Einrichtung,^[12] der künftige Bedarf an OA-Publikationsgebühren ermittelt werden.^[13] Das Publikationsmonitoring zielt zudem auch auf eine strategische Komponente ab, nämlich die Rechenschaftspflicht gegenüber investierten Mitteln, anhand derer der Anteil von OA-Publikationen gesteigert werden soll.

Eine Evaluierung des Förderprogramms „Open Access Publizieren“ hat gezeigt, dass viele Institutionen Schwierigkeiten damit haben, fundierte Zahlen zur eigenen Publikationsaktivität zu erheben.^[14] So konstatiert Pampel, dass die Strategien zur Finanzierung von OA-Publikationskosten an wissenschaftlichen Einrichtungen divers und ein Monitoring der entstehenden Kosten wenig professionalisiert ist.^[15] Wissenschaftliche Einrichtungen binden im Rahmen des Publikationsmonitorings verschiedene Datenquellen ein, darunter (halb-)automatisierte Hochschulbibliografien, Publikationsdatenbanken und Forschungsinformationssysteme sowie tabellarische Listen, um den Anforderungen eines Berichtswesens im OA-Publizieren nachzukommen.^[16] Dieses Berichtswesen, welches auf der Aggregation verschiedener offener und proprietärer Datenquellen aufbaut, zeichnet sich durch eine hohe Heterogenität aus, wodurch eine automatisierte Dokumentation der Publikationsausgaben nicht oder kaum gegeben ist.^[17] Insbesondere die Auswertung von Publikationsdaten aus externen Literatur- und Zitationsdatenbanken stellt wissenschaftliche Einrichtungen vor diverse Herausforderungen, was nicht zuletzt mit Verzerrungen und Fehlanreizen aus bibliometrischen Datenbanken zu begründen ist. Zum Beispiel erfassen kommerzielle Systeme wie WoS und Scopus einen unterproportionalen Anteil nicht-englischsprachiger Literatur sowie einen geringen Anteil bestimmter Publikationstypen wie etwa Konferenzveröffentlichungen.^[18] Ferner werden in diesen Datenbanken selektiv Zeitschriften aus etablierten Verlagen sowie spezifischen Disziplinen indexiert.^[19] Die Erhebung von Daten aus kommerziellen Systemen sowie aus nicht öffentlich einsehbaren internen Datenquellen wirft darüber hinaus die Frage nach der Transparenz des Publikationsmonitorings an wissenschaftlichen Einrichtungen auf. Zum Beispiel ist es problematisch, wenn institutionsübergreifend Daten gesammelt und ausgewertet werden sollen, etwa für eine Gruppe von Institutionen, ein Bundesland oder ein Land.^[20] Weiterhin ergeben sich aus fehlenden oder inkorrekten Metadaten, zum Beispiel durch eine mangelhafte oder geringfügige Bereitstellung von Publikationsdaten seitens der Verlage in Publikations- und Zitationsdatenbanken, Hürden in der anschließenden Auswertung des eigenen Publikationsaufkommens.^[21] Eine datenbankübergreifende Problematik bildet die Disambiguierung von Autoren- und Institutionsnamen. Nicht zuletzt trägt eine heterogene Publikationskultur dazu bei, dass Herausforderungen innerhalb des Publikationsmonitorings entstehen.

Es existieren bereits einige Studien im Bereich der Evaluation bibliografischer Datenbanken. Insbesondere sollten hier die Studien von Piwowar et al., Akbaritabar und Stahlschmidt sowie Jahn et al. hervorgehoben werden, die sich mit dem OA-Discovery-Service Unpaywall auseinandersetzen.^[22] Studien zu OpenAlex wurden unter anderem von Priem et al. sowie Scheidsteger und Haunschild durchgeführt.^[23] Harzing sowie Borrego et al. untersuchten die Services Dimensions und Crossref.^[24] Analysen zu MAG, Scopus und WoS wurden unter anderem von Martín-Martín et al., Visser et al. sowie Harzing und Alakangas durchgeführt.^[25] Zu Semantic Scholar existiert eine Studie von Kinney et al.^[26] Diese befasst sich aber ausschließlich mit dem Datenbestand und nicht mit OA.

4.1 Publikationsaufkommen, Publikationstypen und Fachgebiete

Zum Erhebungszeitpunkt im Mai 2023 enthält Semantic Scholar 212 251 613 Publikationen (alle Publikationsjahre). Davon liegt für 116 545 907 Publikationen (55 %) ein DOI vor. Publikationen werden in zwölf Publikationstypen unterschieden, nämlich Zeitschriftenartikel, Reviews, Konferenzberichte, Studien, Fallberichte, Kommentare, Editorials, klinische Studien, Bücher, News, Metaanalysen und Datensets. In Semantic Scholar werden Publikationen mehreren Publikationstypen zugeordnet. Das bedeutet, dass eine Veröffentlichung beispielsweise sowohl als Zeitschriftenartikel als auch als Review klassifiziert werden kann. Über 157 Mio. Publikationen haben keine Zuordnung. Von den Publikationen mit zugeordnetem Typ machen Zeitschriftenartikel den größten Anteil in Semantic Scholar aus (60 %). Danach folgen Reviews (22 %) und Konferenzberichte (6 %). Bücher (0,4 %) und Datensets (0,001 %) haben eine relativ geringe Anzahl. Semantic Scholar deckt Publikationen von 1708 bis 2023 ab. Publikationen werden bis zu drei Fachdisziplinen zugeordnet. Von diesen existieren 23 in Semantic Scholar (s. Tab. 1). Für 2000 bis 2022 werden 23 026 821 Publikationen als Zeitschriftenartikel identifiziert. Davon haben 21 815 701 einen DOI (95 %).

Abb. 1:

Verbreitung von Open Access im Publikationsaufkommen^[37]

4.2 Open-Access-Anteil im Publikationsaufkommen

Eine Publikation wird in Semantic Scholar als OA klassifiziert, wenn ein frei zugänglicher Volltext auf arXiv, ACL Anthology oder PubMed Central gefunden wird.^[38] Zudem wird eine Publikation als OA klassifiziert, wenn die entsprechende Publikation in Unpaywall als OA gekennzeichnet wurde. Der OA-Status einer Publikation kann über das Feld isopenaccess ausgelesen werden. Im folgenden Teil wird der OA-Anteil von Zeitschriftenartikeln im Publikationsaufkommen von Semantic Scholar analysiert. Abb. 1 bildet das Wachstum der Anzahl von Zeitschriftenartikeln zwischen 2000 und 2022 ab. Die Anzahl der Veröffentlichungen von wissenschaftlichen Artikeln steigt hierbei kontinuierlich. Mit 2020 erreicht die Zahl der Publikationen ihren Kulminationspunkt und sinkt daraufhin leicht. Analog zum Publikationswachstum steigt die Anzahl und der Anteil von OA-Artikeln unter Zeitschriftenartikel bis 2018 stetig. Während 2000 etwa 25 % der Zeitschriftenartikel OA sind, sind es 2018 45 %. Allerdings stagniert ab 2019 die Anzahl von OA-Artikeln und folglich nimmt das Verhältnis von OA-Publikationen im Vergleich zu CA-Publikationen rapide ab. 2019 sind es 42 % und 2020 36 %. Zwischen 2021 und 2022 werden kaum OA-Publikationen klassifiziert. Der Anteil reduziert sich auf 0,5 und schließlich auf 0,05 %. Fast alle Zeitschriftenartikel von 2000 bis 2022 besitzen einen DOI. 2000 haben 87 % der Artikel einen DOI. 2022 sind es 99 %.

Abb. 2:

Vergleich von OA in Semantic Scholar und Unpaywall^[39]

Aufgrund der signifikanten Abnahme von OA-Publikation zwischen 2019 und 2022 in Semantic Scholar werden im weiteren Fortgang Zeitschriftenartikel mit OA-Informationen des OA-Discovery-Service Unpaywall verknüpft, womit eine bessere Vergleichbarkeit und Abdeckung hergestellt werden soll. Bei der Kollation zwischen Semantic Scholar und Unpaywall werden die Publikationsjahre 2008 bis 2020 betrachtet, da der in dieser Arbeit verwendete Unpaywall-Snapshot nur Publikationen ab 2008 beinhaltet.^[40] Im Gegensatz zum OA-Status in Semantic Scholar, dessen Ausprägung teilweise auf Daten aus Unpaywall beruht, wird der OA-Status von Publikationen in Unpaywall über frei erhältliche Volltexte von Verlagsseiten und Repositorien bestimmt.^[41]‌^[42] Von 15 013 553 Zeitschriftenartikeln konnten 14 033 976 Artikel mit Publikationen aus Unpaywall über ein DOI-Matching zusammengeführt werden. Das entspricht 93,48 %. Da Unpaywall nur Publikationen mit einem DOI indexiert, kommt es zwangsläufig zu einem Ausschluss von Zeitschriftenartikeln ohne DOI. Diese machen 4,6 % der Zeitschriftenartikel zwischen 2008 und 2020 in Semantic Scholar aus. Ein Vergleich des OA-Status aus Semantic Scholar und Unpaywall wird in Abb. 2 dargestellt. Zwischen 2008 und 2013 ist der Anteil der OA-Veröffentlichungen in beiden Datenbanken annähernd gleich. Ab 2014 nimmt die Differenz in der OA-Kategorisierung beider Datenbanken zu. Während in Semantic Scholar nur ein leichter Anstieg des OA-Anteils gemessen werden kann, welcher ab 2019 erheblich abfällt, steigt der Anteil von OA-Publikationen laut Unpaywall beständig. Der Pearson-Korrelationskoeffizient des OA-Status beider Systeme beträgt 0,62. Semantic Scholar identifiziert zwischen 2008 und 2020 43 % der Artikel als OA (Unpaywall: 47 %).

4.3 Open-Access-Status nach Fachdisziplinen

Für die in Semantic Scholar verwendeten Fachdisziplinen wird im folgenden Teil der OA-Anteil bestimmt. Disziplinen werden zunächst einzeln betrachtet (s. Tab. 1). Tab. 2 gruppiert die verschiedenen Disziplinen in die Kategorien Lebenswissenschaften & Biomedizin, Naturwissenschaften, Sozialwissenschaften und Kunst- & Geisteswissenschaften. Die Einteilung erfolgt nach Bosman und Kramer.^[43] OA-Anteile werden für die entsprechenden Tabellen für Zeitschriftenartikel der Publikationsjahre 2008 bis 2020 berechnet. Die jeweiligen OA-Anteile werden ausschließlich über Semantic Scholar bestimmt.

Es lässt sich erkennen, dass Disziplinen mit einem relativ hohen Publikationsoutput auch hohe OA-Publikationsraten haben. Die meisten Publikationen in Semantic Scholar sind Lebenswissenschaften und Biomedizin zuzuordnen (s. Tab. 2). In diesem Bereich werden zudem die meisten OA-Publikationen identifiziert (49 %). Die Naturwissenschaften, darunter Chemie, Mathematik, Physik und Informatik, machen den zweitgrößten Anteil am Publikationsaufkommen in Semantic Scholar aus. Der OA-Anteil der Naturwissenschaften misst 38 %. Der kleinste OA-Anteil in den Naturwissenschaften ist in den Ingenieurwissenschaften (30 %) und der Informatik (33 %) zu messen. In der Physik (48 %), Geologie (49 %) und in den Umweltwissenschaften (47 %) wird der größte OA-Output innerhalb der Naturwissenschaften ermittelt. In den Kunst- und Geisteswissenschaften ist der OA-Output am geringsten (32 %). Das liegt vor allem an der niedrigen OA-Identifikationsrate im Bereich Kunst (30 %), welcher mit den Rechtswissenschaften (32 %) und Betriebswirtschaft (29 %) die kleinsten OA-Anteile im Datensatz aufweist. Die Kunst- und Geisteswissenschaften machen andererseits nur 0,45 % der Publikationen unter den Zeitschriftenartikeln zwischen 2008 und 2020 in Semantic Scholar aus. In den Sozialwissenschaften ist der OA-Anteil in den Disziplinen Erziehungswissenschaften (34 %), Soziologie (34 %), Rechtswissenschaften (32 %) und Betriebswirtschaft (29 %) am geringsten. Am höchsten ist der OA-Anteil in den Sozialwissenschaften in den Fächern Politikwissenschaften (46 %), Psychologie (46 %) und Geografie (56 %). Der OA-Anteil in den Sozialwissenschaften liegt laut Semantic Scholar bei 42 %.

4.4 Open Access nach Verlagen

Das untersuchte Datenset enthält keine expliziten Verlagsinformationen. Entsprechende Informationen können nur mithilfe weiterer externer Datenquellen angereichert werden. Eine gängige Methode hierbei ist es, Informationen mittels der International Standard Serial Number (ISSN) aus dem ISSN International Portal zu extrahieren.^[46] Informationen aus dem ISSN International Portal sind allerdings kostenpflichtig, weshalb Informationen aus Crossref nachgenutzt worden sind. Für die in Semantic Scholar enthaltenen Zeitschriftenartikel der Publikationsjahre 2008 bis 2020 wurden Verlagsnamen aus Crossref mit einem ISSN-Matching zusammengeführt. Bei der Zuweisung von Artikeln zu Verlagen wurden mögliche Imprint-Wechsel vernachlässigt, die durch die zeitliche Distanz zwischen den gewählten Snapshots vorkommen könnten. OA-Anteile der jeweiligen Verlage wurden daraufhin mit den vorliegenden Daten aus Semantic Scholar berechnet (s. Tab. 3). Insgesamt konnten Verlagsinformationen zu 13 841 906 Zeitschriftenartikeln gefunden werden (92 %). Artikel, die keiner ISSN zugeordnet waren, werden in der Analyse in diesem Abschnitt ausgeschlossen.

Daten aus Tab. 3 werden folgend in Abb. 3 grafisch dargestellt. Der Verlag Elsevier ist im vorliegenden Datenset am häufigsten vertreten. Insgesamt bemisst der Anteil der Zeitschriftenartikel des Verlages Elsevier 34 % am Publikationsaufkommen der Jahre 2008 bis 2020 in Semantic Scholar. Darauf folgt der Verlag Wiley mit knapp 14 %. Der Anteil von Zeitschriftenartikeln des Verlages Springer liegt bei 8 %. Der Verlag SAGE sowie der Verlag Informa UK Limited machen kumulativ 2 % des Publikationsvolumens im Datenset aus. Damit werden den „Big Five Publisher“^[47] insgesamt 58 % der Artikel in Semantic Scholar zugeordnet. Dieses Ergebnis deckt sich mit den Ergebnissen von Stoy et al., die den Anteil dieser Verlage am Publikationsaufkommen auf über 55 % bestimmen (basierend auf Daten aus WoS).^[48]

Abb. 3:

OA-Anteile der zwanzig größten Verlage in Semantic Scholar

Große OA-Verlage sind mit knapp 10 % im Publikationsaufkommen vertreten. Davon gehen 4 % an den Verlag Multidisciplinary Digital Publishing Institute (MDPI), 3 % an den Verlag Public Library of Science (PLOS) und 2 % an Frontiers Media. Obwohl diese Verlage reine OA-Zeitschriften veröffentlichen, liegt die entsprechende OA-Quote im Datenset bei 93 bis 98 %. Diese Beobachtung kann möglicherweise auf die unzureichende OA-Datenlage in Semantic Scholar zurückgeführt werden. Kleinere Verlage, die unter dem Term Other zusammengefasst werden, machen kumulativ 16 % der Zeitschriftenartikel im untersuchten Datensatz aus. Der OA-Anteil dieser Verlage liegt mit 53 % unter dem Mittel (67 %).

Die OA-Quote ist unter den großen fünf Verlagen unterschiedlich ausgeprägt. Der Verlag Elsevier hat einen OA-Anteil von 22 %. Der OA-Anteil des Verlages Wiley liegt bei 42 %. Springers OA-Anteil bemisst 82 %. Informa UK Limited hat einen OA-Anteil von 74 %. Die OA-Quote des Verlages SAGE liegt bei 54 %. Medknow und Ovid Technologies haben unter den zwanzig am häufigsten vorkommenden Verlagen die niedrigsten OA-Quoten. Medknow hat einen OA-Anteil von 5 %. Ovid Technologies hat einen OA-Anteil von 20 %. Insgesamt werden in Semantic Scholar 1793 Verlage gezählt, die zwischen 2008 und 2020 mit mindestens einem Zeitschriftenartikel verknüpft werden.

Kontrastiert man dieses Ergebnis mit der ESAC Market Watch, so fällt auf, dass die relativen OA-Anteile einzelner Verlage in Semantic Scholar höher ausfallen.^[49] Möglicherweise ist dies der Tatsache geschuldet, dass eine andere OA-Klassifizierung vorgenommen wurde sowie die Datengrundlage eine andere ist (WoS). Die ESAC Market Watch informiert über Trends im wissenschaftlichen Publikationsmarkt und wird von Bibliotheken und Forschungseinrichtungen für strategische Entscheidungen genutzt.

4.5 Open-Access-Nachweise in Semantic Scholar

Jede OA-Publikation in Semantic Scholar wird mit einem Link zu einem frei zugänglichen Textdokument verknüpft. Zusätzlich wird eine OA-Kategorisierung vorgenommen. Diese Informationen sind im Abstracts-Datensatz von Semantic Scholar enthalten, welcher jedoch nicht in dieser Arbeit berücksichtigt und analysiert wurde. Stattdessen wurden Daten aus der Graph API verwendet.^[50] Um die Verteilung von OA-Kategorien sowie OA-Nachweisen in Semantic Scholar zu prüfen, wurde ein Datensample mit 5000 zufällig gewählten Zeitschriftenartikeln der Publikationsjahre 2008 bis 2020 erstellt und mit Informationen aus der Graph API angereichert. Für die Graph-API-Anfrage wurde das Python-Package semanticscholar verwendet.^[51] Semantic Scholar nutzt die OA-Kategorien Gold OA, Green OA, Bronze OA und Hybrid OA. Diese werden auch in Unpaywall verwendet, weshalb sich ein Vergleich zwischen diesen beiden Anbietern aufdrängt. Abb. 4 zeigt einen Vergleich zwischen Semantic Scholar und Unpaywall hinsichtlich der OA-Kategorisierung. Für die Kategorisierung mit Unpaywall wurden sämtliche Zeitschriftenartikel der Publikationsjahre 2008 bis 2020 aus Semantic Scholar genutzt, die mit einem DOI in Unpaywall aufgefunden worden sind. Der entsprechende OA-Status wurde aus Unpaywall entnommen. Somit werden 5 000 Artikel mit OA-Informationen aus Semantic Scholar mit 14 Mio. Zeitschriftenartikeln mit OA-Informationen aus Unpaywall verglichen.

Abb. 4:

Verbreitung von OA-Kategorien in Semantic Scholar und Unpaywall^[52]

Die OA-Kategorisierung ist bei beiden Systemen ähnlich. Durchschnittlich werden 16 % der Publikationen in Semantic Scholar als Gold OA identifiziert, während in Unpaywall 19 % der Artikel als Gold OA klassifiziert werden. Der Anteil von Green OA liegt in Semantic Scholar durchschnittlich bei 13 %. In Unpaywall werden durchschnittlich ebenso 13 % der Artikel als Green OA klassifiziert. Als Hybrid OA werden in Semantic Scholar im Mittel 4 % gemessen und in Unpaywall 5 %. Für Bronze OA werden in Semantic Scholar im Schnitt 9 % ermittelt und in Unpaywall 11 %. In beiden Datenquellen lassen sich ähnliche Trends identifizieren. So wird etwa ein Anstieg von Gold OA in beiden Datenbanken festgestellt. Dieser geht mit einem kleinem Rückgang von Green OA einher. Bronze OA fällt leicht von 2008 bis 2020. Der Anteil von Hybrid OA steigt dezent. Von den 5 000 Artikeln des Samples sind 2 076 Veröffentlichungen im OA (41,52 %). Dieser Anteil liegt in Unpaywall leicht höher (46,46 %).

4.6 Semantic Scholar im Vergleich mit anderen Datenbanken

Im Folgenden soll der Bestand an Zeitschriftenartikeln mit einem DOI von 2008 bis 2020 in Semantic Scholar mit den Datenbanken Unpaywall, WoS, OpenAlex und Crossref verglichen werden (siehe Abb. 5). Hierzu wurden zunächst alle Zeitschriftenartikel der entsprechenden Jahre in Semantic Scholar sowie in den respektiven Datenbanken gezählt. Aus typologischer Perspektive ist der Vergleich mit Kompromissen behaftet. So kann es vorkommen, dass die verschiedenen Datenbankanbieter unterschiedliche Ansätze bei der Typologisierung von Zeitschriftenartikeln verfolgen. Gezählt werden zunächst Zeitschriftenartikel in Semantic Scholar mit einem DOI. Anschließend fand ein DOI-Matching mit den genannten Datenbanken statt. Daraufhin wurde für die respektiven Datenbanken die Anzahl der Publikationen mit dem Typ Zeitschriftenartikel gezählt.

Die meisten Publikationen aus Semantic Scholar werden in OpenAlex abgebildet. So sind in OpenAlex 99 % der Artikel aus Semantic Scholar enthalten. 59 056 Artikel wurden nicht in OpenAlex gefunden. Eine ähnliche Abdeckung wird in Unpaywall beobachtet. Insgesamt werden 98 % der Artikel aus Semantic Scholar in Unpaywall aufgefunden. 27 195 329 Artikel sind ausschließlich nur in Unpaywall zu finden. In Crossref werden 62 % der Zeitschriftenartikel aus Semantic Scholar aufgefunden. Über 5 Mio. Artikel sind dabei ausschließlich in Semantic Scholar zu finden. Da Crossref als DOI-Registrierungsagentur fungiert, ist davon auszugehen, dass in Semantic Scholar auch Publikationen mit DOIs enthalten sind, die nicht über Crossref vergeben worden sind. In WoS werden 53 % der Zeitschriftenartikel der Publikationsjahre 2008 bis 2020 mit einem DOI aus Semantic Scholar gefunden. Knapp 10 Mio. Zeitschriftenartikel sind nur in WoS enthalten, womit die geringste Abdeckung unter den Anbietern erreicht wird. Im Vergleich mit Unpaywall, Crossref und OpenAlex werden in WoS die wenigsten Artikel mit einem DOI aufgefunden.

Abb. 5:

Überlappung von Zeitschriftenartikeln mit einem DOI aus Semantic Scholar mit Crossref, OpenAlex, Unpaywall und Web of Science