Volltextsuche in historischen Texten

1 Vorbemerkung

Die Österreichische Nationalbibliothek als eine der größten Universalbibliotheken Europas beherbergt in ihren Beständen mehr als 3,7 Millionen Bände an Büchern und Periodika vom Beginn des Buchdrucks bis heute. Aufgrund ihrer Rolle als Hofbibliothek der Habsburgermonarchie sind die historischen Bestände der Bibliothek von besonderer Bedeutung. Die Österreichische Nationalbibliothek versteht sich heute jedoch als moderne Dienstleistungs- und Forschungsinstitution, die eine lebendige Brücke zwischen dem Erbe der Vergangenheit und den Ansprüchen der modernen Informationsgesellschaft schlägt. Sowohl in der „Vision 2025“ als auch in den konkreten strategischen Zielsetzungen der Österreichischen Nationalbibliothek nimmt die Digitalisierung ihrer urheberrechtsfreien Bestände einen maßgeblichen Platz ein. Die digitale Bibliothek der Österreichischen Nationalbibliothek bietet schon heute Zugriff auf ein breites Spektrum digitaler Objekte, darunter Bücher, Zeitungen, Fotos, Porträts und Plakate, wertvolle Manuskripte, Inkunabeln, Papyri etc. Der Zugang erfolgt einheitlich über QuickSearch, das Suchportal der Bibliothek, über das alle Bestände – analoge wie digitale – zugänglich sind. Einige Objektgruppen sind zusätzlich über eigene Access-Points erreichbar (z. B. Zeitungen über das Zeitungsportal ANNO). Die ÖNB liefert ferner die Metadaten zu den digitalen Objekten an „Europeana“, die gemeinsame europäische digitale Bibliothek.

Über die reine Digitalisierung hinaus ist bei Druckwerken als nächster Schritt die Volltexterkennung (OCR) logisch, die neben der Suche im Text auch weitergehende Services ermöglicht.

Mit Beginn des Projekts „Austrian Books Online“ (ABO), in dessen Rahmen auch OCR-gelesene Texte produziert werden, wurde die Entscheidung getroffen, eine zentrale technische Infrastruktur für Volltexte an der ÖNB zu schaffen. Diese war von Beginn an so konzipiert, nicht nur Volltexte aus ABO, sondern Volltexte aus beliebigen Quellen verarbeiten zu können. Heute beinhaltet das volltextlich durchsuchbare Angebot Texte aus den Projekten ABO, ANNO (Zeitungen), Europeana Newspapers und in geringem Ausmaß aus TELPlus.

2 Austrian Books Online (ABO)^1[1]

Im Rahmen von Austrian Books Online wird der gesamte urheberrechtsfreie Buchbestand von 1501 bis in die 2. Hälfte des 19. Jh. digitalisiert.

Inkludiert sind die historischen Bestände der Sammlung von Handschriften und alten Drucken (darunter rund 200 000 Bände des Prunksaals), der Kartensammlung, der Musiksammlung, der Bibliothek des Theatermuseums und die 100 000 Bände der Fideikommissbibliothek – der Privatbibliothek des Kaiserhauses – insgesamt rund 600 000 Bücher (200 Millionen Seiten), welche in einer Public-Private-Partnership mit Google digitalisiert und sowohl über Google Books als auch über die Österreichische Nationalbibliothek kostenfrei zugänglich gemacht werden. Derzeit wurden bereits mehr als 250 000 Bücher digitalisiert und im Volltext angeboten. Für das Lesen der digitalisierten Bücher wurde mit einem externen Partner ein Buchviewer entwickelt, der u. a. Blättern, Zoomen sowie eine Downloadmöglichkeit im PDF-Format beinhaltet. Die für die Anzeige im Viewer benötigten Files werden über einen Image Server jeweils „on-the-fly“ aus den abgelegten JPEG-2000-Dateien generiert. Der Buchviewer wurde auch für mobile Endgeräte adaptiert.

Abgesehen vom Hauptziel des Projekts sind auch weitere positive Nebenaspekte zu bemerken.

Da für das Projekt die Metadaten jedes einzelnen Bandes überprüft und angepasst werden müssen, konnte im Bereich der Metadaten eine erhebliche Qualitätssteigerung erreicht werden. Gemeinsam mit einer systematischen konservatorischen Zustandserfassung jedes Bandes kann von einer Bestandsrevision für diesen Teil gesprochen werden. Durch die erforderliche Etablierung einer Infrastruktur für Workflows basierend auf großen Datenmengen profitieren auch andere Projekte, indem die Infrastruktur nachgenutzt wird. So wird nicht nur die Infrastruktur für die Volltexte für ANNO und andere Projekte genutzt, sondern beispielsweise auch der Buchviewer für das neue digitale Langzeitarchivierungssystem eingesetzt werden.

Die im Rahmen von ABO digitalisierten Bücher werden auch über die europäische digitale Bibliothek Europeana zur Verfügung gestellt.^[2]

Abb. 1:

Buchviewer

3 Austrian Newspapers Online (ANNO)

Als erste Digitalisierungsinitiative startete mit ANNO^[3] 2003 das Zeitungsportal der Österreichischen Nationalbibliothek. Die Gründe für die damals getroffene Entscheidung, die Digitalisierung mit Zeitungsbeständen zu beginnen, lagen einerseits in der schlechten Haltbarkeit des Zeitungspapiers und anderseits in der starken Beanspruchung durch die starke Nachfrage seitens der Leser. Nach mehr als 10 Jahren sind nun rund 13 Millionen Seiten vom 16. Jahrhundert bis in die 1940er-Jahre online verfügbar. Der Einstieg kann entweder über eine alphabetische Titelliste oder das Jahr erfolgen. Rechtzeitig zum 10-jährigen Jubiläum wurde darüber hinaus die Volltextsuche der Jahrgänge 1704 bis 1872 zugänglich gemacht. Unter der Rubrik „ANNOdazumal“ wird in regelmäßigen Abständen über historische Ereignisse, über die in den Zeitungen aus ANNO berichtet wurde, informiert.

Historische Tageszeitungen, die über das Projekt ABO digitalisiert werden, werden auch über das Interface des Zeitungsportals ANNO der Österreichischen Nationalbibliothek bereitgestellt. ANNO wird durch Kooperationspartner aus Österreich und anderen Ländern unterstützt und nimmt bzw. hat auch an EU-geförderten Projekten wie Europeana Newspapers, Europeana Collections 1914–18 und Europeana Travel teilgenommen.

Abb. 2:

ANNO-Startseite

4 Europeana Newspapers^[4]

Im Rahmen des Projekts Europeana Newspapers machen achtzehn europäische Partnerinstitutionen mehr als 18 Millionen Zeitungsseiten über das Online-Portal Europeana zugänglich. Das Projekt konzentriert sich auf die spezifischen technischen Herausforderungen bei der Aufbereitung digitalisierter Zeitungen wie Optical Character Recognition (OCR), Optical Layout Recognition (OLR), Named Entity Recognition (NER) und Artikelsegmentierung. Die Österreichische Nationalbibliothek liefert dabei 1,6 Millionen digitalisierte und OCR-gelesene Zeitungsseiten und Metadaten zu rund 6 Millionen Zeitungsseiten an das Online-Portal der Europeana. Das Projekt läuft noch bis Ende Januar 2015.

5 Technische Infrastruktur der Volltextsuche

Ein wesentliches Ziel der Volltextsuche (VTS) ist, die Suchfunktionalität nicht als Teil einer bestimmten Anwendung oder für einen bestimmten Bestand zu entwickeln, sondern als Teil der Infrastruktur der Bibliothek zu implementieren. Dadurch wird es möglich, unterschiedliche Quell- und Zielsysteme einzubeziehen und eine bestandsübergreifende Volltextsuche anzubieten.

Den durchsuchbaren Quellbeständen, derzeit ABO und ANNO, ist gemeinsam, dass es sich um „historische“ – im Sinne von retrodigitalisierte – Dokumente handelt. Das bedeutet: Jede Seite eines Dokumentes liegt als gescannte Bilddatei vor. Durch OCR wird zu jeder Bilddatei eine Textdatei erstellt. Diese enthält zusätzlich zum erkannten Text auch die Koordinaten jedes Wortes. Zusammen stellen ABO (ca. 250 000 Bücher) und ANNO (ca. 350 000 Zeitungsausgaben) derzeit rund 90 Millionen Seiten für die Volltextsuche bereit.

Der Aufbau eines Dokumentes ist innerhalb der VTS im Format METS^[5] beschrieben. In dieser Datei ist der Zugriff auf jede Bild- und Text-Datei als URL verzeichnet sowie die Reihenfolge, in der die Inhalte dargestellt werden sollen. Ebenfalls in der METS-Datei enthalten sind die bibliographischen Metadaten des Dokumentes. Diese leiten sich aus den Katalogdaten ab und werden im Format MODS^[6] beschrieben. Den Ausschlag, dieses Format zu verwenden, gaben die erweiterten Möglichkeiten, verwandte Werke des Dokumentes zu beschreiben. So ist es möglich, in der METS-Datei auf weitere Ausgaben bzw. – bei mehrbändigen Werken – auf weitere Bände zu verweisen.

Bei der Übernahme eines Dokumentes in die VTS wird, sofern im Quellsystem bereits eine METS-Datei zum Dokument existiert, diese übernommen, ergänzt und in eine für die VTS einheitliche Form gebracht. Steht noch keine METS-Datei zur Verfügung, wird diese neu erstellt. Diese Vereinheitlichung der Dokumentbeschreibung bewirkt, dass nach dem Import und innerhalb der eigentlichen Suche keine Unterschiede mehr berücksichtigt werden müssen, die sich aus unterschiedlichen Quellsystemen ergeben.

Der Suchserver, auf dem die VTS aufsetzt, ist SOLR^[7], eine Open-Source-Software-Plattform für leistungsfähige Suchapplikationen. Den Kern dieses Suchservers bildet ein invertierter Index: In diesem Index werden alle Terme aller Dokumente mit einer Referenz auf die Dokumente, in denen sie vorkommen, verzeichnet. Eine indexbasierte Volltextsuche durchsucht daher nicht den Text jedes einzelnen Dokumentes, sondern diesen Index nach Übereinstimmungen mit dem Suchbegriff. Für die Geschwindigkeit, mit der eine Suchanfrage beantwortet werden kann, ist daher weniger die Anzahl der indizierten Dokumente relevant, als vielmehr die Zahl der unterschiedlichen Terme, die sich in diesem Index befinden. Aktuell sind dies rund 1,5 Milliarden.

Zu einem gewissen Teil ergibt sich diese hohe Zahl aus der Vielzahl an Sprachen, in denen die Dokumente in ABO und ANNO vorliegen. Gleichzeitig lassen sich die üblichen Mechanismen, die Zahl der Terme zu reduzieren, nur bedingt einsetzten: Die Rückführung von Wörtern auf ihre Stammformen ist ebenso sprachenabhängig wie das Ausfiltern von so genannten Stoppwörtern wie Artikel. Würde aber „die“ als deutscher Artikel ausgefiltert, während „die“ als „sterben“ in einem englischsprachigen Text erhalten bliebe, müsste ein Benutzer auch zum Zeitpunkt der Suche angeben, in welcher Sprache er seine Suchanfrage stellen möchte.

Großen Einfluss auf die Anzahl der Terme hat der Umstand, dass die Texte maschinell OCR gelesen wurden und dabei natürlich Fehler auftreten. Allerdings hat schon ein einziger falsch erkannter Buchstabe mitunter ein neues „Wort“ – und damit einen zusätzlichen Term im Index – zur Folge.

6 Exkurs: Probleme der Texterkennung

Eine der Hauptursachen falsch erkannter Buchstaben in historischen Texten ist die Vorlage – das Original – an sich. Wesentliche Faktoren sind hier einerseits die Papier- und Druckqualität, anderseits die Vielzahl möglicher Schrifttypen. Wesentlich unterscheiden sich Bücher und Zeitungen hinsichtlich der Papierqualität.

So ist z. B. die Papierqualität bei Büchern in der Regel etwas besser als bei Zeitungen, für die nur mindere Qualität verwendet wurde, da Zeitungen als „Wegwerfprodukt“ konzipiert waren und daher nur den aktuellen Tag „überleben“ musste.^[8] Aus diesem Grund wurde auch die Druckerschwärze in Zeitungen weniger akkurat angebracht als in Büchern. Bei Büchern ist die Druckqualität in der Regel über das gesamte Buch hinweg einheitlich gut (oder auch schlecht), bei Zeitungen variiert der Druckschwärzeauftrag sogar innerhalb einer Seite, was ein einheitliches Scannen fast unmöglich macht. Ein guter Scan ist jedoch die Grundlage jeglicher OCR-Erkennung. Die Qualität des erkannten Texts ist direkt abhängig von der Qualität des verwendeten Bildmaterials. Ein weiteres Kriterium bei der Texterkennung ist das Layout des Originals. In Büchern ist der Text einspaltig von links nach rechts verlaufend, in Zeitungen mehrspaltig mit oftmaligen Abteilungen eines Wortes. Die der eigentlichen Texterkennung vorgeschaltete Layoutanalyse versucht nun, den Textverlauf eindeutig zu identifizieren. Ist aber nun innerhalb eines Zeitungstitels in der Layoutanalyse ein Spaltenabstand von z. B. 0.3 mm eingestellt und dieser nicht korrekt im Satz eingehalten, so zieht die Layoutanalyse die falschen Zeilen zusammen und verliert jedes der abgeteilten Worte.

Abb. 3:

Zeitungsausschnitt in Frakturschrift mit OCR-Text im Format ALTO^[9]

Bis in das 20. Jahrhundert war „Fraktur“ die meistbenutzte Druckschrift des deutschen Sprachraums. Sie gehört zu den so genannten „gebrochenen Schriften“ und weist Serifen, Ligaturen, unterschiedliche Formen des „s“ etc. auf. Aufgrund ihres optischen Charakters – dicke senkrechte Schattenstriche und schräge oder waagrechte, sehr schmale Haarstriche – hat die Software zur Texterkennung damit große Probleme, da besonders die Haarstriche oft so dünn sind, dass sie abreißen und die Buchstaben nicht mehr identifiziert werden können. Ein weiterer Grund für die mangelnde OCR-Qualität historischer Texte liegt genau in der Tatsache begründet, dass es sich um historische Texte handelt. Jede OCR-Software basiert auf sprachspezifischen Modellen oder hat Lexika integriert, um erkannte Worte in diesen nachzuprüfen und gegebenenfalls zu korrigieren. Allerdings handelt es sich bei diesen Lexika oder Modellen in der Regel um rezente Daten, die den Erfordernissen historischer Texte kaum gerecht werden. So sind hier Schreibungen vieler Worte nicht enthalten, die in der historischen Vorlage vorkommen. Im Rahmen des von der EU geförderten Projekts „Impact“ wurde die Bedeutung signifikanter Lexika herausgestrichen^[10] und durch die Integration von historischen Lexika in die OCR-Software des Anbieters Abbyy unterstrichen.

7 Technische Infrastruktur der Volltextsuche – Fortsetzung

Die 1,5 Milliarden Terme und ihre 33 Milliarden Vorkommen sind für knapp die Hälfte des – aktuell rund 460 Gigabyte großen – Volltextindex verantwortlich.

Wie oben beschrieben werden im invertierten Index von SOLR zu jedem Term alle Dokumente verzeichnet, in denen dieser Term vorkommt.

Zu erfahren, in welcher Zeitung, in welchem Buch ein gesuchtes Wort vorkommt, ist hilfreich, allerdings unbefriedigend, wenn dieses Buch mehrere hundert oder tausend Seiten umfasst. Es ist notwendig zu wissen, auf welcher Seite, in welchem Absatz der Begriff zu finden ist.

Eine Möglichkeit, diese Information zu gewinnen, ist, das entsprechende Dokument noch einmal nach konkreten Vorkommen zu durchsuchen. Allerdings wächst dabei die Suchzeit linear mit der Anzahl der zu durchsuchenden Seiten. Dieses Konzept ist daher für große Datenmengen nicht geeignet.

Eine weitere Möglichkeit, die zugehörige Seite zu einem Suchtreffer zu finden, ist, einen Suchindex aufzubauen, in dem nicht die Dokumente, sondern die Seiten eines Dokumentes als Vorkommen verzeichnet sind. Eine Suche nach mehreren Begriffen, die nicht auf der gleichen Seite vorkommen, würde aber dann gar kein Ergebnis liefern.

Beide Lösungsansätze stellen daher keine zufriedenstellenden Varianten dar. Daher wurde im Projekt Volltextsuche SOLR so erweitert, dass im gleichen Index zu der Information, in welchem Dokument ein Term vorkommt, auch Seitenzahl und Position auf der Seite gespeichert werden können. Diese Zusatzinformationen benötigen im Index noch einmal so viel Speicherplatz wie die Terme und ihr Vorkommen selbst.

Zusätzlich zur Speicherung war es notwendig, die Suchfunktionalität von SOLR so zu adaptieren, dass die Positionsinformationen nur dann ausgelesen werden, wenn sie auch wirklich benötigt werden. Von der Volltextsuche werden daher zwei unterschiedliche Suchmöglichkeiten angeboten: Zum einen lässt sich der Gesamtbestand im Volltext und anhand der Metadaten durchsuchen. Zum anderen kann der Volltext eines einzelnen Dokuments durchsucht werden. Hier werden als Ergebnis Seitenzahlen und Koordinaten sämtlicher Vorkommen des Suchbegriffs im Dokument zurückgeliefert.

Abb. 4:

Übersicht Komponenten Volltextsuche

Die Volltextsuche wurde komplett in das Suchportal „QuickSearch“^[11] integriert, um den Lesern weiterhin einen One-Stop-Shop zu allen Beständen der Österreichischen Nationalbibliothek zu bieten. Um jedoch inhaltlich idente Treffer zu vermeiden, wurde die Suche als eigener Reiter „Historische Volltexte“ implementiert.

Im einfachen Suchmodus werden gleichzeitig Volltext und Metadaten durchsucht. In der Erweiterten Suche ist es möglich, Begriffe nur im Volltext zu suchen und gleichzeitig die zu durchsuchenden Dokumente, z. B. auf einen bestimmten Autor oder ein bestimmtes Thema, einzuschränken.

In technischer Hinsicht bestand bei der Einbindung der Volltextsuche die Herausforderung einerseits darin, die Syntax der Suchanfragen, wie sie aus QuickSearch kommen, in die Syntax der Volltextsuche zu übersetzen. Zum anderen sollte, da QuickSearch nicht in der Österreichischen Nationalbibliothek sondern von einem externen Dienstleister gehostet wird, die gegenseitigen Abhängigkeiten so gering wie möglich gehalten werden. Das Plugin, das für die Einbindung der Volltextsuche in QuickSearch entwickelt wurde, wurde daher darauf reduziert, Anfragen und Ergebnisse weiterzuleiten. Die notwendige Übersetzung der Abfrage-Syntax sowie das Aufbereiten der Suchergebnisse wurden in das System Volltextsuche integriert. Anpassungen an Weiterentwicklungen in der Volltextsuche können so ohne Auswirkungen auf den laufenden Betrieb von QuickSearch vorgenommen werden.

Während QuickSearch die bestandsübergreifende Volltextsuche realisiert, werden Treffer im Volltext im Dokument direkt angezeigt. Dazu werden Zeitungen in ANNO, Bücher im Buchviewer geöffnet.

Abb. 5:

Suchportal QuickSearch

Durch Klicken auf das Thumbnail gelangt man zur entsprechenden Seite im Buchviewer, wo der Suchbegriff hervorgehoben angezeigt wird.

Innerhalb des Buches kann direkt im Buchviewer weitergesucht werden.

Abb. 6:

Volltextsuche und Anzeige im Buchviewer

Für die Suche in den Volltexten von ANNO wurde ein zusätzliches Suchinterface geschaffen, um speziell den an Zeitungen interessierten Lesern einen eigenen Einstiegspunkt zu bieten. Darüber hinaus wird anlässlich des Gedenkjahres zum Ausbruch des Ersten Weltkrieges ein eigener Zeitungskorpus mit 70 000 Zeitungsausgaben inklusive Extraausgaben und Verlustlisten für den Zeitraum 1914–18 angeboten. Der Erfolg der Strukturierung des Zugangs für spezielle Zielgruppen und anhand besonderer Ereignisse lässt sich auch in Zahlen messen: 90 % der Zugriffe auf das Volltextservice kommen derzeit über die ANNO-Suche.

Abb. 7:

Anno Suche

8 Ausblick – Erweiterte Services

Denkbare Zukunftsszenarien für die Weiternutzung der digitalen Volltexte lassen sich einerseits in die interne Nachbearbeitung/Nachnutzung und anderseits in die Weiterverwendung durch externe Forscher gliedern.

Zu den internen Nachnutzungsmöglichkeiten zählen z. B. die „Named Entity Recognition“, d. h. die automatisierte Erkennung von Personen- und Ortsnamen und deren anschließende Verknüpfung mit anderen Ressourcen im Web wie z. B. der GND (Linked Data). Voraussetzung, um jedoch sinnvolle Ergebnisse bei der „named entity recognition“ zu erzielen, ist die möglichst fehlerfreie OCR-Erkennung. Leider sind die bis dato vorliegenden OCR-Ergebnisse noch nicht so befriedigend, dass sich daraus gute Ergebnisse bei der „named entity recognition“ erzielen lassen. Insbesondere das Fehlen von Personen- und Ortsnamen in den in der Software integrierten Lexika macht sich hier bemerkbar.

Aktuell werden Digitalisate aus dem Projekt Austrian Books Online auch im EU-Projekt DM2E^[12] genutzt, in dem u. a. Werkzeuge für die Forschung entwickelt werden, die auf dem Linked-Open-Data-Konzept basieren.^[13]

Insbesondere die Anwendung computerunterstützter Methoden auf große Volltextkorpora ermöglicht neue wissenschaftliche Ansätze und datenorientierte Analysen in den Geistes-, Kultur- und Sozialwissenschaften. Diese neuen, bzw. erweiterten Methodologien und Forschungszweige finden seit rund einem Jahrzehnt in den Geisteswissenschaften unter dem Begriff „Digital Humanities“ zunehmende Akzeptanz; so wurde mit Beginn 2014 an der Österreichischen Akademie der Wissenschaften das Austrian Center for Digital Humanities (ACDH) ins Leben gerufen, das als virtuelles Netzwerk und Sammelpunkt für Forschungsinitiativen in den digitalen Geisteswissenschaften gemeinschaftlich von der Österreichischen Akademie der Wissenschaften, der Universität Wien und der Universität Graz betrieben wird.

Die Österreichische Nationalbibliothek wird ab 2015 gemeinsam mit dem ACDH einen Prototypen für eine Schnittstelle für geisteswissenschaftliche Forschungsmethoden implementieren.

Als Beispiel für ein konkretes Werkzeug sei an dieser Stelle der Google-NGram-Viewer genannt, mit dessen Hilfe die Häufigkeit von Wörtern oder Phrasen im Google Textkorpus analysiert werden kann.

Da die primär geisteswissenschaftliche Forschung bei der Suche nach relevanten Quellen nicht mehr ausschließlich auf die Metadaten im Katalog der Österreichischen Nationalbibliothek eingeschränkt ist, sondern Forscher auch den Volltext der Bücher nach Wörtern oder Phrasen durchsuchen können, werden sie so auf Materialien stoßen, die sie über eine ausschließlich bibliographische Recherche möglicherweise nicht gefunden hätten.