Digital Humanities in der Musikwissenschaft – Computergestützte Erschließungsstrategien und Analyseansätze für handschriftliche Liedblätter

3.1 Optical Music Recognition für handschriftliche Liedblätter

Aufgrund der großen Anzahl von Liedblättern bietet sich eine automatisierte Erschließung an. Analog zu bekannten Techniken aus der Texterkennung (Optical Character Recognition, OCR) finden sich auch für den Bereich der Notenerkennung Ansätze für Optical Music Recognition (OMR),^[12] bei denen versucht wird, durch Bilderkennung einzelne Noten automatisiert zu identifizieren. Wenngleich es eine ganze Reihe von verfügbaren OMR-Tools für die Erkennung von gedruckten Noten gibt, so lassen die Ergebnisse hinsichtlich Präzision und Zuverlässigkeit häufig sehr zu wünschen übrig.^[13] Beim Versuch solch existierende OMR-Tools – die primär für die Erkennung gedruckter Noten konzipiert sind – auf handschriftliche Notenblätter anzuwenden, sind die Ergebnisse noch schlechter. Im Rahmen einer Evaluationsstudie^[11][14] für ein Testkorpus von 20 Liedblättern aus der Regensburger Sammlung wurden insgesamt drei verfügbare OMR-Tools evaluiert (vgl. Tab. 1).

Das Evaluationsdesign und die verwendeten Metriken orientierten sich dabei an bestehenden Evaluationsstudien für OMR-Tools für gedruckte Noten.^[15] Die Ergebnisse der Evaluation zeigten, dass die durchschnittliche Erkennungsrate der getesteten Tools sehr gering (CapellaScan 8 %, PhotoScore 36 %, SharpEye 4 %) und damit nicht geeignet für den produktiven Einsatz für die Digitalisierung der Regensburger Liedblattsammlung ist.

3.2 Crowdsourcing-Ansatz: Allegro

Als alternativer Ansatz für die Erschließung der umfangreichen Liedblattsammlung wurde ein Crowdsourcing-Tool namens Allegro^[16] entwickelt. In der Literatur finden sich zahlreiche Belege für den erfolgreichen Einsatz von Crowdsourcing-Strategien im Bereich der Digital Humanities,^[17] insbesondere für Aufgaben im Bereich der Transkrip-

tion,^[18] sowohl für die Transkription von Manuskripten^[19] als auch für den Anwendungsfall der Transkription von Notenblättern.^[20] Zu Beginn des Entwicklungsprozesses von Allegro wurde zunächst eine grundlegende Analyse vorhandener Transkriptionstools (vgl. Tab. 2) vorgenommen, einerseits um einen Überblick zu typischen Funktionen solcher Werkzeuge zu erhalten, andererseits um auszuloten, inwiefern bestehende Tools für den Einsatz in einem kollaborativen Crowdsourcing-Szenario geeignet sind.

Da keines der existierenden Tools unmittelbar für Crowdsourcing ausgelegt ist, wurde mit Allegro ein neues Konzept entwickelt, das explizit bestehende best practices aus erfolgreichen Crowdsourcing-Projekten umsetzt.^[21]Allegro wurde ausschließlich mit aktuellen Webtechnologien^[22] umgesetzt und kann ohne vorherige Installation direkt im Browser ausgeführt werden. Aufgrund der enormen Menge an Liedblättern wurde beim Design von Allegro insbesondere auch der Aspekt der Usability berücksichtigt.^[23] Dabei soll die Einstiegshürde für potenzielle Nutzer so gering wie möglich sein und die Bedienung des Tools so einfach gehalten werden, dass selbst Nutzer, die nicht aktiv Noten lesen können, in der Lage sind, die Blätter zu transkribieren.^[24] Zur Erreichung dieser Ziele kamen während des gesamten Entwicklungsprozesses systematisch Techniken des Usability Engineering und Ansätze aus dem Bereich des User Centered Design (UCD) zum Einsatz.^[25]

Die Transkription mit Allegro gliedert sich im Wesentlichen in drei Phasen^[26] (vgl. Abb. 3): (1) Zunächst wird das Liedblatt in einzelne Takte segmentiert. Dieser Schritt ist wichtig, um später eine taktweise Transkription umsetzen zu können. Bereits in frühen Nutzerstudien mit dem Allegro-Prototyp wurde deutlich, dass eine Transkription Takt für Takt das Fehlerpotenzial gegenüber der Transkription des gesamten Liedblatts erheblich reduziert, da die Nutzer hier häufig den Überblick bzw. die Orientierung im Notenblatt verloren. (2) Im nächsten Schritt transkribieren die Anwender die Liedblatt-ID, die für eine spätere Verknüpfung mit den bestehenden Metadaten notwendig ist. Außerdem werden in diesem Schritt die Taktart und die Tonart angegeben. (3) Im letzten Schritt erfolgt die eigentliche Transkription der einzelnen Takte. Über ein Onboarding-Tutorial werden die Transkriptoren bei der ersten Nutzung auf die grundlegenden Funktionen hingewiesen. Die Transkription erfolgt durch Maus oder Tastatur in einer interaktiven Notenzeile. Das gesamte Lied kann nach der Transkription zu Testzwecken auch im Browser abgespielt werden, um so ggf. fehlerhafte Transkriptionen akustisch wahrnehmbar zu machen.^[27] Neben diesem einfachen Mechanismus zur grundlegenden Kontrolle der Transkriptionen durch die einzelnen Nutzer wird in Allegro darüber hinaus eine systematische Qualitätskontrolle im Sinne eines Double-Keying-Verfahrens^[28] durchgeführt. Dabei wird jedes Liedblatt von zwei unabhängigen Transkriptoren abgeschrieben. Falls es zu Abweichungen bei den beiden Transkriptionsvarianten kommt, wird das betreffende Liedblatt von einem Experten nochmals manuell geprüft. Allegro bietet hierfür eine spezielle Vergleichs- bzw. Korrekturansicht. Wenn die Transkriptionen zweier unabhängiger Nutzer vollständig übereinstimmen fällt der Schritt der manuellen Korrektur weg.

Abb. 3

Wesentliche Schritte bei der Transkription mit Allegro

Durch den Web-Kontext des Tools werden zunächst alle Transkriptionen in MusicJSON, also einem Format basierend auf der JavaScript Object Notation,^[29] repräsentiert. Dieses Format kann mit entsprechenden Konvertierungstools aber problemlos in andere Music Encoding-Formate wie beispielsweise MusicXML^[30] oder MEI (Music Encoding Initiative)^[31] übertragen werden.

Als Zwischenfazit zur Erschließung der Regensburger Liedblattsammlung kann festgehalten werden, dass sich ein toolgestützter Crowdsourcing-Ansatz grundsätzlich gut eignet, derartiges Material zu transkribieren. Dabei muss allerdings kritisch angemerkt werden, dass der Zeitfaktor für die korrekte Transkription aller Liedblätter der umfangreichen Sammlung trotz Crowdsourcing immer noch sehr hoch ist. Aktuell beträgt die durchschnittliche Transkriptionszeit pro Blatt ca. sechs Minuten. Bei zwei jeweils unabhängigen Transkriptionen für insgesamt 140 000 Blätter kommt man somit auf 28 000 Arbeitsstunden – die Korrektur der fehlerhaften Blätter nicht miteingerechnet. Somit ist das Ziel des Ansatzes vielmehr, mithilfe von Crowdsourcing ein ausreichend großen Trainingskorpus zu erstellen, um dann im nächsten Schritt mithilfe von maschinellem Lernen die restlichen Blätter automatisiert transkribieren zu lassen.^[32]

4.1 Abstraktion auf der Repräsentationsebene

Üblicherweise werden in der Musikwissenschaft konkrete Melodiesequenzen, basierend auf der genauen Tonhöhe und -länge, miteinander verglichen. Versucht man melodische Ähnlichkeit hingegen aus psychoakustischer Perspektive zu operationalisieren, dann zeigen schon Wahrnehmungsexperimente aus den 1970er-Jahren, dass eine nicht hundertprozentige exakte Nachahmung einer Melodie von Probanden häufig nicht vom Original zu unterscheiden ist, wenn diese eine ähnliche Melodiekontur aufweisen.^[34] Eine Melodiekontur ist eine Abstraktion der eigentlichen Melodie, bei welcher der Faktor Tonlänge vollkommen ausgeblendet wird. Damit ist eine Melodiekontur eine bloße Sequenz von Intervallen oder Tonhöhen. Eine zusätzliche Abstraktion der ohnehin schon reduzierten Melodiekontur stellt der sogenannte Parsons-Code dar, bei dem schließlich auch die exakte Tonhöhe einzelner Noten ausgeblendet wird und stattdessen nur die Beziehung zweier aufeinanderfolgender Noten als Ansteigen (u = up), Abfallen (d = down) oder Gleichbleiben (r = repeat) repräsentiert wird. Abb. 4 zeigt die beispielhafte Umsetzung von drei Suchanfragen (1) als exakte Melodie und als abstrakte Melodiekontur, (2) einmal als Abfolge von Intervallen (Anstieg/Abfallen der Tonhöhe durch Angabe von positiven/negativen Halbtonschritten) und einmal als (3) Parsons-Code, der nur das tendenzielle Ansteigen oder Abfallen einer Melodie berücksichtigt.

Abb. 4

Beispiele für unterschiedliche abstrakte Repräsentationen von Melodiesequenzen

4.2 Melodic-Similarity-Funktion

Durch die Abstraktion der Repräsentationsebene können bereits weitreichende strukturelle Verwandtschaftsbeziehungen zwischen einzelnen Liedblättern identifiziert werden. Zusätzlich wird durch die Implementierung einer Melodic-Similarity-Funktion ein Mechanismus zur graduellen Erfassung melodischer Ähnlichkeit umgesetzt, der es beispielsweise erlaubt, Melodienfragmente, die mindestens eine Übereinstimmung von 75 % aufweisen, zu identifizieren.

Ein Standard-Algorithmus zur Berechnung von melodischer Ähnlichkeit zwischen zwei Melodien ist der Mongeau-Sankoff-Algorithmus,^[35] der im Wesentlichen auf dem Prinzip der Editierdistanz basiert. Dabei errechnet sich die Distanz zwischen zwei Melodien aus der Anzahl der Editier-Operationen,^[36] die nötig sind, um eine Melodie in eine andere zu überführen. Zusätzlich führen Mongeau und Sankhoff zwei weitere Operationen „Fragmentierung“ (fragmentation) und „Konsolidierung“ (consolidation) ein. Die Fragmentierungsoperation berücksichtigt, dass eine Note aus der Quellsequenz durch mehrere Noten in der Zielsequenz ersetzt werden kann (beispielsweise eine ganze Note durch vier Viertelnoten), Konsolidierung beschreibt den umgekehrten Prozess der Ersetzung mehrerer Noten durch eine einzige Note. Die Details des Algorithmus sehen noch eine unterschiedliche Gewichtung der unterschiedlichen Operationen vor. Das Grundprinzip lässt sich folgendermaßen zusammenfassen: Je mehr Editieroperationen nötig sind, um eine Melodie in eine andere zu überführen, desto geringer ist deren Melodic Similarity Score.

4.3 MIR-System für die Analyse der Liedblattsammlung

Die beiden eben skizzierten Möglichkeiten der graduellen Identifikation melodischer Ähnlichkeit in Melodien wurden in einem funktionsfähigen Prototyp umgesetzt, welcher die Analyse eines kleinen Subkorpus an fertig transkribierten Liedblättern erlaubt.^[37] Mit dem System können melodische Suchanfragen entweder als exakte Melodie, als Intervallfolge oder als Parsons-Code-Sequenz beantwortet werden. Abb. 5 zeigt ein beispielhaftes Szenario, in dem nach dem Parsons-Code „up-down-up-up-down-down-up-down-down“ gesucht wird. In der Ergebnisliste sollen alle Liedblätter vorkommen, die diese Sequenz an irgendeiner Stelle der Melodie zu mindestens 75 % enthalten.^[38]

Abb. 5

Beispielhafte Suchanfrage im Parsons-Code und die resultierende Ergebnisliste

Jeder Treffer der Ergebnisliste kann näher untersucht werden. Dabei wird zunächst der Originalscan des Liedblatts angezeigt (vgl. Abb. 6). Darüber hinaus wird ein virtuelles Notenblatt anhand der Transkription dargestellt, in welchem die gesuchte Melodiesequenz entsprechend hervorgehoben ist. Sowohl die Transkription als auch ein synthetisiertes MIDI-File können heruntergeladen werden.

Abb. 6

Detailansicht eines Suchergebnisses

Als weitere Möglichkeit der Exploration der Liedblattsammlung anhand melodischer Ähnlichkeitsbeziehungen ist eine Netzwerkansicht gegeben. Dabei kann eine Auswahl von Liedblättern (beispielsweise aus einer bestimmten Region) als Netzwerk visualisiert werden, in dem jeder Knoten ein Liedblatt darstellt (vgl. Abb. 7). Klickt man ein Liedblatt in diesem Netzwerk an, so werden alle Liedblätter angezeigt, die eine melodische Ähnlichkeit zum Ausgangsliedblatt aufweisen, die größer als der definierte Schwellwert ist.

Abb. 7

Netzwerkdarstellung melodischer Ähnlichkeitsbeziehungen für ein exemplarisches Liedblattkorpus