Werkstatt: Integrierte Entwicklung von Hands-On-Kompetenzvermittlung und forschungsorientierten digitalen Diensten

1 „Hello, how can I help you today?“

Generative Systeme haben eine lange Geschichte, die sich erzählen ließe ausgehend vom generativen Begriffssystem Ràmon Llulls^[1] über eine lange Linie der Kombinatorik, das Konzept eines generativen Programms, mit dem Ada Lovelace im Jahr 1842 ausdrücklich an diese Linie anschließt,^[2] die diskursbegründenden Texte zu den denkenden Maschinen,^[3] Joseph Weizenbaums Chatprogramm ELIZA,^[4] und schließlich die jüngeren Entwicklungen im Bereich der computergestützten Sprachverarbeitung.^[5] Damit zu verbinden wäre vermutlich eine Mediengeschichte der Assistenz,^[6] des Interface-Designs und agentischer Software.^[7] Bis am vorläufigen Ende dieser Vorgeschichten im November 2022 eine durch ein Large Language Model (LLM) gestützte chatbasierte Anwendung die Bühne der Webbrowser und App-Stores betritt und sagt: „Hello, how can I help you today?“

Bereits kurz nach ihrer Veröffentlichung ist die Anwendung der Firma OpenAI, die unter dem Label ChatGPT vorgestellt und vermarktet wird,^[8] hinsichtlich ihrer Nutzungszahlen sehr erfolgreich und erhält viel öffentliche Aufmerksamkeit. Die Anwendung vereint eine ganze Reihe sprachanalytischer und sprachgenerativer Funktionen, was für die Universität als Lehr- und Forschungseinrichtung Konsequenzen hat: Text kann nicht mehr nur durch das Schreiben von Text erzeugt werden, sondern durch das Schreiben eines textgenerierenden Befehls. Im lokalen Kontext der Beratungs- und Kompetenzvermittlungsangebote der Kompetenzwerkstatt Digital Humanities (KDH) an der Universitätsbibliothek der Humboldt-Universität zu Berlin führt die skizzierte Entwicklung bei den Wissenschaftler:innen in den Geistes- und Kulturwissenschaften zu einem Bedarf nach einer Auseinandersetzung mit LLM-gestützten Anwendungen, der zunehmenden Verbreitung von ChatGPT und den Konsequenzen für die universitäre Lehre in Bezug auf Fächerkulturen, Arbeits- und Prüfungsformen und akademisches Schreiben.

Fragen und Problembeschreibungen, die im Rahmen einer Vorstellung des KDH-Angebots bei einer Veranstaltung des Projekts „Anwendungsorientierte Infrastruktur für KI-Communities in Lehr-Lern-Settings“ (AI-SKILLS) an das KDH-Team herangetragen wurden, bezogen sich überwiegend auf die Beobachtung, dass Studierende entsprechende Tools verwenden und dies aufseiten der Lehrenden die Entwicklung von passenden Umgangsformen erforderlich macht. Ableiten lässt sich davon der Bedarf nach eigener Kompetenz der Lehrenden für den Umgang mit LLM-basierten Chatbots in der Lehre. Um diesen Bedarf zu adressieren, wurde in Zusammenarbeit mit AI-SKILLS und dem Methods Innovation Lab von NFDI4Memory ein halbtätiger Workshop für Forschende und Lehrende entwickelt und dafür vorbereitend drei Ziele herausgearbeitet:

1. Umgang mit Studierenden, die ChatGPT und ähnliche Angebote selbständig und ohne lehrveranstaltungsbezogene Vorgaben verwenden, zum Beispiel für die Bearbeitung von Aufgaben oder das Anfertigen von Hausarbeiten,

2. Festlegung von Regeln für die Arbeit mit ChatGPT,

3. Gestaltung von Übungseinheiten oder Seminarsitzungen zur Kompetenzvermittlung an die Studierenden.

Im Horizont dieser konkreten Aspekte steht der Bedarf nach einer eigenen fachwissenschaftlichen und lehrbezogenen Positionierung zu generativen Werkzeugen. Die zu diesem Zeitpunkt ersten institutionell entwickelten Handreichungen und Leitlinien^[9] und erste individuelle fachwissenschaftliche Positionierungen und Vorschläge^[10] liefern dafür wichtige Orientierungspunkte, sind aber im Fall der institutionellen Handreichungen auch bewusst offen formuliert und ersetzen nicht die Ausarbeitung von Handlungsoptionen und Leitlinien für den eigenen konkreten Fall.

Auf Basis dieser Impulse wurden unter Rückgriff auf aktuelle Literatur und bereits vorhandene eigene Expertise und Erfahrung im Team eine Reihe von Punkten identifiziert, mit denen die genannten Bedarfe problemorientiert in einem Workshop thematisiert werden können. Dazu zählen Fragen der wissenschaftlichen Autorschaft,^[11] die strukturelle Unzuverlässigkeit von LLM-basierten Systemen bei der Bearbeitung von textbezogenen Aufgaben, Fragen der Reproduzierbarkeit und weitergehende epistemologische Konsequenzen,^[12] die den Sprachmodellen inhärenten Biases,^[13] und schließlich auch die Geschichte dieses neuen Phänomens, das im Hype oftmals als bedingungslose und zwingend revolutionäre Neuheit erscheint. Auch für chatbasierte Werkzeuge und agentische Software gibt es historische Linien, die sich verfolgen lassen, und die für ein Verständnis des für viele Fächer und Einrichtungen spürbaren Kulminationspunkts, der sich durch eine breite Verfügbarkeit und beschleunigte produktorientierte Entwicklung von LLM-gestützten Anwendungen auszeichnet, hilfreich sind. Dabei kommen entsprechende Auseinandersetzungen gerade auch aus den Geistes- und Kulturwissenschaften, darunter medien- und kulturgeschichtliche sowie erkenntniskritische Arbeiten, die für eine aktuelle Auseinandersetzung mit den genannten Problematiken historische und erkenntniskritische Anschlusspunkte bieten.^[14]

Zu beobachten waren zum Zeitpunkt der Vorbereitung des Workshops auch einige fachwissenschaftlich relevante Phänomene, die in ausgewählten Veranstaltungen der Reihe für die Problematisierung der genannten Aspekte herangezogen wurden, darunter die Durchführung eines computergenerierten Gottesdienstes^[15] und eine ganze Reihe von kleineren Skandalen um fehlerhafte computergenerierte Anträge in Gerichtsverfahren.^[16] Auffällig wurden in diesen Fällen insbesondere bibliografische Referenzen, die formal zwar korrekt waren, aber auf kein existentes Ziel verwiesen. Markiert wurde und wird damit ein grundlegendes Referenzproblem statistisch bzw. KI-generierter Texte, das über juristische Texte hinaus alle Wissensformen betrifft, in denen Geltungsansprüche maßgeblich referenziell begründet werden, darunter auch die Geistes- und Kulturwissenschaften. Das Referenzbeispiel ist daher eine Möglichkeit, um Funktionsweise, linguistischen Status und Fragen der Textualität anzusprechen und zu problematisieren.

Die aus dem Bedarfskontext und den gegenstandsbezogenen Aspekten abgeleiteten Vorhaben und Ziele für die Workshops umfassten schließlich:

1. Problematiken, die von Teilnehmenden (TN) an uns herangetragen werden, gemeinsam reflexiv bearbeiten.

2. Teilnehmende für die von den Bedarfen abgeleiteten gegenstandsbezogenen Problematiken sensibilisieren.

3. Mit den Teilnehmenden mögliche epistemologische Konsequenzen des Einsatzes von statistisch fundierten Werkzeugen für fachwissenschaftliche Argumentationsformen reflektieren.

4. Erkenntniskritische und emanzipatorische Handlungsansätze aufzeigen und besprechen.^[17]

Diese Punkte beschreiben einen rückblickend abgeleiteten Rahmen, konkrete Lernziele wurden für einzelne Workshops im Detail unterschiedlich definiert, wobei explorative Hands-on-Sessions und anschließende Reflexionsphasen mit Einbeziehung der von den Teilnehmenden eingebrachten Fragen und Beobachtungen meist den größten Zeitanteil ausmachten.

2 Integrierte Format- und Anwendungsentwicklung

Ausgangspunkt für die Konzeption einer Hands-On-Workshop-Reihe zum Umgang mit generativen LLM-gestützten Chatbots (Generative KI) waren konkrete Anfragen von Wissenschaftler:innen bei Outreach-Veranstaltungen und das große Interesse an einer ersten vortragsbasierten Veranstaltung zum Thema mit einer Reihe von Vorträgen unter Beteiligung von KDH-Mitarbeitenden.^[18] Für den ersten Workshop in Zusammenarbeit mit AI-SKILLS und dem Methods Innovation Lab von NFDI4Memory wurde bedarfsorientiert ein thematischer Fokus auf universitäre Lehre mit einem Schwerpunkt bei den Geistes-, Kultur- und Sozialwissenschaften gewählt. Ziel war, einen angenehmen und unterstützenden Raum zu schaffen für erste Auseinandersetzungen mit LLM-gestützten Chatbots ausgehend von Beobachtungen und Bedarfen aus der eigenen Lehrpraxis. Didaktisch war der Workshop auf eine Exploration des Werkzeugs und eine gemeinsame Reflexion der dabei gemachten Beobachtungen, Erkenntnisse und Erfahrungen angelegt, um die Teilnehmenden bei der Erarbeitung und Einschätzung der Funktionen und möglichen Anwendungsbereiche ausgehend von eigener fachlicher Expertise und Lehrpraxis im Sinne einer praxisbezogenen tool literacy zu unterstützen (mehr zu den didaktischen Grundlagen in den folgenden Abschnitten). Die Gruppengröße wurde auf 20 Teilnehmende und drei Mentor:innen, darunter die beiden Vortragenden, beschränkt. Der Workshop war unterteilt in mehrere Blöcke, die jeweils einen kurzen Input, eine längere Arbeitsphase und eine Reflexionsphase umfassten. Einführend zu Block 1 wurde die für den Workshop entwickelte einfache Webanwendung eingeführt, mit einem Durchgang durch alle Funktionen und einer abschließenden Aufgabe als Impuls für die explorative Arbeitsphase. Einführend zu Block 2 wurden praxisorientierte Strategien für die Promptentwicklung vorgestellt, insbesondere die iterative Entwicklung und die modulare Gestaltung von Prompts. Einleitend zu Block 3 folgten Hinweise auf eine Reihe von problematischen Aspekten, darunter Bias, statistisch bedingte Textkonstituierung und Aussagegehalt der generierten Texte, ökologische und soziale Hintergründe zu den Produktionsbedingungen kommerzieller Angebote. Für die anschließende Arbeitsphase wurde ein Arbeitsauftrag vorgeschlagen, um die Teilnehmenden zur gezielten Prüfung von Funktionen, Textgestaltung und Nutzungsweisen auf Basis eigener fachwissenschaftlicher Expertise anzuregen und auf diese Weise in der abschließenden Reflexionsrunde wissenschaftspraktische und epistemologische Aspekte zu öffnen.

Bei der Arbeit mit spezifischen Werkzeugen in einem Workshop spielt die Bereitstellung des Werkzeugs eine wichtige Rolle. Sie hat Einfluss auf Zugänglichkeit, Motivation, kollaborativen Austausch und damit auch auf Arbeits- und Lernergebnisse.^[19] Zu berücksichtigen sind darüber hinaus Fragen von Datenschutz, Sicherheit und Privacy. Für die Bereitstellung der Arbeitsumgebung im vorliegenden Fall wurde der Schwerpunkt auf einen niedrigschwelligen Zugang gelegt. Kommerzielle Lösungen mit der Notwendigkeit, einen Account anzulegen, wurden daher ausgeschlossen. Aus didaktischen Gründen sollten mehrere unterschiedliche Sprachmodelle angeboten werden, darunter aufgrund der ausdrücklichen Nachfrage auch ein Zugang zu einem aktuellen GPT-Modell von OpenAI. Gewählt wurden schließlich vier Sprachmodelle: GPT-3.5, GPT-2 (beide OpenAI), Llama 2 und das quelloffene Modell RedPajama-INCITE-Chat-3B-v1. Für die Bereitstellung der Modelle über ein Chatinterface wurde eine einfache Webanwendung auf Basis von Gradio entwickelt und im lokalen Netzwerk der Humboldt-Universität als „KI Playground“ für die Workshop-Teilnehmenden bereitgestellt.^[20] Das nicht frei verfügbare Modell GPT-3.5 wurde über die OpenAI-Schnittstelle eingebunden, die anderen drei Modelle auf eigener Infrastruktur installiert. Aufgrund des hohen Rechenaufwands ist die Verwendung einer Schnittstelle komfortabel. Für das Ausspielen der zugehörigen Anwendung an wenige Teilnehmende reicht ein kleiner Server. Gleichzeitig ergeben sich mit der Übertragung von Daten an einen kommerziellen Anbieter einige Fragen, die von Datenschutz über die kommerziell orientierte Verarbeitung der übertragenen Daten bis zur notwendigen Bewertung sozialer und ökologischer Konsequenzen des Geschäftsmodells reichen. Entscheidend für die Bereitstellung von GPT-3.5 – zum Zeitpunkt des Workshops auch Grundlage für den Dienst ChatGPT – war der initiale Bedarf nach einer Beschäftigung mit dem Dienst. Datenschutzaspekte wurden adressiert durch eine vorbereitende transparente Darstellung der Datenflüsse im Workshop sowie über die Bereitstellung mit einer eigenen Webanwendung, mit der Teilnehmende den Dienst ohne Einschränkungen anonym und ohne eigenen Account nutzen konnten. Die Bereitstellung der Werkzeuge über eine Webanwendung entlastet die Teilnehmenden bezüglich der technischen Voraussetzungen, sodass in diesem Fall Teilnehmende gebeten wurden, einen eigenen Rechner mitzubringen. (bring your own device – BYOD).^[21] Ein wichtiger Vorteil von Webanwendungen ist, dass die Arbeitsschritte für alle Teilnehmenden weitgehend gleich sind, unabhängig vom verwendeten Betriebssystem. Das erleichtert das Mentoring, weil keine Installationsschwierigkeiten, Ablageorte oder ähnliche Nebenprobleme gelöst werden müssen. Das Werkzeug ist darüber hinaus eine gemeinsame Referenz, was einen Austausch in der gesamten Gruppe fördert, da die jeweiligen Arbeitsschritte und Funktionen auf allen Systemen gleich sind und damit gegenseitige bedienungs-, funktions- und ergebnisbezogene Fragen und Erklärungen niedrigschwellig möglich sind. Adressiert werden kann auf diese Weise auch der jeweils unterschiedliche Grad an instrumentellem Vorwissen, mit dem Teilnehmende in den Workshop kommen. Erfahrene Anwender:innen, die mit der Bedienungsoberfläche schon vertraut sind, können Teilnehmenden mit weniger Erfahrung einzelne Schritte erklären. Diese aktive Reproduktion von instrumentellem Wissen wirkt selbst kompetenzfördernd und entlastet das Mentoring. Entsprechend wurde bei der Gestaltung der Raumsituation darauf geachtet, dass alle Teilnehmenden als Gruppe positioniert waren (hier um einen großen Tisch) und im Raum genug Platz für situationsgebundene Bewegung blieb, sowohl für Mentor:innen als auch für Teilnehmende.

Im Zuge einer iterativen Weiterentwicklung des Angebots standen bei der internen Evaluation der ersten Veranstaltung anwendungs- und lernzielbezogene Punkte im Vordergrund, die projektintern dokumentiert wurden. Dabei konnten einige Komponenten des Workshops und des KI Playgrounds als Teil eines Basiskonzepts identifiziert werden, das für unterschiedliche inhaltliche Schwerpunkte einsatzfähig ist. Insbesondere die starke Hands-on-Komponente sowie die auf die praktische Arbeit bezogenen Reflexionsgespräche wurde von Teilnehmenden und vom Veranstaltungsteam positiv bewertet. Das vorbereitende Zusammentragen von Problematiken, mit denen sich die Teilnehmenden in ihrer Lehrpraxis konfrontiert sehen und eine gemeinsame Kategorisierung dieser Problematiken diente als richtunggebender Ausgangspunkt für die Experimentalphasen und ermöglichte erstens die Herstellung eines gemeinsamen Problembewusstseins, zweitens die wechselseitige Mitteilung von unterschiedlichen fachlichen Perspektiven und Nutzungserfahrungen. Schließlich diente dieser gemeinsame Problemaufriss als gemeinsame Referenz in der reflexiven Rückschau nach Abschluss der Hands-on-Phasen, sodass Beobachtungen zu bestimmten Eigenschaften wie etwa mangelhafte multilinguale Fähigkeiten der Modelle an einen Erwartungshorizont zurückgebunden werden konnten. Im Horizont dieser Arbeit stehen damit Ansätze für ein fach- und lehrpraxisspezifisches Assessment von Systemen, die zum Beispiel am Fall Multilingualität auch deutlich werden ließen, dass den verwendeten Werkzeugen Exklusionsmechanismen inhärent sind.

Auch der Einsatz eines weitgehend vom Veranstaltungsteam kontrollierten Werkzeugs in Form einer Webanwendung wurde als Element eines Basiskonzepts definiert. Neben der Möglichkeit, die Anwendung weitgehend auf universitärer Infrastruktur zu betreiben, stand hier die Möglichkeit für eine bedarfsorientierte iterative Entwicklung im Vordergrund. Neben grundlegenden Aspekten zum Thema Generative KI wurden im ersten Workshop auch funktionsbezogene Wünsche geäußert, darunter Möglichkeiten, um Chatverläufe zu speichern, Dokumente in die Anwendung zu laden und eigene Prompts zu verwalten. Mit der zweiten Iteration von KI Playground erfolgte daher eine Umstellung auf ein insgesamt quelloffen nutzbares System, das durch den Betrieb auf einem GPU-Server im universitätseigenen High-Performance-Compute-Cluster (HPC) auch aktuelle Sprachmodelle ausreichend performant bereitstellen kann.^[22] Mit dem erneuerten KI Playground können Chatverläufe gespeichert und verwaltet werden, die Auswahl eines Sprachmodells erfolgt innerhalb einer Webanwendung (während vorher für jedes Sprachmodell eine eigene Anwendung bereitgestellt wurde). Für die Verwaltung stellt das System Abstraktionen bereit, die eine vereinfachte themen- oder projektspezifische Bereitstellung von Sprachmodellen erlauben. So konnte zum Beispiel für einen Workshop mit Studierenden, der sich mit Fragen der kunstgeschichtlichen Ekphrasis beschäftigt, ein Modell für die Bildbeschreibung bereitgestellt werden, um chatbasierte Explorationen der bildgerichteten Textgenerierung zu erproben und fachwissenschaftlich einzuschätzen.

3 Werkzeug und Werkzeugwissen

Im Anschluss an die bisher dokumentierte konkrete Entwicklungsarbeit möchten wir im Folgenden einige didaktische und begriffliche Grundlagen nachweisen, die für das am konkreten Fall entwickelte Werkstatt-Konzept leitend waren und sich gleichzeitig in Auseinandersetzung mit der konkreten Konzeption und Durchführung von Workshops entwickelt haben.

Ein Werkzeug verstehen wir hier zunächst vereinfacht als eine computergestützte Anwendung in Verbindung mit einer Methodik, die eine Gegenstandskonstituierung und entsprechende Umgangs- und Analyseformen beinhaltet, mit einem Potenzial für den Einsatz in Forschung und Lehre. Das beinhaltet zunächst eine instrumentelle Dimension, die Wissenschaft als Praxis betrifft. Abgebildet ist diese Dimension zum Beispiel in den Tool Registries, also Sammlungen von Informationen zu Werkzeugen, die in den Digital Humanities eine fachdisziplinäre konstitutive Rolle spielen.^[23] Diese instrumentelle Perspektive verweist bereits auf eine auch konstitutive Funktion von Werkzeugen, wie sie aus einer wissens- und mediengeschichtlichen Perspektive analysiert werden kann. Die Werkzeuge arbeiten mit an den Gegenständen, Analysen und Ergebnissen, die sie bearbeiten.^[24]

Werkzeugwissen oder tool literacy – im Anschluss an digital literacy und data literacy – aus Sicht eines Kompetenzvermittlungsangebots bedeutet dann, Forschende in die Lage zu versetzen, ein Tool auf Basis der eigenen fachwissenschaftichen Expertise und Bedarfe im Hinblick auf den forschungsorientierten Einsatz und die Verwendung in der Lehre auszuprobieren und zu evaluieren. Wir unterscheiden in diesem Zusammenhang zwischen einem instrumentellen Wissen, das den Umgang mit einem spezifischen Tool und die Herstellung fachwissenschaftlich anschlussfähiger Ergebnisse umfasst, und einem epistemischen Wissen, das es ermöglicht, den Einsatz und die erkenntnisleitende Wirkung des Tools im Forschungsprozess zu verstehen und zu reflektieren.^[25]

Instrumentelles Wissen bezeichnet hier also zunächst ein praktisches Wissen, das auf den Einsatz des Werkzeugs für eine spezifische Aufgabe bezogen ist, also die praktische Vorbereitung eines Gegenstands, das Aufsuchen der Anwendung und die Durchführung von Analyseschritten, oder kurz: die Arbeitsschritte zum Erreichen eines Ergebnisses. Davon ausgehend lässt sich instrumentelles Wissen in einem medientechnischen Zusammenhang verorten und aus techniktheoretischer Sicht als eine besondere Wissensform beschreiben, die propositionales, methodisches, soziales und praktisches Wissen in Bezug auf ein technisches Instrument und seinen Einsatz in einem spezifischen Kontext mit einem spezifischen Gegenstand zusammenführt.^[26] Eine Reflexion dieses Zusammenhangs ist die Bedingung für ein erkenntnisbezogenes Verständnis des Werkzeugs in Form einer Einschätzung und Bewertung epistemischer Konsequenzen seines Einsatzes ausgehend von fachspezifisch orientierten individuellen oder projektbezogenen Kontexten. Diese Form der Reflexion und Folgenabschätzung eines Werkzeugs schließt an das technische instrumentelle Wissen um ein Werkzeug an und erweitert den Fokus auf erkenntnisbedingende Konsequenzen seiner Anwendung. Epistemisches Wissen beinhaltet also ein Wissen um die Vorbereitung des Gegenstands für den Einsatz eines Werkzeugs als konstruktiven Prozess, ein Verständnis des Zusammenspiels von Gegenstandskonstituierung, wissenschaftlichem Subjekt, Werkzeug und Analyseergebnissen, sowie das Abschätzen grundsätzlicher Implikationen, zum Beispiel die Umstellung von einer stellenbasierten Argumentation mit stabil wiederholbaren Referenzen auf eine statistisch fundierte Argumentation mit Referenzen auf nicht-deterministisch erzeugte Ergebnisse (Machine Learning, Einsatz von LLMs), die etwa in sprach- und textorientierten Wissenschaften beim Einsatz computergestützter Verfahren relevant ist.

4 Werkstatt

Wo mit Werkzeugen gearbeitet wird, dort ist Werkstatt. Das Wort Labor als Raum, in dem Forschung betrieben wird, ist schon von diesem Arbeiten abgeleitet.^[27] Historisch findet in Laboren zunächst alchemistische, später naturwissenschaftliche Forschung statt. Das Experiment in der Doppelbedeutung von Versuch als methodisch geleitetes Durchspielen und ergebnisoffenes erstes Ausprobieren ist daher mit der Werkstatt als Labor eng verbunden. Vor diesem Hintergrund und für die hier verfolgten Zwecke erscheinen Werkstatt und Labor also als Raum, in der allein und gemeinsam an einer Sache gearbeitet wird. In den Digital Humanities spielt dieser praktische Aspekt für die Vermittlung von Methoden und Werkzeugeinsatz für die wissenschaftliche Praxis in Forschung und Lehre eine wichtige Rolle. Geteilter Spaß (und Ärger) am Gerät bieten Möglichkeiten für die Entwicklung von interdisziplinären Reflexionspotenzialen, insofern im DH-Labor und in der DH-Werkstatt die Erkenntnisproduktion auf interdisziplinäre Zusammenarbeit angewiesen ist, bei der alle Beteiligten jeweils ein Mindestmaß an Verständnis für Gegenstand, Methodik und wissenschaftliche Praxis aller beteiligten Expertisen erlernen und erarbeiten müssen.

Darüber hinaus ist die Werkstatt der Raum, wo Werkzeuge vorgehalten, gepflegt und gewartet werden. Bestimmte Aufgaben verlangen nach mehr als einem Werkzeug, sodass Werkzeuge in ihrem Zusammenspiel bereitgestellt und verwendet werden, um einen Prozess umzusetzen. Oft ist eine gegenstands- und aufgabenbezogene Voreinstellung der Werkzeuge nötig, die ausgehend von Erfahrungswerten erfolgt, aber gerade im Labor oder in forschungsorientierter Werkstatt in einem iterativen Prozess im versuchsweisen Einsatz jeweils methodisch kontrolliert angepasst wird.

Das ergebnisoffene Versuchen, spielerische Basteln, das tinkering und versuchsweise Machen und Ausprobieren, wird in didaktischen und anderen kooperativen Kontexten im Bereich Digital Humanities als Möglichkeit für die niedrigschwellige praktische Auseinandersetzung mit Werkzeug und Gegenstand diskutiert. Hier schließen auch stärker formalisierte und ergebnisorientierte kooperative Lehr-, Lern- und Forschungsformate an, etwa problembasiertes und projektbasiertes Lernen, die eigenständige Lösungssuche für ein vorgegebenes Problem oder die eigenständige Umsetzung eines abgegrenzten Forschungsprojekts ins Zentrum der Kompetenzvermittlung stellen.^[28] Ähnlich, dabei stärker formalisiert und theoretisiert, findet sich das ergebnisoffene Ausprobieren mit nachfolgendem Austausch in einem interdisziplinären Setting als didaktisches Konzept in Forschungsarbeiten zur höheren Schulbildung und in der sozial- und kognitionspsychologisch orientierten Hochschuldidaktik mit Fokus auf naturwissenschaftlichen Erkenntnisverfahren.^[29] Während hier Lernziele in Bezug auf das Erlernen, Wissen und Verständnis von disziplinär weit entwickelten naturwissenschaftlichen Forschungsmethoden im Vordergrund stehen, wird in den Digital Humanities zum Teil auf die Offenheit fokussiert, die als Bedingung für überraschende Erkenntnismomente (engl. serendipity) und die Entwicklung unkonventioneller Verfahren gelten kann, und die mögliche Friktionen im Umgang mit interdisziplinärem und intersubjektivem Erkenntnisaufbau als positive Irritationen mit Erkenntnispotenzial wendet.

Dabei wird auch reflektiert, dass diese Offenheit in Relation zu jeweils spezifischen Bedingungen und Kontexten mit ihren jeweiligen Ausschlussmechanismen analysiert werden muss. Für Kompetenzvermittlungsangebote im Bereich Digital Humanities zählen hierzu etwa Unterschiede bei der technischen Vorbildung, die in gruppenbezogenen Veranstaltungsformaten zur Demotivierung und damit zu Ausschlüssen beitragen können.^[30] Für eine Werkstatt, die selbstbestimmte Forschung fördern, unterstützen und mit umsetzen möchte, spielen daher die Zugänglichkeit, Verfügbarkeit und Nutzbarkeit der Werkzeuge eine zentrale Rolle.^[31] Offenheit ist ein Effekt, der aus spezifischen Verhältnissen resultiert und damit nur unter der Bedingung spezifischer Verhältnisse etabliert werden kann. Soziale Ungleichheiten können dabei als Ausgangsbedingung nicht allein technisch adressiert werden, aber sie können bei der Entwicklung und Implementierung von Werkzeugangeboten berücksichtigt werden. Für Workshopteilnehmende und -mentor:innen schafft etwa eine frei nutzbare Webanwendung gemeinsame Ausgangsbedingungen und senkt die Voraussetzungen bei der Ausstattung und technischem Vorwissen.^[32]

Eine Werkstatt in diesem Sinn umfasst also die Gestaltung von Räumlichkeiten, digitalen Diensten, Beratungs- und Kooperationsangeboten. Eine integrierte Entwicklung von Kompetenzvermittlungs-, Beratungs- und Werkzeugangeboten eröffnet in diesem Zusammenhang einen Spielraum für eine an den technischen und methodischen Möglichkeiten des Werkstatt-Teams und am Bedarf der Zielgruppen und Kooperationspartner orientierte Strategie zur Entwicklung und Implementierung von Werkzeug-Angeboten für einen veranstaltungs- und projektspezifischen Einsatz. Eine solchermaßen integrierte iterative Entwicklung von Formaten und Diensten mit veranstaltungsbezogenen Evaluationen mit Rückbindung an das Angebot führt dabei weniger zu stabilen und skalierbaren Angeboten, wie sie etwa ein universitäres Rechenzentrum betreibt, sondern zu prototypischen Konfigurationen durch ein kleines Team, die je nach Bedarfsfall angepasst, aber nicht über den Abschluss des Falls hinaus garantiert werden können. Diese prototypische Bereitstellung ermöglicht Flexibilität im Umgang mit Funktionalitäten, erfordert aber auch ein gezieltes Erwartungsmanagement. Ein Prototyp darf sich ändern, ein stabiler Dienst nicht so sehr.

Ausgehend von diesen Überlegungen ist die Werkstatt also kein festgeschriebener Raum, die Entwicklung von Vermittlungsformaten und technischen Lösungen nicht die schrittweise Verwirklichung einer langfristig definierten Zielvorgabe. Insofern Werkstatt da ist, wo mit Werkzeugen gearbeitet wird, entwickelt sich die Werkstatt jeweils anlassbezogen, projektspezifisch und abhängig von den transdisziplinären Konstellationen, die sich in Veranstaltungen, Beratungssituationen und Kooperationen ergeben.

5 Voraussetzungen

Bei aller Flexibilität und anpassungsfähiger Entwicklung ist die Umsetzung eines solchen Basiskonzepts an bestimmte institutionelle, personelle, materielle und technische Voraussetzungen gebunden. Welche Expertisen waren und sind also nötig, um das im hier vorliegenden Fall umzusetzen? Wir fokussieren im Folgenden auf die Bereitstellung von computergestützten Werkzeugen für Kompetenzvermittlungsformate und forschungsorientierte Kooperationen im Sinne von forschungsnahen Diensten einer wissenschaftlichen Bibliothek.

Konzeption und Umsetzung einer Workshop-Didaktik für Hands-On-Formate erfordern eine informierte Einschätzung der Zielgruppe, eine Kenntnis zielgruppenspezifischer Motivationsmethoden und eine zielgruppenspezifische Einführung und Entlastung, die instrumentelles und epistemisches Wissen adressiert und dabei Komplexität nicht eskaliert, sondern reduziert. Für die Umsetzung von Hands-on-Formaten spielt das Mentoring eine zentrale Rolle, das heißt, es braucht ausreichend Mentor:innen, die sowohl technisch versiert als auch gezielt auf das jeweilige Format vorbereitet sind, sowie eine reduzierte Zahl von Teilnehmenden. Der Zeitaufwand ist für ein kleines Team also entsprechend hoch.

Für die Konzeption der Workshop-Reihe „Hands-On Generative KI“ war aufgrund der technischen und epistemologischen Besonderheiten der Werkzeuge in diesem Bereich sowie aufgrund der durch einen weitreichenden Hype gesteuerten Wahrnehmung der Technologie ein Mindestmaß an instrumenteller und epistemischer Expertise erforderlich. Erstens ein instrumentelles Wissen über Chat-Interfaces, Prompting-Strategien und mögliche sowie problematische Einsatzzwecke der Anwendungen. Zweitens einige linguistische und computerlinguistische Grundlagenkenntnisse über statistisch fundierte Sprachverarbeitung und ihre Konsequenzen für Semantik und Aussagegehalte computergenerierter Texte. Drittens eine Sensibilität für Ästhetik und Erkenntnisfunktion von Sprache und Text für die gemeinsame Herausarbeitung epistemologischer Konsequenzen für die Geistes- und Kulturwissenschaften. Schließlich viertens eine wissenschaftstheoretische Verortung der im Workshop bearbeiteten Gegenstände und Problematiken im wissenschaftlichen Forschungsprozess, um Fragen von Reproduzierbarkeit und Forschungsdatenmanagement zu adressieren. Diese Bandbreite von inhaltlichen Voraussetzungen bezieht sich dabei nicht auf die in den Workshops vermittelten Inhalte, die weitestmöglich reduziert waren, sondern auf die Bandbreite der Fragestellungen und Diskussionspunkte, die für die Reflexionsphasen antizipiert wurden, und die Setzung minimaler leitender Lernziele. Zusammenführen lassen sich die hier benannten Kompetenzen nur durch Kooperationen, das heißt die Initiative für Konzeption und Umsetzung der Reihe war und ist angewiesen auf die Existenz und Ansprechbarkeit von Kooperationspartnern, die gemeinsam die benötigte Bandbreite abdecken und die bereit sind, sich auch vor Ort zu involvieren.

Die Entwicklung und Bereitstellung von Werkzeug als Webanwendung ist angewiesen auf Research Software Engineering und Systemadministration. Für den hier dokumentierten KI Playground fallen darunter im engeren Sinne der technischen Umsetzung die Entwicklung der Gradio-basierten Anwendung in der ersten Iteration, die Vorbereitung und der Anschluss der LLMs an die Anwendungen auf dem eigenen Server und schließlich die Anpassung der Oberfläche von OpenWebUI. Hinzu kommen Installation, Konfiguration und Betrieb der Anwendungen in einem HPC-Cluster, der in diesem Fall in einem die Arbeit erschwerenden Testbetrieb lief. In einem weiteren Sinn umfasst die technische Umsetzung die begründete Entscheidung für die gewählten Komponenten und eine Abschätzung von Aufwand und Einsatzmöglichkeiten im Rahmen des Angebotsumfangs des gesamten Teams.

Für Entwicklung und Betrieb sind im vorliegenden Fall GPU-Serverkapazitäten vorausgesetzt, was durch eine technische Kooperation mit dem Fachbereich Digital History am Institut für Geschichtswissenschaft der Humboldt-Universität zu Berlin gewährleistet war. Durch den Aufbau einer KI-Infrastruktur am Computer- und Medienservice der HU, die auch die Bereitstellung von ausgewählten LLMs über eine Programmierschnittstelle beinhaltet, ergibt sich für eine nächste Iteration des KI Playgrounds die Möglichkeit, diese lokalen Dienste einzubinden und damit für bestimmte Anwendungsfälle den Compute- und Verwaltungsaufwand aus der eigenen Anwendung wieder auszulagern. Festzuhalten ist, dass Entwicklung, Anpassung und Betrieb von Werkzeugen als forschungsnaher Dienst für die Digitalen Geisteswissenschaften auf flexibel verfügbare Server-Infrastruktur angewiesen ist.

Schließlich, und grundlegend, braucht es Räumlichkeiten für die Vorbereitung und die Durchführung von Veranstaltungen, die kollaborative Arbeitsformen ermöglichen. Dazu gehören gruppenorientierte Sitzmöglichkeiten in einem Raum, der Gespräche zulässt, materiale und digitale Medien für die Entwicklung, Durcharbeitung und Präsentation von Ideen, Skizzen, Konzepten, und ein möglichst störungsfreier Internetzugang, im besten Fall auch für Teilnehmende oder Kooperationspartner von anderen, auch internationalen Institutionen. Im hier dokumentierten Fall lieferte ein Gruppenarbeitsraum für zehn Personen in der Bibliothek diese wichtige Anlaufstelle für regelmäßige Arbeitstreffen und Co-Working des Teams intern und zusammen mit Kooperationspartnern.

6 Fazit

Die integrierte Entwicklung von Hands-On-Format und digitalem Dienst zeigt sich im Rückblick als voraussetzungsreich. Die Herstellung eines Raums für die Vermittlung von Werkzeugkompetenz (engl. tool literacy) für den Forschungsprozess in den Geistes- und Kulturwissenschaften, der niedrigschwellig kollaborativen Austausch ermöglicht, instrumentelles und epistemisches Wissen vermittelt und dadurch zu einer kritischen Auseinandersetzung und einem Empowerment beiträgt, ist auf mehreren Ebenen herausfordernd. Insbesondere die initiale Phase erfordert einen hohen Entwicklungs- und Organisationsaufwand auf technischer, didaktischer, konzeptueller und organisatorischer Ebene, von der konzeptuellen und technischen Vorbereitung bis zur internen Evaluation und dem damit markierten Beginn der Arbeit an einer nächsten Iteration. Der Aufbau einer Webanwendung als Infrastruktur lohnt sich vorwiegend, wenn stabile Rahmenbedingungen die weitere Nutzung und Entwicklung nach der Initialphase ermöglichen. Mit jeder Iteration erarbeitet sich ein Team Kenntnis und Routine, mit einem stabilisierten Entwicklungsprozess werden Kapazitäten für anderweitige Initiativen frei. Gleichzeitig ermöglicht der iterative Ansatz einen frühen Einsatz von Werkzeugen und der eigene Betrieb die gruppen- und projektorientierte Bereitstellung eines anpassungsfähigen Diensts. Dabei hängt die Entwicklung und der Einsatz eines flexiblen Basiskonzepts mit einer iterativen Entwicklungsstrategie durch ein kleines Team auch vom gemeinsamen Toolset ab, sodass Personen im Einzelfall nicht leicht ersetzt werden können. Ähnlich hängt der Aufbau von Kooperationen, die zunächst veranstaltungs- oder projektbezogen entwickelt werden, von individuellen Ansprechpartnern ab, sodass der Wegfall eines Kooperationspartners, zum Beispiel durch das Auslaufen von befristeten Projekten, nicht einfach kompensiert werden kann.

Der hier dokumentierte Entwicklungsansatz hat im konkreten Fall die Durchführung einer Reihe von Workshops ermöglicht, aus denen kleinere forschungsorientierte Anschlussprojekte hervorgegangen sind. Das anhand der Reihe „Hands-On Generative KI“ entwickelte Werkstatt-Konzept lässt sich auf andere thematische und methodische Bereiche übertragen. Die Etablierung einer offenen Werkstatt mit einem Fokus auf konkrete Umsetzung der einzelnen Schritte eines Forschungsvorhabens und die integrierte Entwicklung von Vermittlungsveranstaltungen und digitalen Tools hat zu einer erhöhten Sichtbarkeit des eigenen Angebots in der Zielgruppe geführt und bietet dabei eine für die kooperative Unterstützung von Forschungsprojekten notwendige Flexibilität im Umgang mit Forschungsgegenständen und Werkzeugen. Am Horizont steht die Gestaltung eines Raums mit einem Team als Teil der Bibliothek, der für Vermittlung und Umsetzung von digital gestützter Forschungspraxis der Geistes- und Kulturwissenschaften genutzt wird und sich mit dieser Nutzung als gleichermaßen stabil und veränderlich versteht.