Chancen und Risiken von Leistungsvergleichen für Bibliotheken

Leistungsvergleiche sind in Hochschulen, Kommunen und ihren Bibliotheken ein Mittel, um mehr Transparenz zu erlangen und dadurch mehr Leistungs- und Wirkungsverbesserung zu erzielen. Gleichwohl nimmt eine nicht unbeträchtliche Zahl von Institutionen an Leistungsvergleichen aufgrund von Unübersichtlichkeit, Einwänden bei der Anwendung und der fehlenden Berücksichtigung sich wandelnder Umweltbedingungen bewusst nicht daran teil. Für Bibliotheken ist der Bibliotheksindex (BIX) ein Beispiel dafür: Er bietet öffentlichen und wissenschaftlichen Bibliotheken die Möglichkeit eines bundesweiten Benchmarking und soll „die Situation einer Bibliothek mithilfe von Kennzahlen transparent (machen, Anm. d. Verf.) und [...] damit zur Verbesserung der Kommunikation zwischen Bibliothek, Verwaltung, Öffentlichkeit und Politik bei(tragen, Anm. d. Verf.).“^[1] Aufgrund rückläufiger Teilnehmerzahlen steht die Fortführung des Instruments in seiner jetzigen Form allerdings in Frage.

Den Ursachen für Bedenken und Einwände gegenüber dem Vergleichsinstrument BIX, dem Bedarf nach gezielten Modifikationen am BIX und alternativen Wegen zur Entwicklung eines modernen Qualitätsmanagements gingen am 15. und 16. September 2014 bei der Round Table-Veranstaltung „Chancen und Risiken von Leistungsvergleichen in Bibliotheken“ rund 50 Teilnehmer aus öffentlichen und wissenschaftlichen Bibliotheken nach, um gemeinsam neue Perspektiven und Aktivitäten rund um das Thema „Leistungsvergleiche für Bibliotheken“ zu identifizieren. Begleitet wurde die Veranstaltung von der Evaluationsagentur Baden-Württemberg „evalag“ mit dem Beratungsschwerpunkt Qualitätssicherung und -entwicklung.

Nach der Begrüßungsansprache leitete Albert Bilo (UB Duisburg-Essen) mit dem Zitat „Der Kopf ist rund, damit das Denken die Richtung wechseln kann“ von Francis Picabia in das Themenfeld ein. Mit der bewusst provokativ gesetzten These, dass Bibliotheken den BIX als Steuerungsinstrument kaum nutzen, und mit der ebenso provokant gestellten Frage, ob es in Bibliotheken überhaupt Qualitätsentwicklung gäbe, gelang es Bilo, bei den Teilnehmern das für die Diskussion nötige Bewusstsein zu wecken, dass das Thema „Leistungsvergleiche und Qualitätsmanagement in Bibliotheken“ neu thematisiert werden muss.

Die Fragen, ob Leistungsvergleiche zur Steuerung geeignet seien, ob das bibliotheksfachliche Repertoire erweitert werden müsse, ob es eines Redesigns des BIX bedürfe und wie es in der bibliothekarischen Praxis um Qualitätsmanagement stehe, formulierte Bilo als übergeordnete Fragen der Veranstaltung und für die folgenden Impulsreferate.

Axel Oberschelp (Deutsches Zentrum für Hochschul- und Wissenschaftsforschung Hannover) gab in seinem Vortrag „Wie wirksam sind Leistungsvergleiche für die Steuerung von Hochschulen?“^[2] einen Überblick über die Ziele, die Voraussetzungen, die Verwendungsformen, die Erfolgsfaktoren sowie die Wirksamkeit und Grenzen von Benchmarking-, Rating- und Rankingverfahren im Hochschulbereich.

Zu Beginn seines Vortrags hob Oberschelp hervor, dass Leistungsvergleiche als Element der Selbstorganisation im Hochschulbereich als Steuerungspraktik durchweg akzeptiert und dort vermehrt gezielt eingesetzt würden, um organisational definierte Ziele erreichen zu können. Letzteres erfolge vor dem Hintergrund der Statusveränderung von Hochschulen in Richtung sich selbststeuernder Organisationen mit dem Anspruch, dass Hochschulen ‚normale‘ Organisationen werden und als eigenständige Steuerungsebene gegenüber Hochschullehrenden und staatlichen Regulierungsinstanzen eine Aufwertung erfahren sollen. Die hierarchische Selbststeuerung, so Oberschelp, gewönne gegenüber der traditionellen Selbstverwaltung zusehends an Bedeutung. Oberschelp unterstrich, dass Benchmarking, Rankings und Ratings zwar aufgrund fehlendem Mitspracherechts bei der Methodik, der Komplexitätsreduktion in Form einer Gesamtnote, der fehlenden Wiedergabe von Niveauunterschieden und der nicht gegebenen Kriterien Objektivität, Reliabilität und Validität auch von Hochschulen nicht vollkommen kritiklos hingenommen würden, sie von ihnen aber vor allem aufgrund ihrer Unterstützungsfunktion bei strategischen Entscheidungen und aufgrund ihrer wissenschaftspolitischen Steuerungswirkung sehr geschätzt würden. Im Hochschulbereich, so machte Oberschelp deutlich, kommen sie deshalb vor allem im Kontext der Information von Akteuren, dem organisationalen Lernen und als Anreiz bei der leistungsorientierten Mittelvergabe zum Einsatz.

Die sich vornehmlich aus dem Hochschulbereich speisenden Darlegungen Oberschelps wurden mit dem Vortrag „Bibliotheken auf dem Prüfstand: Über die aktuelle Rolle von Bibliotheken in Hochschulleistungsvergleichen sowie die Bedeutung von Leistungsvergleichen für Bibliotheken“^[3] von Michael Porzberg (ULB Düsseldorf) ergänzt und erweitert. Anhand von einschlägigen Beispielen ging Porzberg in seinem Vortrag der Frage nach, welche Bedeutung Bibliotheken in Hochschulrankings, wie dem „CHE Ranking“, dem „HIS-Studienqualitätsmotor“, „Trendence: Deutsches Absolventenbarometer“, dem „Ranking der Alexander von Humboldt Stiftung“, dem „DFG-Förderatlas“, dem „Times Higher Education (THE) Supplement“ oder dem „QS World University Ranking“ einnehmen. Porzberg legte daran anschließend mit der Stärken- und Schwächenanalyse, dem Erkennen von Verbesserungspotenzialen, der Wettbewerbsanalyse und der Funktion als Gesprächsgrundlage zwischen Hochschulleitung und Fachbereich die Handlungsfelder dar, für die Hochschulleitungen und Fachbereiche regelmäßig Hochschulrankings heranziehen. Er zeigte dann Beispiele auf, die im Rahmen der Hochschulrankings für Bibliotheken von Relevanz sein könnten. Im Ergebnis waren das die Analyse der Studierenden-Service-Struktur, der Abgleich mit internen Evaluationen und Studienqualität, die Budgetallokation (Literaturetat, Sachmittel, Investitionen usw.), das Benchmarking mit anderen Hochschulen und deren Bibliothek sowie die strategische Personalentwicklung und Ausbauplanung.

Als Antwort auf die Frage, welche Rolle Bibliotheken in Hochschulrankings spielen, kam Porzberg zu dem Ergebnis, dass bibliothekarisch relevante Indikatoren in Hochschulleistungsvergleichen nur wenig ausgeprägt zu finden sind. Das sah er nicht zuerst darin begründet, dass Bibliotheksleistungen schwierig messbar seien, sondern vielmehr darin, dass Bibliotheken ein Wahrnehmungs- und Relevanzproblem hätten. Es sei deshalb ihre vordergründige Aufgabe, künftig einen engen Kontakt mit Standardisierungsinitiativen, mit Anbietern von Hochschulrankings sowie mit Hochschulen zu pflegen, um gemeinsam mit ihnen über die Verbesserung von „Bibliotheksindikatoren“ zu diskutieren und um sich aktiv in die bibliotheksfachliche Interpretation von Leistungsvergleichen einzubringen. Voraussetzung dafür sei jedoch, dass die Bibliotheken zunächst für sich abklären, ob sie bereit für ‚echte‘ Leistungs- und Wirkungsmessung sind. Sie müssen sich dabei bewusst sein, dass Hochschulrankings im Vergleich zu bibliothekarischen Leistungsvergleichen die Kundenseite sehr stark mit einbeziehen, wodurch den teilnehmenden Einrichtungen Qualitätsmanagement und der Perspektivwechsel vom operativen zum strategischen Management möglich werden.

Im Fazit kam Porzberg zu dem Schluss, dass Bibliotheken, wenn sie in Hochschulleistungsvergleichen eine Rolle spielen und bei ihrem Träger eine höhere Wahrnehmung erzielen möchten, Qualitätsmanagement und Wirkungsmessung benötigen.

Wirkungsmessung und der stärkere Einbezug der Kundenseite standen auch im Mittelpunkt des Vortrags „Gemeinsamer Leistungsvergleich von vier FH-Bibliotheken in NRW: Ergebnisse im Gesamtüberblick“^[4] von Simone Fühles-Ubach (FH Köln). Sie präsentierte die Ergebnisse eines Projekts, in dessen Rahmen gemeinsam mit der Hochschul- und Kreisbibliothek Bonn-Rhein-Sieg, der Fachhochschulbibliothek Münster, der Fachhochschulbibliothek Düsseldorf und der Hochschule für Gesundheit ein Fragebogen zur Wirkungsabfrage der Bibliothek bei ihrer Kundschaft entwickelt und eingesetzt wurde. Vor dem Hintergrund stets unterschiedlicher Zielsetzungen der einzelnen Bibliotheken war das Projektziel, die Entwicklung eines weitgehend standardisierten Fragebogens, der für alle beteiligten Bibliotheken gleichermaßen Gültigkeit hat. Resultat des Projekts war ein zu 80 Prozent standardisierter Fragebogen mit einem Individualteil von 20 Prozent.

Der standardisierte Fragebogen konnte Anfang des Jahres 2013 erstmalig eingesetzt werden. Als ein zentrales Ergebnis der Umfrage hielt Fühles-Ubach fest, dass Bibliotheken in Bereichen wirksam sind, die ihnen oftmals noch gar nicht bewusst seien, und sie stark in Bereiche investieren, deren Existenz sich die Nutzer nicht bewusst sind. Als Beispiel dafür führte Fühles-Ubach an, dass viele Bibliotheken einen Großteil ihres Budgets in Datenbanken investieren, diese ihren Nutzern häufig aber nicht bekannt seien. Aufgabe sei es daher, mehr Wirkungsforschung zu betreiben und sich stärker als bislang mit der Frage auseinanderzusetzen, welche Bedeutung die Bibliothek für den Erfolg ihrer Nutzer hat.

Im Mittelpunkt des Vortrags „Das Bessere ist der Feind des Guten: Möglichkeiten und Grenzen für Leistungsvergleiche von Bibliotheken“^[5] von Joachim Kreische (UB Dortmund) stand die Überlegung, wie in Bibliotheken Leistungsfähigkeit hergestellt werden kann. Kreische stellte seinem Vortrag deshalb eine Definition des Begriffs „Leistungsvergleich“ im Non-Profit-Sektor voran, die die Bedeutung der Leistungsfähigkeit im Kontext von Leistungsvergleichen hervorhebt und da lautete: „Leistungsmessung bezeichnet die Ermittlung der Leistungsfähigkeit öffentlichen Verwaltungshandelns über Kennzahlensysteme, die sowohl Input, Output, Outcome- als auch Prozess- und Struktur-Indikatoren umfassen. [...] Leistungsvergleich bezieht sich auf den Indikatoren- und kennzahlenbasierten Vergleich.“^[6] Mit dem BIX und der Deutschen Bibliotheksstatistik (DBS) verfügen Bibliotheken nach Kreisches Auffassung über zwei bereits geeignete Instrumente zur Messung der Leistungsfähigkeit. Aus einer um Elemente des LibQUAL erweiterten Kombination der beiden mit der Balanced Score Card, so Kreische, ließen sich auch Informationen für die Trägereinrichtung und das Marketing ableiten und die Erreichung strategischer Ziele messen.

Einen wesentlichen Veränderungsbedarf sah Kreische im Nutzungsverhalten der Anwender von Instrumenten des Leistungsvergleichs. Sie müssten sich zunächst viel intensiver als bislang damit beschäftigen, welche Kennzahlen überhaupt einen Leistungsvergleich zulassen. Dann müssten sie die Kennzahlen identifizieren, die eine hohe Leistungsfähigkeit nachweisen und sich über deren Gewichtung klar werden. Wichtig sei zudem zu überlegen, wie Qualität gemessen und die Kundenperspektive miteinbezogen werden kann. Für die Anwender, die Kennzahlen bilden, um damit strategische Ziele zu verfolgen, sei es darüber hinaus noch wichtig, ein stärkeres Bewusstsein zu entwickeln, mit welchem Interesse sie die Zahlen anderer vergleichen. Sie müssten sich bei der Interpretation im Klaren werden, dass andere Bibliotheken andere Ziele als sie selbst verfolgen. Auf Anwenderseite müsse ein Bewusstsein dafür entstehen, dass der BIX keine ‚eierlegende Wollmilchsau‘, sondern ein Instrument zum Leistungsvergleich sei, das im Unterschied zur Balanced Score Card nicht strategiefokussiert ist und die Kundenperspektive im Unterschied zu LibQUAL nicht erfasst.

Der zweite Tag der Round Table-Veranstaltung startete mit einer Zusammenfassung der Ergebnisse des Vortags. Ihr folgte der Vortrag „‚Weniger, aber besser?‘ Kann man die Politik mit Kennzahlen strategisch motivieren und wenn ja, wie? Erfahrungen und Perspektiven aus kommunaler Sicht“^[7] von Harald Pilzer (Stadtbibliothek Bielefeld). Pilzer eröffnete seinen Vortrag mit einem Einblick in unterschiedliche Logiken der Unternehmensrationalität von Kommunalverwaltungen. Dabei stellte er den Fragen, welche Informationen Politiker als Grundlage für ihre Entscheidungen benötigen, welche Bedeutung Betriebsdaten in diesem Zusammenhang haben, und ob die Kommunikation zwischen der Fachebene und der Entscheiderebene optimal strukturiert werden kann, ein wenig motivierendes Zitat aus der Kommunalpolitik zum BIX gegenüber, das lautete: „Da können Sie mitmachen, wenn Sie wollen. Sind Sie gut, freuen sich alle, und es gibt nicht mehr Geld; sind Sie es nicht, wundert das auch nicht so recht, es gibt aber auch nicht mehr Geld, weil wir keines haben.“ Damit verdeutlichte Pilzer die Unerheblichkeit des BIX in der Wahrnehmung einer Kommune.

Eine Chance, den BIX ohne weitere Desillusion in die Kommunalpolitik einzubringen, um diese mit Kennzahlen strategisch zu motivieren, sah Pilzer nur dann gegeben, wenn öffentliche Bibliotheken die Blickweisen der Kommunalpolitik wie Wirtschaftlichkeit, Bildungssozialarbeit und kulturelle Highlights berücksichtigen und den BIX daran abarbeiten. Es gelte dabei, für sie zu bedenken, dass öffentliche Bibliotheken stets auch politischen Setzungen und Standortentscheidungen, sozialpolitischem Wollen und/oder der Wirksamkeit durchsetzungsfähiger Netzwerke und Gruppen unterliegen. Darüber hinaus müsse man sich bewusst sein, dass der Output bzw. die Nutzungszahlen öffentlicher Bibliotheken auch stark von ihrem sozialen Umfeld und dem Grad der Bibliotheksnutzung abhängig sind und Kausalitäten sowie Linearitäten zwischen Umfeld und vom Grad der Bibliotheksnutzung nicht eindeutig sind. Ferner sei zu beachten, dass die Bereitschaft zu kommunalen Aufwendungen stark vom Repräsentationsgrad kultureller Leistungen, der Affinität der bürgerlichen Schichten und von opinion leaders abhängig ist.

Eine Chance, die Erzählung von der ‚guten‘ Bibliothek bei ihrem Träger zu unterfüttern, sah Pilzer im kombinierten Einsatz der DBS mit der Messung von Aufwand, Leistung und Wirkung und der Berücksichtigung von Hintergrundwissen sowie mit Case Studies einer vergleichenden Stadtbibliothekssoziologie ohne werblichen Charakter.

Mit dem Statement „Die Verhältnisse sind unterschiedlich: Ein normierter Leistungsvergleich macht keinen Sinn“ sprach Ulrich Moeske (Stadtbibliothek Dortmund) mit klaren Worten seinen Unmut über den BIX aus und gab offen preis, kein Freund des BIX zu sein. Seine Zweifel daran, dass die hierin erfassten normierten Kennzahlen zur Steuerung von Bibliotheken beitragen können, liegen darin begründet, dass es sich bei einem Ranking immer um einen wertenden Vergleich handele, vor dessen Hintergrund ein objektives Ranking unmöglich sei.

Moeske arbeitete in seinem Statement nicht nur die für ihn aufgrund verborgener Strukturen nichtssagenden Indikatoren des BIX, sondern auch dessen Probleme heraus: Neben der nicht gegebenen Möglichkeit, Vergleichsgruppen zu bilden, kritisierte Moeske vor allem, dass der BIX Unterschiede, die sich beispielsweise durch die Arbeitslosen- und Schulabbrecherquote, durch einen hohen Ausländeranteil sowie durch das Durchschnittseinkommen in einer Region ergeben können, ignoriere und nicht verdeutliche, dass die Bibliotheksmitarbeiter deswegen keine schlechtere Bibliotheksarbeit leisten. Fleiß und Erfindungskraft würden im BIX mit den hintersten Plätzen im Ranking belohnt. Moeske bedauerte, dass nicht erkannt würde, dass das Bibliothekswesen in seiner Bewertung auch stark von weichen Faktoren abhängig sei, die in einem Ranking nur mit erhöhtem Aufwand zu erfassen seien. Nach Auffassung Moeskes sei der BIX letztlich nicht mehr als ein ‚Schön-Wetter-Instrument‘: Wer wisse, wie die Berechnungsmodi des BIX funktionieren, nimmt teil, wenn in der Einrichtung alles gut läuft; wenn nicht alles gut läuft, nimmt man nicht teil.

Als sinnvolleres Instrument des Leistungsvergleichs beurteilte Moeske die DBS, die es Bibliotheken ermögliche, allein die Bibliotheken herauszufiltern, mit denen sie sich vergleichen möchten.

In seinem Fazit kam Moeske zu dem Schluss, dass man statt weiterhin in den BIX zu investieren, die DBS zu dem Instrument weiterentwickeln solle, das wirklich benötigt wird und das auf Wirkung ausgerichtet ist.

Der Vortrag „Methoden des Qualitätsmanagements und Steuerung von Organisationen: Qualitätssicherung in integrativen Governancemodellen“^[8] von Theodor Leiber (Universität Augsburg / evalag) und Anette Köster (evalag) brachte im Nachgang der Impulsreferate die Sichtweisen eines außenstehenden Beratungsunternehmens in die Diskussion ein. Wichtig sei es aus ihrer Sicht, dass Bibliotheken sich zunächst über das aktuelle und künftige Umfeld, in dem ihr tägliches Handeln stattfindet, bewusst werden und sie dementsprechend studentisches Lernen bzw. Schülerarbeit in den Fokus ihrer Aktivitäten rücken, sie intensiver mit dem technischen Fortschritt und den damit einhergehenden Nutzererwartungen arbeiten und sie dabei davon ausgehen, dass Ressourcen knapper werden oder stagnieren. Daran orientiert, so Leiber und Köster, seien dann unter Berücksichtigung zukunftsweisender Fragen flexible Strategien zur Selbststeuerung und Organisationsentwicklung zu entwickeln, um sich besser als bislang in das Gesamtkonzept der Trägerorganisation zu integrieren und sich dort mehr Gewicht zu verschaffen. Der Qualitätsentwicklung und der Entwicklung eines integrierten Leistungssystems mit wichtigen Leistungsindikatoren komme dabei eine bedeutende Rolle zu. Im Rahmen eines hierfür zu entwickelnden Qualitätszirkels könne der BIX ein Instrument unter vielen sein.

Die Impulsreferate wurden durch eine moderierte Abschlussdiskussion mit reger Teilnahme der Teilnehmer abgerundet. Es wurde deutlich, dass in Bibliotheken ein Bedarf besteht, künftig mehr als bislang über Qualitätsmanagement zu sprechen, und dass sich Bibliotheken weg von Leistungsmessung und -vergleichen hin zu Qualitätsentwicklung bewegen müssen.

Zum Abschluss der Veranstaltung wurde der Appell ausgesprochen, beim BIX, der bis dato nur ca. 150 Teilnehmer verzeichnete, mitzumachen, damit er weiterentwickelt werden kann. Es herrschte Konsens darin, dass der BIX, sofern man ihn als Instrument des Leistungsvergleichs fortführen möchte, schlanker als bislang gestaltet und in einen Qualitätszyklus eingebunden werden müsse.

Insgesamt betrachtet, handelte es sich bei dem Round Table mit spannenden Impulsreferaten und anregenden Diskussionen, an denen sich die Veranstaltungsteilnehmer mit wichtigen Ideen rege beteiligten, um eine gelungene Veranstaltung, zu der nicht zuletzt auch die reibungslose Organisation und eine entspannte Atmosphäre beitrugen. Die Impulsreferate werden im Frühjahr 2015 in einem Schwerpunktheft im Bibliotheksdienst veröffentlicht.

Etwa einen Monat nach der Round Table-Veranstaltung wurde mitgeteilt, dass sich am BIX mehr als 200 Bibliotheken beteiligen möchten und er somit fortgesetzt werden kann. Das Hochschulbibliothekszentrum des Landes Nordrhein-Westfalen (hbz) plant, im Frühjahr 2015 einen Workshop zum BIX anzubieten. Die gemeinsame Managementkommission von dbv und VDB kündigte an, sich in diesem Kontext bereitzustellen, die Ergebnisse der Round Table-Veranstaltung darin einfließen zu lassen. Sie wird der BIX-Steuerungsgruppe dazu einen Bericht zukommen lassen. Ferner zieht sie in Betracht, dem Thema „Leistungsvergleiche und Qualitätsmanagement in Bibliotheken“ im Jahr 2015 eine weitere Round Table-Veranstaltung zu widmen.