„Computer says no“? Konsequenzen der Algorithmisierung von Entscheidungsprozessen

1 Einleitung: Die halbierte Debatte um algorithmisierte Entscheidungsprozesse

Die Einbindung von Algorithmen in Entscheidungsprozesse hat in den letzten Jahren einen deutlichen Aufschwung erfahren. Im Kontext von Versicherungen, Jugendschutzbehörden, der Polizeiarbeit aber auch vieler Unternehmen werden Algorithmen in Anspruch genommen, um Entscheidungen zu treffen oder Entscheidungen mit algorithmisch erzeugten Informationen vorzubereiten. Der vorliegende Beitrag interessiert sich für die Effekte dieser Algorithmisierung von Entscheidungsprozessen. Den Ausgangspunkt der Analysen bildet dabei die Beobachtung, dass die Debatte um algorithmic decision making bislang als ‚halbierte‘ Debatte geführt wird. Zwar werden die Funktionslogik von Algorithmen und deren Implikationen reflektiert. Nicht konsequent berücksichtigt wird jedoch, dass die von der Algorithmisierung erfassten Entscheidungsprozesse regelmäßig einen Organisationsbezug aufweisen und es sich bei den entsprechenden Phänomenen mithin um die Algorithmisierung organisationaler Entscheidungsprozesse handelt. Das Ziel des Beitrags ist es dementsprechend, die organisationale Situiertheit der Algorithmisierung sichtbar zu machen und auf ihre Konsequenzen hin zu befragen. Eine in diesem Sinne organisationssoziologisch erweiterte Perspektive, verspricht Impulse sowohl für die soziologische Digitalisierungsforschung wie auch für die empirische Organisationsforschung zu geben.

Erst allmählich beginnt sich die Einsicht durchzusetzen, dass Digitalisierung und Organisation in vielerlei Hinsicht zusammenhängen (Büchner 2018; Kirchner 2019). Mehr noch als die Organisationen selbst, stand bislang jedoch vor allem das Verhältnis von organisierter Arbeit und Digitalisierung im Fokus (siehe aktuell hierzu den Band von Schnell/Pfeiffer/Hardenberg 2021). In diesem Zusammenhang galt das Interesse etwa den mit der Digitalisierung einhergehenden Rationalisierungsprozessen und deren Folgen auf die Arbeit (Hirsch-Kreinsen 2015), der mit Crowdworking und Crowdsourcing verbundenen Umverteilung von Arbeit (Kleemann/Voß/Rieder 2008; Leimeister/Shkodran 2013; Menz/Tomazic 2017) oder den Grenzverschiebungen im Zuge einer aufkommenden Plattformökonomie (Dolata 2019; Kirchner/Beyer 2016; Srnicek 2017; Langley/Leyshon 2017; Kenney/Zysman 2016). Hinzu kommt eine Reihe wirtschaftssoziologisch orientierter Studien, in denen Unternehmen (also Organisationen) zwar einen wichtigen Bezugspunkt darstellen, ohne allerdings selbst zum Gegenstand der Analyse zu werden (siehe etwa Dolata 2015; Srnicek 2017; Sundararajan 2016).

Für Arbeiten, die sich explizit mit dem Thema algorithmic decision making beschäftigen, ergibt sich ein ähnliches Bild. Dabei strukturiert sich die Debatte um algorithmic decision making im Wesentlichen in drei Hauptcluster. Auf der einen Seite finden sich eine Reihe von Beiträgen, die aus einer datenwissenschaftlichen Perspektive die Funktionslogik von Algorithmen dekonstruieren (siehe nur Burrell 2016) und sich um eine mehr oder weniger soziologisch orientierte Theoretisierung von Algorithmen bemühen (so etwa Esposito 2017; Lee/Björklund Larsen 2019). Auch wo sie selbst keine soziologischen Interessen verfolgen, sind diese Beiträge instruktiv, weil sie soziologische Analysen insofern vorbereiten, als diese ohne ein Verständnis der technischen Grundlagen von Algorithmen gar nicht möglich wären.

Deutlich dominiert wird die sozialwissenschaftliche Forschung zu Algorithmen aber von Beiträgen eines zweiten Clusters, welche sich aus einer stärker normativen Perspektive heraus für die moralischen und ethischen Implikationen der Algorithmisierung von Entscheidungsprozessen interessieren (siehe stellvertretend für viele: Kiviat 2019; Mittelstadt/Allo et al. 2016; Purves/Jenkins/Strawser 2015; Boyd/Crawford 2012). Prominente Themen in diesem Zusammenhang sind Fragen der Fairness, des Entscheidungsbias und daran anschließender Diskriminierungstendenzen durch Algorithmen (Hoffmann 2019; Bozdag 2013; Vanian 2018), Fragen der Transparenz (Kemper/Kolkman 2019; Kitchin 2017) sowie die Frage, inwieweit Algorithmen Verantwortlichkeitsprobleme erzeugen (Matthias 2004; Zarsky 2015). Die Grenzen zwischen diesen ersten beiden Perspektivclustern verlaufen etwas unscharf. Zum einen weisen auch die konzeptionell orientierten Beiträge häufig eine normative (Sub-)Fragestellung auf, zum anderen erfolgt die Diskussion moralisch-ethischer Implikationen zumeist auf der Grundlage einer ausführlichen Reflexion der technischen Grundlagen und Implikationen von Algorithmen. Gemeinsam ist beiden Perspektiven aber, dass sie sich praktisch ausschließlich auf die technischen Aspekte der Algorithmisierung und deren Folgen konzentrieren, ohne jedoch den sozialen Kontext – und das heißt häufig eben: die organisationale Situiertheit – der Algorithmisierung in die Analysen miteinzubeziehen.

Diese Organisationsvergessenheit zeigt sich – von wenigen Ausnahmen abgesehen^[1] – selbst in solchen Studien, die sich explizit mit Algorithmisierungsprozessen in Organisationen beschäftigen. Zu diesem dritten Cluster von Beiträgen zählen Studien, die anhand empirischer Fälle die Konsequenzen der Algorithmisierung analysieren. Untersucht werden etwa Kreditvergabeentscheidungen, welche auf der Grundlage von algorithmisch generierten Score-Werten getroffen werden (Citron/Pasquale 2014); die polizeiliche Einsatzplanung auf der Grundlage algorithmisch berechneter Kriminalitätsschwerpunkte (siehe insbesondere die ethnographische Studie von Brayne 2017, aber auch Bennett Moses/Chan 2016) oder die Nutzung algorithmischer Datenauswertungen in Kinder- und Jugendschutzbehörden, um Gefährdungslagen zu beurteilen und darauf aufbauend über Interventionsmaßnahmen zu entscheiden (Eubanks 2018, 127–173). In all diesen Studien wird die Tatsache, dass es sich bei Banken, Polizeien und Verwaltungsbehörden um Organisationen handelt, allenfalls erwähnt. In ihren Analysen konzentrieren sich jedoch auch diese Autoren zumeist allein auf den technischen Aspekt der Algorithmisierung; der organisationale Kontext dieser Technisierung hingegen wird ausgeblendet.

Für die Analyse des algorithmic decision making scheint es jedoch aus zweierlei Gründen besonders ertragreich, Organisationen in ihrer Eigenkomplexität ernst zu nehmen und sie damit in das Zentrum der Analyse zu rücken. Zum einen stellen Organisationen – wie oben gesehen – regelmäßig den sozialen Kontext algorithmisierter Entscheidungsprozesse dar. Jenseits von Organisationen dürften algorithmisierte Entscheidungsprozesse derzeit jedenfalls kaum zu finden sein.^[2] Zum anderen handelt es sich bei Entscheidungen um den basalen Modus der organisationalen Koordination und Reproduktion (March/Simon 1993; March 1988; Luhmann 2000; Groddeck/Siri/Mayr 2016). Schon dies legt es nahe, sich das Verhältnis von Organisation und Algorithmisierung als eines der wechselseitigen Ermöglichung und Einschränkung vorzustellen. Zu fragen ist dann in beide Richtungen: Welche Effekte hat die organisationale Situiertheit auf die Algorithmisierung und – umgekehrt – welche Effekte hat die Algorithmisierung auf die organisationale Entscheidungsproduktion?

Ausgehend von einem Organisationsverständnis, das Organisationen als eigenlogische Systeme begreift, die über ihre Entscheidungs- und Relevanzstrukturen selbst disponieren (Weick 1985; Luhmann 2000), lautet die hier im Weiteren zu entfaltende These, dass die Algorithmisierung von Entscheidungsprozessen durch die organisationale Eigenlogik gebrochen wird. Unmittelbar wirkt sich die Algorithmisierung von Entscheidungsprozessen auf die Organisation selbst aus. Die Effekte der Algorithmisierung auf die gesellschaftliche Organisationsumwelt hingegen zeigen sich indirekt – als Effekte des organisationalen Umgangs mit den Effekten der Algorithmisierung. Um die Dynamiken und Effekte eines aufkommenden alogrithmic decision making verstehen zu können, ist es daher erforderlich, diese beiden Aspekte auch konzeptionell auseinanderhalten zu können und eine darauf eingestellte zweistufige Analysestrategie zu verfolgen.

Die weiteren Analysen vorbereitend rekonstruiert der folgende Abschnitt 2 zunächst die Informationserzeugung und das Entscheiden als basale Operationsmodi von Algorithmen bzw. Organisationen. In diesem Zusammenhang zeigt sich einerseits eine Strukturähnlichkeit zwischen Algorithmen und Organisationen. Andererseits wird auch deutlich, dass Organisationen eine gewisse strukturelle Affinität zur Inkorporierung von Algorithmen aufweisen. Dass diese strukturelle Affinität nicht gleichbedeutend mit einer unproblematischen Inkorporierung ist, wird in Abschnitt 3 deutlich. Dieser fragt, welche Umstellungen mit einer Algorithmisierung organisationaler Entscheidungsprozesse verbunden sind und welche Folgeprobleme sich daraus für Organisationen ergeben. Der vierte Abschnitt kippt schließlich die Perspektive und arbeitet heraus, wie Organisationen sich eine Algorithmisierung ihrer Entscheidungsprozesse dennoch ermöglichen. Auf dieser Grundlage eines Verständnisses von algorithmisierten Entscheidungsprozessen als organisational situiertes Geschehen, wird es im abschließenden Fazit möglich, überorganisationale Effekte zu skizzieren und daraus resultierende Forschungsperspektiven zu benennen.

2 Algorithmische Informationserzeugung und organisationales Entscheiden

Wenngleich die Debatte um ein vermehrt zu beobachtendes algorithmic decision making den Ausgangspunkt dieser Analysen darstellt, soll – zumindest mit Blick auf Algorithmen – der Aspekt der Entscheidung zunächst noch zurückgestellt werden. Zwar werden Entscheidungen auf der Grundlage von (behaupteten oder tatsächlichen) Informationen getroffen und auch haben Entscheidungen selbst einen Informationswert (Luhmann 2000; March/Simon 1993). Umgekehrt handelt es sich aber nicht bei jeder Informationsverarbeitung oder -produktion um eine Entscheidung. Die Verarbeitung von Informationen ist daher der grundlegendere Prozess. Er ist für die Anfertigung von Entscheidungen konstitutiv, ohne dass letztere sich darin erschöpfen würden. An dieser Stelle kommt es daher vorerst darauf an, Algorithmen als Mechanismen der Informationserzeugung zu rekonstruieren. Dass und wie genau diese Informationsleistungen auch im Kontext von Entscheidungsprozessen Relevanz gewinnen können, wird das Thema des Abschnitts 3 sein.

Geht man vom Aspekt der Informationsverarbeitung aus, so fallen einige Strukturähnlichkeiten zwischen Algorithmen und Organisationen auf. Diese zu explizieren ist hilfreich, um zu verstehen, warum Organisationen überhaupt für eine Algorithmisierung ihrer Entscheidungsprozesse empfänglich sind. Zugleich bereitet dieser Vergleich die weiteren Analysen aber auch dahingehend vor, dass er ein grundlegendes Verständnis der basalen Funktionslogik von Algorithmen und Organisationen vermittelt. Die zentralen Aspekte in diesem Zusammenhang sind zum einen die Bedeutung von Regeln für Algorithmen und Organisationen (2.1) sowie zum anderen die Intransparenz der Operationsweise (2.2).

3 Folgen der Algorithmisierung organisationaler Entscheidungsprozesse

Bislang wurde zweierlei deutlich. Zum einen, dass die Debatte um algorithmisierte Entscheidungsprozesse an einer Organisationsvergessenheit leidet, die insofern problematisch ist, als sie zu einer Dekontextualisierung des Phänomens führt. In der Folge ist das Differenzierungspotential einer solchen Perspektive beschränkt, so dass daran anschließende Problemdiagnosen verkürzt erscheinen. Zum anderen zeigte sich, dass Algorithmen und Organisationen einige Strukturähnlichkeiten aufweisen, die es gleichermaßen plausibel wie aussichtsreich erscheinen lassen, dass Organisationen im Rahmen ihrer Entscheidungsprozesse auch Algorithmen in Anspruch nehmen.

Im Folgenden geht es nun darum, die organisationale Situiertheit algorithmisierter Entscheidungsprozesse schärfer zu konturieren und herauszuarbeiten, was sich für Organisationen ändert, wenn diese ihre Entscheidungsprozesse (teilweise) algorithmisieren. In diesem Zusammenhang sind zwei Tendenzen bedeutsam: Ein Varianzverlust als Folge der Technisierung von Entscheidungen einerseits (3.1), sowie ein Adressausfall als Folge der De-Personalisierung andererseits (3.2).

4 Die Organisierung algorithmisierter Entscheidungen

Ein Zugriff auf die Bedeutung von Organisationen im Kontext der Algorithmisierung von Entscheidungsprozessen lässt sich gewinnen, wenn man genauer in den Blick nimmt, wie Organisationen mit den in der Algorithmisierung angelegten Problemen des Varianzverlusts und des Adressausfalls umgehen. Oder anders formuliert: Wie gelingt es Organisationen, trotz der identifizierten Folgeprobleme, die Algorithmisierung ihrer Entscheidungsprozesse zu organisieren? Angesprochen sind damit die Möglichkeitsbedingungen, unter denen die identifizierten Folgeprobleme der Algorithmisierung für Organisationen vermeidbar oder zumindest tragbar werden. Erst durch diesen Analyseschritt lässt sich die Algorithmisierung von Entscheidungsprozessen als organisational situiert begreifen. Sichtbar wird damit, welche Zurichtung die Algorithmisierung durch Organisationen als eigenlogische Systeme erfährt. Hieran anschließend kann dann die Frage nach den Effekten der Algorithmisierung erneut vorgelegt werden.

Die in Abschnitt 3 identifizierten Probleme ergeben sich aus der grundlegenden Funktionsweise der Algorithmen selbst. Ob und inwiefern sich diese Probleme in Organisationen tatsächlich realisieren, hängt jedoch vom jeweiligen organisationalen Kontext ab, in dem die Algorithmen zur Anwendung kommen. Hinsichtlich des Verlusts an Entscheidungsvarianz sind es insbesondere zwei Bedingungen, unter denen sich Organisationen ihre Entscheidungsvarianz trotz Algorithmisierung erhalten können: die Inanspruchnahme professionalisierter Wissensbestände einerseits, sowie die Einhegung von Algorithmen in komplexere Entscheidungsarchitekturen andererseits.

Wo Entscheidungsprozesse vollständig an Algorithmen übergeben und entsprechend automatisiert werden, wie etwa im oben angesprochenen Fall des Hochfrequenzhandels an der Börse, ist die feste Kopplung von Entscheidungsregel und Entscheidungsoperation kaum auflösbar und mithin auch nicht durch situative Abweichungen mit Varianz anzureichern. Anders verhält es sich jedoch mit Blick auf solche Fälle, in denen die algorithmisch erzeugten Informationen zwar Entscheidungen informieren, diese aber nicht auch schon vollziehen. Zwar gilt auch für diese algorithmisch erzeugten Informationen, dass sie aufgrund ihres technisierten Entstehungszusammenhangs eine gewisse Relevanzbehauptung mitführen. Gleichwohl finden typischerweise auch zusätzliche Informationen Berücksichtigung, vor deren Hintergrund die algorithmisch erzeugten Informationen relativiert oder in eine bestimmte Richtung hin ausgedeutet werden.

Ganz grundsätzlich dürfte eine solche Zurückweisung der durch die algorithmisch erzeugten Informationen nahegelegten Entscheidung sozial eher demotiviert werden. Schließlich wird Algorithmen eine gegenüber personalen Entscheidern überlegene Informationsverarbeitungskapazität zugeschrieben, wodurch Organisationsmitgliedern ein erheblicher Rechtfertigungsdruck aufgebürdet wird, wenn diese sich gegen die algorithmisch nahegelegte Alternative entscheiden. Schon um die eigenen Rechenschaftsrisiken zu minimieren, wird man daher eine Prävalenz der affirmativen Ratifizierung algorithmisch generierter Entscheidungsalternativen erwarten dürfen. Am ehesten ist mit emanzipatorischen Tendenzen gegen Algorithmen daher dort zu rechnen, wo Entscheidungen auf die Wissensbestände einer Profession abgestützt werden können.^[13] Die Bedeutung personaler Entscheidungsbeiträge und die entsprechenden Chancen zur Steigerung der Entscheidungsvarianz erhöhen sich dann in dem Maße wie professionale Schemata bei der Anfertigung von Entscheidungen (re-)aktiviert werden. Dass solche Fälle empirisch durchaus vorkommen, zeigt sich etwa in der bereits oben angesprochenen Studie über die Jugendschutzbehörde im US-amerikanischen Allegheny.

In der von Virginia Eubanks (2018) untersuchten US-amerikanischen Jugendschutzbehörde „Allegheny County Office of Children, Youth and Families (CYF)“ ist das sogenannte „Allegheny Family Screening Tool (AFST)“ von großer Bedeutung. Dabei handelt es sich um einen Algorithmus, der 132 Variablen berücksichtigt und daraus einen Gefährdungsscore errechnet. Dieser stellt die wesentliche Grundlage für die Planung und Durchführung von intervenierenden Maßnahmen und Untersuchungen seitens der Jugendschutzbehörde dar. Die professionellen Entscheidungsspielräume zeigen sich in diesem Fall einerseits, wenn es darum geht, die zu bearbeitenden Kindesschutzfälle zu kategorisieren. Insbesondere mit Blick auf die Kategorie der Kindesvernachlässigung („neglect“) wird darauf hingewiesen, dass im Vergleich zur Kategorisierung von Kindesmissbrauch („abuse“) ein hohes Maß an „subjective judgment“ erforderlich sei (Eubanks 2018, 156 f.). Während in diesem Fall professionelle Urteile auf der Input-Seite des Algorithmus erforderlich und möglich werden, eröffnet auch die organisationale Weiterverarbeitung des algorithmisch generierten Risiko-Scores Möglichkeiten der professionellen Intervention, denn der AFST-Score „is not intended to make investigative or other child welfare decisions“ (2018, 141). Dass diese professionelle Autonomie gleichwohl fragil ist, wird deutlich, wenn die Autorin im Weiteren den Umgang mit dem AFST-Score beschreibt: „[F]rom what I saw in the call center during my visit, the model is already subtly changing how some intake screeners do their jobs” (2018, 141).^[14]

Neben diesen Fällen der Professionsorientierung, ist es bisweilen aber auch der organisationale Kontext selbst, der die Strukturvoraussetzungen für eine Stärkung personaler Entscheidungsbeiträge und mithin für eine Erhöhung der Entscheidungsvarianz schafft. Dies ist immer dann der Fall, wenn algorithmisierte Entscheidungsprozesse in komplexere organisationale Entscheidungsarchitekturen eingebettet sind. Nur in sehr einfach gelagerten Fällen, sind organisationale Entscheidungen klar auf ein einzelnes Entscheidungsprogramm hin orientiert. Komplexere Entscheidungen hingegen weisen oftmals eine Orientierung an mehreren Entscheidungsprogrammen auf, die im Sinne einer Verbindung oder Verschachtelung (Luhmann 1968) aufeinander verweisen oder in Abhängigkeit zueinander stehen. So kann etwa die Auswahl möglicher Mittel im Rahmen eines Zweckprogramms durch zusätzliche Konditionalprogramme eingeschränkt werden oder das Resultat eines Konditionalprogramms wird zur Auslösebedingung eines weiteren Konditionalprogramms. Im Falle solch komplexerer Entscheidungsarchitekturen verdünnen sich gleichsam die im Zuge der Algorithmisierung erfolgten festen Kopplungen, da für die vor- und nachgelagerten organisationalen Entscheidungsprogramme gilt, was für nicht-algorithmisierte Entscheidungen in Organisationen immer schon galt: Sie entfalten ihre Relevanz erst und nur in die Richtung, wie sie durch personale Entscheidungsbeiträge aktiviert werden.^[15]

Das zweite in Abschnitt 3 identifizierte Folgeproblem der Algorithmisierung betrifft den Adressausfall bezüglich der Zurechenbarkeit von Verantwortlichkeiten. Wenn Algorithmen Entscheidungen treffen oder auch nur entscheidungsvorbereitende bzw. -anleitende Informationen erzeugen, zeigt sich mit Blick auf die Möglichkeit der Zurechnung von Verantwortlichkeiten eine Leerstelle. Man mag zwar mit den Resultaten algorithmischer Informationsverarbeitungen unzufrieden sein oder die Konsequenzen algorithmischer Entscheidungen als untragbar befinden. In der kommunikativen Abwicklung solcher Enttäuschungen kann der Algorithmus aber allenfalls als gescheiterte Technik und folglich als Objekt des Scheiterns thematisiert werden. Als Entscheidungssubjekt und mithin für die Sozialposition des Entscheiders kommt er hingegen kaum in Frage. Der Algorithmus erscheint also nicht als Verursacher des fraglichen Problems, sondern allenfalls selbst als ein Problem.

Sofern auf eine solche Sachanalyse auch Konsequenzen in der Sozialdimension folgen sollen, wird es unumgänglich alternative Zurechnungsadressaten jenseits des Algorithmus zu identifizieren, um diesen die entsprechenden Verantwortlichkeiten zurechnen zu können. Hierzu ist es erforderlich, Stellen innerhalb der Organisation zu identifizieren, die als Adressaten entsprechender Verantwortlichkeitszurechnungen mobilisiert werden können, in dem sie behandelt werden, als ob sie für den algorithmischen Output und dessen Folgen verantwortlich wären. Solche Verantwortlichkeitsproxys entstehen entweder, indem Entscheidungszurechnungen verschoben werden oder durch Politisierung.

Entscheidungszurechnungen zu verschieben bedeutet, dass der Algorithmus innerhalb der Organisation kommunikativ als eine Technik behandelt wird, für die gilt, was für jede Technologie gilt: sie kann besser oder schlechter funktionieren, man kann sie mehr oder weniger kompetent bedienen und mit ihren Resultaten kann man angemessener oder weniger angemessen umgehen. Kommunikativ wird dann nicht den Operationen oder den Outputs des Algorithmus eine Entscheidungsqualität zugeschrieben, sondern den auf den Algorithmus bezogenen Aktivitäten der Organisationsmitglieder. Die Chancen der Zurechnung von Verantwortlichkeiten verschieben sich dann parallel dazu entweder nach vorne oder nach hinten. Wo sie nach hinten verschoben werden, geraten Programmierer oder sonstige an der Konzeption des Algorithmus beteiligte Personen und deren Planungsentscheidungen in den Blick. Die Frage ist dann etwa, warum diese und nicht jene Daten vom Algorithmus berücksichtigt bzw. nicht berücksichtigt wurden. Werden Entscheidungen hingegen nach vorne verschoben, gerät unter Verantwortlichkeitsgesichtspunkten in den Blick, wie der algorithmische Output innerhalb der Organisation weiterverarbeitet wird. Insbesondere wo Algorithmen Entscheidungen soweit vorzeichnen, dass sie lediglich noch einer Ratifizierung durch zuständige Stellen bedürfen, wie etwa im Falle des Credit-Scorings, wird mit der Entscheidung durch das Organisationsmitglied lediglich eine Adresse für gegebenenfalls notwendig werdende Verantwortlichkeitszurechnungen hinzugefügt.

Im Fall der Entscheidungspolitisierung wird auf einen solchen direkten Algorithmusbezug gänzlich verzichtet. Stattdessen werden Verantwortlichkeiten in dem Sinne gleichsam politisch zugerechnet, als bestimmte organisationale Stellen – zumeist recht weit oben in der Hierarchie – für die durch die Anwendung von Algorithmen erzeugten Effekte zur Rechenschaft gezogen werden – und zwar unabhängig davon, inwiefern sie selbst Entscheidungen mit Bezug auf algorithmische Outputs getroffen haben. Im Fall des Hochfrequenzhandels an der Börse findet man solche Stellen etwa als Chief Investment Officer (CIO). Diese Stelleninhaber tragen die Verantwortung für die Profitabilität des Investmentgeschäfts und damit auch für die Effekte der durch Algorithmen vollzogenen Kauf- und Verkaufsoperationen (Schwarting 2015, 171). Politisiert ist diese Verantwortlichkeit insofern, als die entsprechenden Investmententscheidungen zumeist auf unteren Hierarchieebenen – oder eben durch Algorithmen – getroffen werden und der CIO damit lediglich als Zurechnungspunkt für die Attribuierung einer Gesamtverantwortlichkeit fungiert.

Sowohl Entscheidungsverschiebungen wie auch Entscheidungspolitisierungen lassen sich als Mechanismen der Schaffung von Verantwortlichkeitsproxys begreifen. Damit wird deutlich, dass die Organisierung der Algorithmisierung von Entscheidungsprozessen insbesondere auch eine Organisierung von Zurechnungsadressen für die Attribuierung von Verantwortlichkeiten darstellt. In der Zusammenschau dieses Abschnitts 4 zeigt sich überdies, dass Organisationen über spezifische Mechanismen verfügen, um die Folgeprobleme einer Algorithmisierung von Entscheidungsprozessen bearbeiten zu können. Hinsichtlich des Problems reduzierter Entscheidungsvarianz sind es die Aktivierung professioneller ‚Gegen-Expertise‘ sowie die Einhegung algorithmisierter Entscheidungsbeiträge in komplexere Entscheidungsarchitekturen, die Raum schaffen für die varianzerzeugenden Effekte personaler Entscheidungsbeiträge. Das Problem des Adressausfalls wird durch die Schaffung von Verantwortlichkeitsproxys bearbeitet. In der Folge bleiben die Effekte algorithmisierter Entscheidungsbeiträge somit unter Verantwortlichkeitsgesichtspunkten zurechenbar – wenngleich nur lose an den algorithmischen Output gekoppelt. Von diesem Punkt aus wird es nun abschließend möglich, die Effekte der Algorithmisierung von Entscheidungsprozessen als Effekte einer organisational situierten Algorithmisierung von Entscheidungsprozessen in den Blick zu nehmen und zu prüfen, welchen Unterschied die Organisation hinsichtlich der außerorganisationalen Algorithmisierungseffekte macht.

5 Fazit: Der organisationale Unterschied

Das Anliegen dieses Beitrags war es, auf die organisationale Situiertheit algorithmisierter Entscheidungsprozesse aufmerksam zu machen. Dieses Interesse gründete in der Hintergrundannahme, dass die Algorithmisierung von Entscheidungsprozessen durch die organisationale Eigenlogik gebrochen wird und dass sich die gesellschaftlichen Effekte des algorithmic decision making dementsprechend nur dann angemessen beschreiben lassen, wenn diesem Umstand auch in der soziologischen Analyse Rechnung getragen wird und sie als Effekte des organisationalen Umgangs mit den organisationalen Folgeproblemen der Algorithmisierung untersucht werden.

Von diesen Überlegungen ausgehend wurde ein mehrstufiges Vorgehen notwendig, welches zunächst den Verlust von Entscheidungsvarianz und den Ausfall von Adressen der Verantwortlichkeitszurechnung als die beiden zentralen organisationalen Probleme im Kontext der Algorithmisierung identifizierte (Abschnitt 3). Hieran anschließend konnte gezeigt werden, dass Organisationen über spezifische Mechanismen verfügen, um diese Probleme abzumildern: Durch die Stärkung personaler Entscheidungsbeiträge kann die Entscheidungsvarianz erhöht werden und durch die Schaffung von Verantwortlichkeitsproxys bleiben Entscheidungen auch dort zurechenbar, wo Algorithmen zum Zuge kommen (Abschnitt 4).

Abschließend soll nun noch gefragt werden, inwieweit sich hieraus ein anderes Bild bezüglich der außerorganisationalen Effekte der Algorithmisierung von Entscheidungsprozessen ergibt. Als Ausgangspunkt hierfür dienen die beiden in Abschnitt 2 identifizierten Hauptkritikpunkte, welche im Rahmen der Debatte um algorithmic decision making regelmäßig angeführt werden: Das ‚Bias-Problem‘ und das ‚Black-Box-Problem‘.

Als ‚Bias-Problem‘ wurden hier all jene Aspekte zusammengefasst, die in der Debatte um algorithmisches Entscheiden auf die entscheidungsverzerrenden Effekte von Algorithmen hinweisen. Insofern die algorithmische Informationsverarbeitung strikt programmgebunden verläuft, führe dies zwangsläufig dazu, dass die Präferenzen und Relevanzstrukturen der Programmierer überbetont und undifferenziert zur Anwendung kämen. Insbesondere aus einer kritischen Perspektive heraus wird in diesem Zusammenhang regelmäßig auf die Gefahr diskriminierender Effekte hingewiesen. Vor dem Hintergrund der hier vorgeschlagenen Perspektiverweiterung scheinen Organisationen eher zur Entschärfung des Problems beizutragen. Der Kern des ‚Bias-Problems‘ liegt nämlich darin begründet, dass Algorithmen gerade nicht diskriminierungsfähig sind und sie tatsächlich alle Fälle nach den streng gleichen Kriterien behandeln. Gerade diese konsequent-undifferenzierte Behandlung von Fällen durch Algorithmen, wird jedoch durch die organisational ermöglichte Stärkung personaler Entscheidungsbeiträge abgemildert. Wo algorithmische Outputs durch Personen weiterverarbeitet werden, steigen die Chancen für kontextsensible und fallspezifische Entscheidungen.

Anders als das Bias-Problem ist hinsichtlich des ‚Black-Box-Problems‘ nicht mit einer spezifischen Abmilderung durch den Umstand der organisationalen Situiertheit algorithmisierter Entscheidungsprozesse zu rechnen. Zwar mögen Organisationen in wohl seltenen Einzelfällen durchaus die von ihnen verwendeten Algorithmen offenlegen. An dem in der algorithmuskritischen Debatte beklagten Grundproblem, wonach Algorithmen nur für wenige Spezialisten verständlich sind, ändert dies aber nichts. Zugleich wird man aber auch sehen müssen, dass das Problem der Opazität nicht erst mit der Algorithmisierung von Entscheidungsprozessen entsteht. Vielmehr sind Black-Box-Phänomene ein Nebeneffekt organisationaler Arbeitsteilung und der in arbeitsteiligen Strukturen geleisteten Unsicherheitsabsorption. Die Vorstellung, dass Organisationen erst mit der Algorithmisierung ihrer Entscheidungsprozesse intransparent würden, verkennt also das Ausmaß der im Kontext von Organisationen aus strukturellen Gründen immer schon zu findenden Entscheidungsintransparenz.

Ein letztes Problem, auf das hin die Effekte der organisationalen Situiertheit von algorithmisierten Entscheidungsprozessen geprüft werden sollen, ist das Verantwortungsproblem. Damit ist der Umstand angesprochen, dass Algorithmen selbst nicht für die durch sie erzeugten Entscheidungsbeiträge verantwortlich gemacht werden können. Wie in Abschnitt 4 diskutiert, stellt sich das Problem der Verantwortungszurechnung zwar auch innerhalb und für Organisationen. Zugleich wird es aber auch innerhalb von Organisationen bearbeitet – und damit für die organisationale Umwelt entschärft. So ist es gerade die durch Organisationen geleistete Schaffung von Verantwortungsproxys, durch die zwar nicht die Algorithmen selbst zurechnungsfähig werden; wohl aber werden auf diese Weise Adressen für die – auch gesellschaftliche – Zurechnung von Verantwortlichkeiten für algorithmisch erzeugte Entscheidungsbeiträge verfügbar. Dabei dient mit Blick auf die gesellschaftliche Umwelt schon die Organisation selbst als ein solcher Zurechnungsadressat. Insbesondere vor diesem Hintergrund wird dann nochmals deutlich, dass der organisationsinternen Konstruktion personaler Verantwortungsproxys die Funktion zufällt, gesellschaftliche Rechenschaftsansprüche organisationsintern auf Personen durchzureichen und damit sowohl die Organisation selbst wie auch die von ihr verwendeten Algorithmen zu entproblematisieren und dementsprechend schützen zu können (Kette 2014).^[16]

In der Zusammenschau zeigen die hier vorgetragenen Analysen, dass die Einbeziehung des sozialen Kontextes, innerhalb dessen sich die Algorithmisierung von Entscheidungsprozessen vollzieht, eine komplexere aber auch differenziertere Perspektive auf die Konsequenzen der Algorithmisierung eröffnet. Die in der Debatte um algorithmic decision making dominierende Perspektive einer Dekonstruktion der Funktionsweise des Algorithmus bleibt unvollständig, wenn nicht zur Kenntnis genommen wird, dass die Algorithmisierungsprozesse nicht im luftleeren Raum stattfinden, sondern sie sich innerhalb von Organisationen vollziehen, an deren Eigenlogik sich die Algorithmisierung bricht. Diese Brechungen in den Blick zu nehmen ist aber die Voraussetzung, um auch noch die gesellschaftlichen Konsequenzen der Algorithmisierung von Entscheidungsprozessen beschreiben und verstehen zu können.

Sichtbar wird dann, dass die Algorithmisierung von Entscheidungsprozessen zwar durchaus Probleme erzeugt. Dabei handelt es sich jedoch zum einen um solche Probleme, die sich im Zusammenhang mit Organisationen immer schon stellen und denen durch die Einbeziehung von Algorithmen nichts qualitativ Neues hinzugefügt wird (Black-Box-Probleme). Zum anderen tragen Organisationen aber auch zur Entschärfung von Problemen der Algorithmisierung bei (Bias-Probleme und Verantwortlichkeitsprobleme).

Abschließend seien zwei Implikationen herausgestellt, die sich aus den vorliegenden Analysen und der organisationssoziologischen Perspektiverweiterung ergeben. Dies betrifft zum einen die kritisch-normativ orientierte Algorithmusdebatte. Vor dem Hintergrund der hier vorgetragenen Analyse erscheint die Kritik an Algorithmen bzw. an algorithmisierten Entscheidungsprozessen insofern verkürzt, als die organisationale Situiertheit und die in diesem Kontext stattfindende Zurichtung der Effekte algorithmisierten Entscheidens übersehen wird. Zwar mag die Analyse der Effekte algorithmisierten Entscheidens im Prinzip überzeugen; ihre empirischen Effekte zeigen sich jedoch erst, wenn man auch die sozialen Kontexte ihrer Anwendung in Rechnung stellt. Eine in diesem Sinne organisationstheoretisch aufgeklärte Algorithmuskritik wäre dann in erster Linie als Organisationskritik zu formulieren (Kette/Tacke 2015). Dass eine solche Organisationskritik in algorithmuskritischer Absicht selbst ambivalent ausfallen müsste, zeigt sich spätestens, wenn man in Rechnung stellt, dass es gerade die organisationale Situiertheit ist, welche die genuin durch Algorithmen erzeugten Probleme, einhegt und in ihren Folgen abmildert.

Der zweite Punkt betrifft die Frage, inwieweit sich mit der Algorithmisierung von Entscheidungsprozessen die gesellschaftliche Bedeutung von Organisationen verschiebt. Anstatt von einem Bedeutungsverlust der Organisation auszugehen und Algorithmen mithin als funktionale Äquivalente zu Organisationen zu begreifen, legen die Analysen dieses Beitrags es eher nahe, mit einem Relevanzanstieg der Organisation zu rechnen. Nicht nur sind es Organisationen, welche entsprechende Entscheidungsprozesse algorithmisieren. Vielmehr sind es auch Organisationen, welche die Folgeprobleme der Algorithmisierung abmildern. Soweit es um die Effekte der Algorithmisierung geht, erscheinen Organisationen mithin als Problem und Lösung zugleich. Eine Gesellschaft, die sich algorithmisierte Entscheidungsprozesse zumutet, wird es sich daher kaum erlauben können, Organisationen in ihrer Bedeutung zu marginalisieren.