by W algorithmische Prozesse — Teilhabechancen beeinflussen können mischen Entscheidungsprozess beeinflusst? bagiv.de/pdf/soziale-teilhabe-empfehlungen-beirat.
698 KB – 44 Pages
PAGE – 3 ============
Wie algorithmische Prozesse Teilhabechancen beeinflussen können Kilian Vieth Dr. Ben Wagner im Auftrag der Bertelsmann Stiftung Impressum © Juni 2017 Bertelsmann Stiftung Bertelsmann Stiftung Carl – Bertelsmann – Straße 256 33 311 Gütersloh www.bertelsmann – stiftung.de Verantwortlich Konrad Lischka Ralph Müller – Eiselt Autoren Kilian Vieth Dr. Ben Wagner Lizenz Diese s Arbeitspapier ist unter der Creative – Commons – Lizenz CC BY – SA 3.0 DE ( Namensnennung Weitergabe unter gleichen Bedingungen ) lizenziert. Sie dürfen das Material vervielfältigen und weiterverbreiten, solange S ie angemessene Urhe- ber – und Rechteangaben machen. Sie müssen angeben, ob Änderungen vorgenommen wurden. Wenn Sie das Material verändern , dürfen Sie Ihre Beiträge nur unter derselben Lizenz wie das Original verbreiten. Titelbild: Konrad Lischka, CC BY 4.0 DO I 10.11586/2017027 https://doi.org/10.11586/2017027
PAGE – 4 ============
Seite 4 | Vorwort 1 Vorwort .. .. .. . 7 2 Einleitung .. .. .. 8 3 Begriffliche Grundlagen .. .. 9 3.1 Teilhabe .. .. .. .. . 9 3.2 Algorithmus .. .. .. .. .. 9 3.3 Algorithmische Entscheidungsfindung .. .. . 10 3.4 Data Mining .. .. .. .. 10 3.5 Lernender Algorithmus .. .. .. .. 10 3.6 Modellierung .. .. .. 11 3.7 Soziale Einbettung von Algorithmen .. .. . 11 3.8 Erklärbarkeit algorithmischer Entscheidungsfindung .. .. 12 4 Analysebereich: Computersysteme, die Menschen bewerten 13 4.1 Digitale Entscheidungssysteme .. .. .. . 13 4.2 Bewertung von Menschen .. .. .. 13 5 Anwendungsszenari en algorithmischer Entscheidungsfindung . 15 5.1 Arbeitswelt .. .. .. .. . 15 5.2 Sicherheit .. .. .. .. 16 5.3 Meinungsbildung .. .. .. .. 17 5.4 Öffentliche Daseinsvorsorge .. .. .. .. 18 5.5 Marketing .. .. .. .. 19 5.6 Zwischenfazit: Welche Funktionen erfüllen Algorithmen? .. . 20 6 Die potenzielle Wirkung algorithmischer Entscheidungsfindung auf Teilhabe berechnen .. .. .. 22 6.1 Methodischer Ansatz .. .. .. .. 22 6.2 Akteure .. .. .. .. 23
PAGE – 5 ============
Vorwort | Seite 5 6.3 Soziale Einbettung .. .. .. 24 6.4 Konsequenzen .. .. .. 24 6.5 Zusammenfassung: So lässt sich Teilhabewirkungspotenzial bestimmen . 2 6 6.6 Beispielrechnungen .. .. .. . 27 7 Fazit und Ausblick .. .. . 29 8 Literatur .. .. .. . 30 9 Executive Summary .. .. .. 37 10 Über die Autoren .. .. . 41
PAGE – 8 ============
Seite 8 | Einleitung 2 Einleitung Was hab en Bonitätsprüfungen, Grenzkontrollen und Suchmaschinen gemeinsam? Alle nutzen algorithmische Verfahren, um Entscheidungen vorzubereiten bzw. zu treffen. Das durch Algorithmen beeinflusste Urteil darüber, wer einen Kredit bekommt, wer einreisen darf und we lche Treffer eine Suchanfrage liefert, ist zu einem zentralen Merkmal der digitalisierten Gesellschaft geworden. Unser gesamter Alltag wird von und mit digitaler Technologie gestaltet und der Kernbestandteil all der Computer, die uns umgeben, sind die Algo rithmen, die bestimmen, wie wir kommunizieren, arbeiten und uns bewegen. Die Digitalisierung generiert immer größere Datenmengen ; n eue Geschäftsmodelle und Plattformen entstehen, die alle in wesentlichen Bereichen durch Algorithmen gesteuert werden. Ohne A lgorithmen lässt sich die digitale Ge- sellschaft nicht denken, wir brauchen sie, um unsere datenreiche Umgebung zu ordnen. Leben nicht auf einige wenige beschränken wollen, dann brauchen wir bessere Energieversorgung, bessere Mo- bilitätsko (Stalder 2017) . Auch wenn sich die Entwicklung zahlreicher O hne Algorith- men als Bestandteil sozialer Prozesse wird es nicht gehen , wenn wir drängende Probleme lösen und eine gerechte Teilhabe an der Gesellschaft ermöglichen wollen. Es geht um all die Prozesse, bei denen große Da- tensätze mithilfe von Software be – und verarbeitet werden, um Entscheidungen zu treffen oder Entscheidungsgrundlagen zu erstellen. Dass Algorithmen im mer öfter Entscheidungen mit uns, für uns und über uns fällen, wirft neue Fragen im Hinblick auf Teilhabe auf. Diese Expertise macht daher erste Vorschläge, wie die Teilhaberelevanz von Verfahren algo- rithmischer Entscheidungsfindung strukturiert und klassi fiziert werden kann . Entscheidend ist dabei, sich vo n einem verbreiteten Technik – Determinismus zu lösen und die Gestaltbarkeit digitaler Technologie in den Mittel- punkt zu stellen. Technik ist formbar, deshalb gilt es im ersten Schritt zu klären , welche Zie le mit dem Einsatz algorithmischer Verfahren verfolgt werden. Nicht aus vermeintlichen technischen Zwängen heraus, sondern aus der Diskussion über wünschenswerte Ergebnisse müssen Rahmenbedingungen für Technologie entwickelt wer- den. In der digitalisierten Wissensgesellschaft wird die Gestaltung von Technologie zur elementaren Machtfrage. Denn wenn Wissen Macht ist, dann sind Algorithmen die Machtinstrumente unserer Zeit. Wie viel Beeinflussung durch Algorithmen ist für jeden Einzelnen und für die Gesellscha ft als ganze verträglich und förderlich? Und wo müssen wir genauer hinsehen , um die Potenziale zu nutzen und die Risiken bestmöglich zu minimieren? Die se Expertise bietet einen Überblick über das Gesamtphänomen von Prozessen algorithmischer Entschei- dungsfi ndung, indem si e zentrale Begriffe erläutert ( Kapitel 3 ), den relevanten Analysebereich solcher Prozesse abgrenzt ( Kapitel 4 ) und typische S zenarien und Funktionen für den Einsatz von algorithmenbasierten En tschei- dungsverfahren aufzeigt ( Kapitel 5 ). Auf di eser Basis wird ein Vorschlag zur Klassifizierung von Prozessen algorithmischer En tscheidungsfindung entwickelt ( Kapitel 6 ). Dieser soll helfen , die potenzielle Wirkung von algo- rithmischen Verfahren auf Teilhabe anhand weniger Kriterien zu bewerten und ver gleichbar zu machen. Damit können zum Beispiel tiefer gehende Untersuchungen priorisiert und vorbereitet werden.
PAGE – 9 ============
Begriffliche Grundlagen | Seite 9 3 Begriffliche Grundlagen 3.1 Teilhabe Im Rahmen dieser Studie umfasst der Begriff Teilhabe die gleichberechtigte Einbeziehung von Individuen und O rganisationen in politische Entscheidungs – und Willensbildung sowie die faire Partizipation aller an sozialer, kul- tureller und wirtschaftlicher Entwicklung. Es geht also erstens um Teilhabe an demokratischen Prozessen und damit um politische Gleichberech tigung und zweitens um Teilhabe an Errungenschaften eines sozialen Ge- – und Wohnverhältnissen, Sozial – und Gesundheitsschutz, ausreichenden und allgemein zugänglichen Bildungschancen und der Integration in den Arbei tsmarkt bis hin zu vielfältigen Freizeit – (Beirat Integration 2013) . Teilhabe in diesem Sinne hat zur Voraussetzung, dass die materiellen Mittel aller über einem Mindestniveau lie- gen, da s allen Menschen die Mitwirkung am gesellschaftlichen Leben möglich macht. Die Gewährleistung von (Meyer 2016) voraus. Elemente dieses Sockels werden zum Beispiel in der Allgemeinen Erklä rung der Menschenrechte und im I nterna- tionalen Pakt über wirtschaftliche, soziale und kulture lle Rechte beschrieben ( Bundesgesetzblatt 1966) . Um chancengerechte Teilhabe in diesem Sinne zu ermöglichen, sind gezielte Investition en in die Entwicklung indivi- dueller Fähigkeiten nötig (Bertelsmann Stiftung 2011 : 31) . Es liegt in der Verantwortung des Staates und des Gemeinwesens, kontinuierlich jedes Individuum zu befähigen, seine Chancen tatsächlich zu nutzen. 3.2 Algorithmus Algorithmen sind mittlerweile Gegenstand diverser Debatten , dem Begriff werden jedoch je nach Kontext und Be- zugsgruppe unterschiedliche Bedeutungen zugeschrieben. Die Informatik und Mathematik verwende n den Begriff anders, als es in de einordnen zu können, muss stets berücksichtigt werden, welche Senderin 1 sich an welches Publikum richtet. Ins- besondere wenn es um die Analyse der gesellschaftlic hen Auswirkungen von Algorithmen geht, muss zwischen der formellen Definition und einer allgemeinen Verwendung des Wortes untersc h i e den werden. In vielen Debat- ten über Algorithmen geht es nicht um einen eng definierten Algorithmus an sich, sondern vielmehr um die Rolle von Technologie in der Gesellschaft (Bucher 2016) . Der Begriff Algorithmus geht auf den persisch – arabischen Mathematiker Muhammad ibn Musa Al Chwarizmi zu- rück. Algorithmen sind nicht nur S oftware, sondern werden allgemein als programmierte Verfahren betrachtet, die einen bestimmten Input (einen Wert oder eine Gruppe an Werten) in einen gewünschten Output umwandeln (für e ine klassische Lehr buchdefinition siehe Cormen et al. 2001) . Diese Verfahren verwenden bestimmte Berech- nungen , um eine spezifische Aufgabe in genau definierten Schritten zu lösen (Gillespie 2014 : 167) . Algorithmen bestehen also aus einer genau definierten Folge von Schritten, um ein bestimmtes Ergebnis zu erzielen (Diakop- oulos 2015 : 400) . Ein simple Aufgabe ist zum Beispiel: Ordne die Zahlen dieser Zahlenfolge aufsteigend der Größe nach . Zur Lösung des Problems komm t dann eine Reihe von Sortier a lgorithmen in f rage. Ein Lösungsweg ist, der Reihe nach zwei benachbarte Zahlen zu vergleichen und sie zu vertauschen, falls sie in der falschen Rei- henfolge liegen. Dieser Vorgang wird dann wiederholt, bis kein Zahlentausch mehr nötig ist. Dafür sind meistens mehrere Durchläufe notwendig. 1 Die weibliche Form wird lediglich aus Gründen der Lesbarkeit gewählt. Sie ist als generisches Feminimum zu verstehen.
PAGE – 10 ============
Seite 10 | Begriffliche Grundlagen Ein anschaulicher Vergleich für Algorithmen sind Backrezepte, denn auch sie bestehen aus einer Reihe von Schritten, die ausgeführt werden müssen, um ein konkretes Ziel zu erreichen. Es werden Daten ei ngegeben (die Zutaten), die dann Schritt für Schritt verarbeitet werden und schließlich ein vorab definiertes Ergebnis produzie- ren (z. B. einen Kuchen). Anders als beim Backen müssen für Computer allerdings alle Teilschritte in einer Art und Weise ausgedrü hinzugeben, sondern nur eine genaue Menge, zum Beispiel (vgl. Zweig 2016) . 3.3 Algorithmische Entscheidungsfindung Algorithmische Entscheidungsfindung bezeichnet den Gesamtprozess von der Datenerfassung über die Daten- analyse bis hin zu r Deutung und Interpretation der Ergebnisse und der Ableitung ein er Entscheidung oder einer Entscheidungsempfehlung aus den Ergebnissen. Der Entscheidungsprozess ist festgelegt und kann beliebig viele Datenpunkte verarbeiten. Der Algorithmus fungiert dabei als (teil – )automatisiertes Hilfsmittel oder als aus- schließlicher Entscheider. A lgorithmische Entscheidungsfindung umfass t also mehrere Schritte und Unterprozesse, angefangen von der Entwicklung der Algorithmen selbst, über die Modellierung bis zur Interpreta- tion des Outputs. 3.4 Data Mining Data Mining bzw. Datenanalyse be deutet , ( große ) Datenmengen nach Mustern zu durchsuchen. Die Art der Mus- ter variiert, zum Beispiel kann nach Ereignissen gesucht werden, die oft zusammen auftreten. Oder es werden Daten automatisiert anhand konkreter Merkmale in vorab bestimmte Klassen (z. B. Gru ppen von Menschen) ein- sortiert. Die Mustererkennung beruht dabei meistens auf reiner Korrelation zwischen Datenpunkten und macht keine Aus- sage über Kausalzusammenhänge. Beim Einsatz von Mustererkennung ist also stets darauf zu achten , den entdeckten Zusammenhang (Korrelation) nicht mit einer Ursache – Wirkung – B eziehung zu verwechseln. Das menschliche Gehirn neigt jedoch stark dazu, Korrelationen als kausale Aussagen und sinnstiftende Geschichten zu interpretieren (Kahneman 2012) . Ein berühmtes Beispiel für erfolgreiches Data Mining in großen Datensätzen sta mmt von der US – amerikanischen Supermarktkette Target. Dort wurde herausgefunden, dass Schwangere oft bestimmte Produkte kaufen (Hill 2012) . In ihrer Häufung sind die Einkäufe von Schwangeren so ungewöhnlich, dass die Firma sie dadurch zu ei- nem bestimmten prozentualen Anteil identifizieren kann. Das entdeckte Muster ist hier also ein bestimmtes Konsumverhalten, das mit einer Schwangerschaft der einkaufenden Person korreliert. 3.5 Lernender Algorithmus orithmus selbst aus der Beobachtung vieler Fälle Regeln ableitet. Die Berechnung eines Ergebnisses besteht dabei aus zwei Phasen: Z uerst versucht der Algorithmus, Muster in Daten zu finden. D azu wird er anhand von bekannten Datensätzen daraufhin trainiert, ein gewünschtes Ergebnis zu erkennen. Zum Beispiel kann ein Algorithmus aus der Beobachtung großer Mengen an Bildern lernen , auf diesen Bildern Gesichter zu erkennen. In den Trainings- daten wird dafür angegeben, auf welchen Bildern Gesichter abgebildet s ind und auf welchen nicht. Durch den ein Gesicht erkennen kann. Er sucht also nach Mustern in der Struktur des Bildes (z. B. Kanten u nd Schattieru n- gen), die auf ein Gesicht hindeuten.
PAGE – 11 ============
Begriffliche Grundlagen | Seite 11 In der zweiten Phase werden diese Regeln dann auf neue, unbekannte Bilder angewendet. Auf Grundlage der erlernten Regeln kann der Algorithmus nun mit hoher Genauigkeit entscheiden, welche Bilder Gesichter abbilden und welche nicht. Die Eigenheit lernender Algorithmen ist also, dass die Entscheidungsregeln nicht direkt pro- grammiert, sondern aus den Daten abgelei tet werden. 3.6 Modellierung Wenn Algorithmen zur Beantwortung einer Frage eingesetzt werden, verarbeiten sie nie ein direktes Abbild der Realität, sondern ein eigens für dieses Verfahren entworfenes Modell der Realität. Bei der Entwicklung und Im- plementierung des Algorithmus gibt es immer einen Modellierungsfreiraum, je nachdem, in welche Teilschritte die Fragestellu ng zerlegt wird. Oft müssen Konzepte erst messbar gemacht werden, zum Beispiel Freundschaft oder die Relevanz einer Nachricht (Zweig 2017, im Erscheinen : 15) . D abei ist je nach Zielsetzung zu entsche i den, wel- che Merkmale für die Lösung relevant sind und welche vernachlässigt werden können. Jede Aufgabenstellung kann auf etliche verschiedene Arten in einem Algorithmus abgebildet werden. Wenn beispielsweise ein Nav igati- onssystem eine Route von A nach B berechnen soll, muss zuvor entschieden werden, welches Verkehrsmittel genutzt und ob der kürzeste Weg (in Kilometern), der schnellste Weg (in Minuten) oder der günstigste Weg (z. B. ohne Mautstraßen) gewählt werden so Z schiedliche Art interpretiert und damit modelliert werden. Ein Modell ist immer eine Verkürzung und damit ein beschränktes oder abstrahiertes Abbild der Wirklichkeit. Die wichtigste Ein flussgröße auf Teilhabe ist deshalb meist nicht die reine mathematische Konstruktion eines Algorithmus . Wichtiger sind hier in der Regel die Operati- onalisierung der Konzepte und die zu beantwortenden Fragen , die Implementierung eines passenden Algorithmus sowie die Erhebung geeigneter Daten . 3.7 Soziale Einbettung von Algorithmen Oft werden die durch Algorithmen generierten Entscheidungen und Vorhersagen als neutral oder unabhängig angesehen. Doch tatsächlich sind Prozesse algorithmischer Entscheidungsfindung a n vielen Punkten von Men- schen beeinflusst: Menschen setzten die Ziele , entw e rfen und implementieren die Prozesse, Menschen interpretier en die Ergebnisse und bestimmen entweder im Einzelfall über die Konsequenzen oder im Allgemeinen über die Bandbreite mögl icher Konsequenzen. Nur weil ein algorithmisches Entscheidungssystem zum Einsatz kommt, ist der Gesamtprozess nicht weniger anfällig für Fehler und Befangenheit. Prozesse algorithmischer Entscheidungsfindung werden oft eingesetzt, um menschliche Entscheidu ngsfindung vorzubereiten und zu unterstützen , oder auch , um sie ganz zu ersetzen. Dabei gehen zentrale Bestandteile menschlicher Entscheidungsprozesse verloren bzw. sie werden verlagert oder eingeschränkt. Zum Beispiel kann ein menschlicher Ermessenspielra um für Einzelf allentscheidungen nicht durch Algorithmen automatisiert werden (Spiekermann 2015) . Ohne die Interaktion mit Menschen bleiben v iele der hier beschriebenen Algorithmen bedeutungslos. Deshalb darf Technologie nicht als neutrales Artefakt angesehen werden, denn ihre Ausgestaltung kann weitreichende politische Folgen haben (Denardis 2012) . Um sich nicht von der Annahme der Objektivität in die Irre führen zu lassen, sind Algorithmen und ihre technologische Einbettung als soziale Konstrukte zu verst ehen (Winner 1980) . Algorithmen werden von Menschen erdacht und gestal tet und prägen in ihrer Anwendung wiederum menschli- ches Verhalten. Um die Auswirkungen von Algorithmen auf die Gesellschaft zu verstehen, gilt es , ihre soziale Konstruktion im Zusammenspiel zwischen Mensch und Technik zu betrachten (Brey 2005) . Algorithmen sind a lso technische Objekte, [die] ein immer höheres Niveau und einen höheren Grad an Handlungsträgerschaft errei- chen (Rammert 2006 : 28) und damit auch zu einem wichtiger en Teil der gesellschaftlichen Sozialstruktur werden .
698 KB – 44 Pages