Cover der Zusammenfassung von „Angriff der Algorithmen“

Technologie & Zukunft · 15 Min.

Angriff der Algorithmen

Cathy O'Neil · 2016

Für wen ist dieses Buch?

Für alle, die verstehen wollen, wie automatisierte Bewertungen und Entscheidungen Arbeit, Bildung, Kredite und Rechte beeinflussen. Du brauchst weder Programmierkenntnisse noch fortgeschrittene Mathematik.

Kostenlos laden · iPhone und Android

Zu dieser Zusammenfassung gibt es in der App auch eine Vertonung.

3 Kernideen zum Mitnehmen

  1. Eine Kennzahl kann helfen, die Arbeit sichtbar zu machen, doch wenn sie zum einzigen Ziel wird, beginnt sie, die Arbeit zu verzerren.

  2. Die Effizienz eines Unternehmens verdient einen zweiten Blick, wenn sie auf Kosten beruht, die nur im Alltag der Familien auftauchen.

  3. Daten über Kontrollen erzählen einen Teil der Geschichte der beobachteten Orte und einen Teil der Geschichte derer, die entschieden haben, genau dort zu beobachten.

Eine nützliche Landkarte kennt ihre Grenzen; eine gefährliche Einstufung gibt sich als vollständiges Abbild aus.
Ein Gedanke aus „Angriff der Algorithmen“, in den Worten von 15 Minuten

Leseprobe

Die ersten Abschnitte

1. Die Autorität der Zahlen

Eine Lehrerin verliert ihre Stelle, ein Bewerber bekommt kein Vorstellungsgespräch, und eine Familie erhält ein schlechtes Kreditangebot. Die Entscheidungen wirken verschieden, können aber einen gemeinsamen Ursprung haben: Systeme, die Menschen in Punktwerte verwandeln. Cathy O'Neil fragt, wer die Kriterien ausgewählt hat und wer haftet, wenn diese Kriterien jemandem ungerecht schaden.

Die Autorin nennt bestimmte Systeme mathematische Massenvernichtungswaffen, die Undurchsichtigkeit, Skala und Schaden miteinander verbinden. Sie verbergen, wie sie funktionieren, betreffen viele Menschen und erzeugen bedeutende negative Folgen. Es geht nicht darum, jede Rechnung oder jeden Computer zu verurteilen, sondern automatisierte Entscheidungen zu untersuchen, die als technische Wahrheiten präsentiert werden und sich einer öffentlichen Debatte entziehen.

Stell dir in Deutschland einen Arbeitnehmer vor, den eine Plattform ablehnt, ohne dass er die Begründung versteht. Er hat vielleicht alle Unterlagen eingereicht und die sichtbaren Anforderungen erfüllt. Trotzdem schließt eine interne Einstufung die Tür. Das Problem beginnt, wenn der Anschein von Präzision die Pflicht ersetzt, eine Entscheidung über einen Menschen zu erklären.

2. Entscheidungen in den Berechnungen

Ein mathematisches Modell ist eine vereinfachte Darstellung der Wirklichkeit. Um es zu bauen, wählt jemand Informationen aus, legt Zusammenhänge fest und definiert ein Ziel. Diese Auswahl lässt Dinge außen vor. So wie ein Busliniennetz nicht jeden Baum der Stadt zeigt, kann eine berufliche Bewertung nicht die gesamte Fähigkeit eines Menschen abbilden.

O'Neil stellt Modelle als Meinungen dar, die in formale Verfahren eingebettet sind. Das heißt nicht, dass alle gleich viel wert sind oder bloße Vermutungen darstellen. Es heißt, dass ihre Entscheidungen sichtbar werden müssen. Eine Schule allein nach den Noten ihrer Schüler zu bewerten, bevorzugt zum Beispiel ein messbares Ergebnis und lenkt die Aufmerksamkeit von anderen Beiträgen ab.

Stell dir eine Familie vor, die ihr Budget nach dem niedrigsten Preis jedes Einkaufs plant. Die Rechnung wirkt hervorragend, bis man Fahrkosten, Zeitaufwand und Erschöpfung übersieht. Vereinfachung kann nützlich sein, hängt aber vom Zweck ab. Bevor du einer Einstufung vertraust, frage, was sie misst und was sie unsichtbar machen musste.

3. Hinweise sind keine Menschen

Viele Systeme beobachten das, was sie bewerten wollen, nicht direkt. Deshalb greifen sie auf eine Ersatzvariable zurück: einen verfügbaren Indikator, der anstelle eines schwer messbaren Merkmals verwendet wird. Die Wohnadresse kann als Annäherung an das Einkommen dienen. Der Kaufverlauf kann als Zeichen für Zuverlässigkeit oder persönliche Stabilität gelten.

Dieser Tausch verlangt Vorsicht, denn Korrelation begründet keine Kausalität. Zwei Merkmale können gemeinsam auftreten, ohne dass das eine das andere erzeugt. Weit entfernt von Arbeitszentren zu wohnen, kann mit unterbrochenen Berufswegen zusammenhängen, beweist aber keinen fehlenden Einsatz. Schlechter Nahverkehr, lange Arbeitszeiten und ungleiche Chancen müssen ebenfalls berücksichtigt werden.

Stell dir jemanden vor, der für die Arbeit zwei Busse nimmt. Ein System könnte häufige Stellenwechsel als individuelle Instabilität deuten und dabei übersehen, dass Firmen geschlossen haben oder Verträge befristet waren. Die Bewertung verwandelt Umstände in persönliche Eigenschaften. Die Kritik des Buches ist besonders deutlich, wenn diese Vereinfachung ohne Überprüfung und ohne verständliche Erklärung geschieht.

11 weitere Abschnitte in der App

In der App weiterlesen

Lies die ganze Zusammenfassung oder hör sie dir an und prüfe dich am Ende mit dem Quiz zum Buch. Die App ist kostenlos zu laden, und jeden Tag gibt es eine Gratis-Lektüre.

Über Cathy O'Neil

Cathy O'Neil ist eine US-amerikanische Mathematikerin und Autorin. Sie promovierte in Mathematik an der Harvard University. Sie lehrte am Barnard College und arbeitete beim Hedgefonds D. E. Shaw, bevor sie sich der Datenwissenschaft zuwandte. Sie gründete den Blog mathbabe, in dem sie Mathematik, Finanzen und gesellschaftliche Fragen diskutiert. Ihr Buch Angriff der Algorithmen erschien im Original 2016.