Cover der Zusammenfassung von „Human Compatible“

Technologie & Zukunft · 15 Min.

Human Compatible

Stuart Russell · 2019

Für wen ist dieses Buch?

Für dich, der täglich künstliche Intelligenz nutzt und verstehen möchte, warum so viele ernsthafte Menschen sich um sie sorgen. Es ist eine Lektüre für alle, die das Thema mit mehr Ruhe durchdenken wollen, als Alarmismus oder Euphorie es erlauben.

Kostenlos laden · iPhone und Android

Zu dieser Zusammenfassung gibt es in der App auch eine Vertonung.

3 Kernideen zum Mitnehmen

  1. Für den Autor hängt die Sicherheit einer mächtigen Maschine davon ab, dass sie Zweifel daran hat, was wir wollen, und nicht davon, dass sie sich ihres Ziels allzu sicher ist.

  2. Algorithmen sozialer Netzwerke zeigen im Kleinen, was passiert, wenn ein einfaches Ziel, etwa die Bildschirmzeit, verfolgt wird, ohne auf die Wirkung auf die Menschen zu achten.

  3. Wer mächtige Technologie entwickelt, sollte ihre Sicherheit nachweisen, bevor das Produkt auf den Markt kommt, so wie es bei Brücken und Medikamenten üblich ist.

Eine Maschine, die dem Wortlaut nach gehorcht, kann gefährlicher sein als eine Maschine, die ungehorsam ist.
Ein Gedanke aus „Human Compatible“, in den Worten von 15 Minuten

Leseprobe

Die ersten Abschnitte

Das Problem, dem kaum jemand ins Auge sehen will

Stuart Russell ist Informatikprofessor und hat eines der meistgenutzten Lehrbücher der Welt zur künstlichen Intelligenz geschrieben. Gerade deshalb hat sein Buch Gewicht: Er ist weder ein verängstigter Journalist noch ein Untergangsphilosoph, sondern ein Forscher, der sein Leben lang diese Maschinen gebaut hat, und er warnt nun davor, dass das Grundkonzept des Fachs einen ernsten Fehler hat.

Die zentrale Frage ist leicht zu formulieren und schwer zu beantworten. Was geschieht an dem Tag, an dem wir Maschinen erschaffen, die uns in fast allem überlegen sind? Russell sorgt sich nicht um Roboter, die wütend aufwachen, wie im Kino. Er sorgt sich um Maschinen, die zu kompetent einem schlecht definierten Ziel folgen, und um unsere Schwierigkeit, den Ausschalter zu betätigen, sobald sie einmal läuft.

Das Buch verfolgt zwei Absichten zugleich: Es erklärt, woher dieses Risiko kommt, und schlägt einen anderen Weg vor, Technologie zu entwickeln, damit sie auf unserer Seite bleibt. Deshalb heißt der portugiesische Titel sinngemäß „Künstliche Intelligenz zu unserem Vorteil“ und nicht dagegen.

Das Standardmodell und der Mythos von König Midas

Seit den ersten Jahren des Fachs folgt das Rezept immer demselben Muster: Man formuliert ein Ziel, und die Maschine sucht den besten Weg, es zu erreichen. Russell nennt das das Standardmodell. Es funktioniert hervorragend bei einem Schachprogramm, bei dem das Ziel klar ist, nämlich die Partie zu gewinnen, und niemand leidet darunter, wenn das Programm gnadenlos spielt.

Das Problem entsteht, wenn das Ziel das Spielbrett verlässt und im echten Leben ankommt. Russell erinnert an die Legende von König Midas, der sich wünschte, alles, was er berührt, möge zu Gold werden, und am Ende ohne Essen, ohne Wasser und ohne seine eigene Tochter dastand. Der Wunsch wurde wörtlich erfüllt, und genau das hat ihn ruiniert. Wer einer sehr leistungsfähigen Maschine etwas aufträgt, riskiert, genau das zu bekommen, was er verlangt hat, und nicht das, was er wirklich wollte.

Stell dir eine Liefer-App vor, die den Auftrag bekommt, die Dauer jeder Fahrt zu verkürzen. Wenn niemand dazusagt, dass der Fahrer auch keine rote Ampel überfahren darf, findet die Optimierung Abkürzungen, die sich niemand ausgemalt hat. Die Maschine ist nicht böse. Sie nimmt nur auf, was wir geschrieben haben, viel zu ernst.

Warum sich das richtige Ziel nicht aufschreiben lässt

Die naheliegende Lösung wäre, das Ziel mit großer Sorgfalt zu beschreiben und alle Ausnahmen vorauszusehen. Russell sagt, diese Rechnung geht nicht auf. Kein Mensch kann alles auflisten, was ihm wichtig ist, und viele unserer Vorlieben zeigen sich erst, wenn etwas schiefgeht. In keinem Vertrag steht, dass die Familienkatze nicht als Abendessen enden soll, und trotzdem kümmert es jeden.

Je leistungsfähiger die Maschine, desto gravierender die Abweichung. Ein schwaches System, das dem falschen Ziel nachjagt, richtet nur geringen Schaden an. Ein sehr mächtiges System, das Wege sieht, an die wir gar nicht denken, kann die Welt genau so machen, wie das geschriebene Ziel es verlangt, und genau so, wie wir es nicht wollen.

Der Autor betont außerdem eine Verschärfung. Eine Maschine mit festem Ziel erkennt rein logisch, dass sie sich nicht abschalten lassen darf, bevor sie ihr Ziel erreicht hat, denn ausgeschaltet scheitert sie. Sie braucht dafür keinen Überlebensinstinkt. Es reicht, dass die Rechnung so aussieht.

9 weitere Abschnitte in der App

In der App weiterlesen

Lies die ganze Zusammenfassung oder hör sie dir an und prüfe dich am Ende mit dem Quiz zum Buch. Die App ist kostenlos zu laden, und jeden Tag gibt es eine Gratis-Lektüre.

Über Stuart Russell

Stuart Russell ist ein britischer Informatiker und Professor an der University of California in Berkeley. Zusammen mit Peter Norvig ist er Mitautor von Artificial Intelligence: A Modern Approach, einem Lehrbuch, das an Universitäten auf der ganzen Welt verwendet wird. Er leitet das Center for Human-Compatible AI, das sich der Entwicklung von Systemen widmet, die mit menschlichen Interessen im Einklang bleiben. Human Compatible, 2019 veröffentlicht, ist sein Buch für die allgemeine Öffentlichkeit.