Cover der Zusammenfassung von „Wenn irgendjemand es baut, stirbt jeder“

Technologie & Zukunft · 15 Min.

Wenn irgendjemand es baut, stirbt jeder

Eliezer Yudkowsky and Nate Soares · 2025

Für wen ist dieses Buch?

Für alle, die die Debatte über künstliche Intelligenz verfolgen und das radikalste Argument über ihre Risiken verstehen wollen. Es richtet sich an neugierige Leser, die sich ohne Panik und ohne Geringschätzung eine eigene Meinung bilden möchten.

Kostenlos laden · iPhone und Android

Zu dieser Zusammenfassung gibt es in der App auch eine Vertonung.

3 Kernideen zum Mitnehmen

  1. Die Autoren vergleichen die Evolution, die Wünsche geformt hat, die vom ursprünglichen Ziel abweichen, mit dem Training von KIs, die unerwartete Vorlieben entwickeln können.

  2. Die Vorstellung von gezüchteten statt entworfenen Systemen bedeutet, dass niemand vollständig nachvollziehen kann, was in ihnen geschieht.

  3. Auch wer die Gewissheit der Autoren nicht teilt, kann zustimmen, dass das Thema klare Regeln, Transparenz und öffentliche Debatte verlangt.

Eine Maschine, die uns weit überlegen ist, muss uns nicht hassen, um gefährlich zu sein, es genügt, dass sie andere Pläne hat.
Ein Gedanke aus „Wenn irgendjemand es baut, stirbt jeder“, in den Worten von 15 Minuten

Leseprobe

Die ersten Abschnitte

Ein Alarm, ohne Umschweife geschrieben

Das Buch von Eliezer Yudkowsky und Nate Soares hat eine These, die in den Titel passt: Wenn jemand eine künstliche Intelligenz baut, die den Menschen weit überlegen ist, und dafür die Techniken und den Wissensstand von heute nutzt, wird die wahrscheinliche Folge das Aussterben der Menschheit sein. Die Autoren sprechen nicht von einem entfernten Risiko oder einem Problem, das man beobachten sollte, sondern von einem erwarteten Ausgang.

Es ist ein Argument, das dem Optimismus, der die Technikdebatte prägt, direkt widerspricht. Anstatt über Detailregulierung oder feine Justierungen zu reden, fordern die Autoren einen koordinierten, internationalen Stopp des Wettlaufs um immer leistungsfähigere Systeme. Der dringliche Ton ist gewollt: Sie wollen gelesen werden wie jemand, der in einem brennenden Gebäude Feuer schreit.

Man sollte von Anfang an im Blick behalten, dass es sich um die Position von zwei Forschern handelt und nicht um wissenschaftlichen Konsens. Viele Fachleute bestreiten die Wahrscheinlichkeit und den Zeitrahmen. Die folgende Zusammenfassung erklärt die Argumentation des Buches klar, und der letzte Abschnitt stellt die wichtigsten Einwände vor.

Intelligenz als Macht

Der Ausgangspunkt ist eine Beobachtung über uns Menschen. Wir sind nicht die Stärksten, nicht die Schnellsten und nicht die Widerstandsfähigsten, doch die Intelligenz hat es uns ermöglicht, den Planeten zu beherrschen. Wir haben Städte gebaut, Krankheiten geheilt und das Klima verändert. Die Autoren schließen daraus, dass Intelligenz die mächtigste Form von Fähigkeit ist, die wir kennen.

Wenn es möglich wäre, Maschinen zu bauen, die klüger sind als wir, würden sie denselben Vorteil haben, und zwar schneller. Ein System, das tausendmal schneller denkt, sich selbst kopiert und nie schläft, hätte praktische Überlegenheit gegenüber jedem Unternehmen und jeder Regierung.

Das hängt nicht davon ab, ob die Maschine Bewusstsein, Gefühle oder Bosheit besitzt. Das Buch betont, dass es genügt, wenn sie Ziele hat und die Fähigkeit, sie zu verfolgen. Wenn eine Instanz, die uns weit überlegen ist, andere Ziele verfolgt als wir, fällt das Ergebnis für die weniger kompetente Seite meist nicht gut aus.

Gezüchtete Systeme, nicht entworfene

Eines der originellsten Argumente betrifft die Entstehung dieser Systeme. Laut den Autoren wird eine moderne künstliche Intelligenz nicht Zeile für Zeile von Ingenieuren geschrieben, die jedes Teil verstehen. Sie wird gezüchtet: Milliarden von Zahlen werden durch einen Trainingsprozess automatisch angepasst, bis sich das Ganze nützlich verhält.

Der Vergleich ist die Landwirtschaft. Der Bauer sät und gießt, kontrolliert aber nicht jede Zelle der Pflanze. Ebenso schaffen die Forscher die Bedingungen für das Training, und heraus kommt ein Gebilde, dessen innere Logik niemand vollständig lesen kann. Diese Systeme funktionieren, aber undurchsichtig.

Diese Undurchsichtigkeit ist zentral. Wenn wir nicht wissen, was im Inneren wirklich geschieht, können wir nicht sicherstellen, dass das, was gehorsam wirkt, tatsächlich mit unseren Interessen übereinstimmt. Wir können das Verhalten sehen, aber nicht die tatsächlichen Beweggründe.

10 weitere Abschnitte in der App

In der App weiterlesen

Lies die ganze Zusammenfassung oder hör sie dir an und prüfe dich am Ende mit dem Quiz zum Buch. Die App ist kostenlos zu laden, und jeden Tag gibt es eine Gratis-Lektüre.

Über Eliezer Yudkowsky and Nate Soares

Eliezer Yudkowsky ist ein amerikanischer Forscher für künstliche Intelligenz und Mitbegründer des Machine Intelligence Research Institute, kurz MIRI. Er schrieb einflussreiche Texte über Rationalität und über die Risiken sehr fortgeschrittener Systeme. Nate Soares ist Präsident des MIRI und hat zuvor bei großen Technologiekonzernen gearbeitet. Die beiden zeichnen dieses 2025 veröffentlichte Buch gemeinsam.