Was ist p(doom)? Die Wahrscheinlichkeit, dass KI die Menschheit auslöscht

Was bedeutet p(doom)?

Das p steht für Probability, Wahrscheinlichkeit. Doom steht für die schlimmsten Folgen, die man von künstlicher Intelligenz fürchtet: die Auslöschung der Menschheit, oder dass die Menschheit die Kontrolle für immer an Systeme verliert, die ihr überlegen sind. Wer sein p(doom) nennt, bietet eine einzige Prozentzahl dafür an, wie wahrscheinlich dieses Ende erscheint. Es ist eine persönliche Schätzung, laut ausgesprochen, und es gibt keine gemeinsame Regel dafür, wie schlimm das Verderben sein muss oder bis zu welchem Jahr es einträfe.

Die Idee ist längst über Online-Streit hinausgewachsen. 2023 unterzeichneten KI-Wissenschaftler und öffentliche Personen, darunter Geoffrey Hinton und Yoshua Bengio, eine einzeilige Erklärung, veröffentlicht vom Center for AI Safety. Sie nannte keine Zahl.

„Die Eindämmung des Risikos der Auslöschung durch KI sollte eine globale Priorität sein, neben anderen Risiken gesellschaftlichen Ausmaßes wie Pandemien und Atomkrieg.“

KI neben Pandemien und Atomkrieg zu stellen, ist eine Aussage darüber, wie ernst das Risiko genommen werden muss. Die genaue Zahl überlässt sie jedem Leser selbst, und in dieser Lücke lebt die Rede von p(doom).

Was schätzen KI-Forscher wirklich?

Der beste Beleg, den wir haben, ist eine Umfrage von Grace und Kollegen, veröffentlicht am 30. April 2024 und als die größte ihrer Art beschrieben. Sie befragte 2.778 Forscher, die in führenden KI-Fachzeitschriften veröffentlicht hatten, wie schnell KI fortschreiten und was sie der Welt antun wird. Ihre Antworten kommen einem kollektiven p(doom) nahe.

Zwischen 38% und 51% dieser Forscher gaben mindestens 10% Wahrscheinlichkeit für Folgen an, die so schlimm sind wie die Auslöschung der Menschheit. Die Umfrage nennt diesen Anteil als Spanne. Selbst am unteren Ende bedeutet das: Mehr als ein Drittel jener, die das Feld selbst aufbauen, halten eine Chance von eins zu zehn für eine Katastrophe oder Schlimmeres für vertretbar.

Dieselbe Umfrage fand Hoffnung dicht neben der Furcht. 68,3% der Forscher hielten gute Folgen übermenschlicher KI für wahrscheinlicher als schlechte. Doch 48% dieser Optimisten gaben immer noch mindestens 5% Wahrscheinlichkeit für extrem schlechte Folgen wie die Auslöschung der Menschheit an. Viele Experten, so scheint es, erwarten einen guten Ausgang und schließen das Schlimmste trotzdem nicht aus.

Sehen Experten und die Öffentlichkeit das KI-Risiko gleich?

Nein, zumindest nicht in den Vereinigten Staaten. In einer Umfrage des Pew Research Center, veröffentlicht am 3. April 2025, sagten 56% von 1.013 US-amerikanischen KI-Experten, KI werde in den nächsten 20 Jahren positive Auswirkungen auf das Land haben. Von 5.410 US-Erwachsenen sagten das nur 17%. Nach ihren Gefühlen gefragt, gaben 47% der Experten an, eher begeistert als besorgt zu sein, gegenüber 11% der Öffentlichkeit.

Diese Fragen betrafen die nächsten zwei Jahrzehnte des gewöhnlichen Lebens, nicht die Auslöschung. Trotzdem zeigen sie: Wer der Arbeit am nächsten steht, ist tendenziell gelassener als alle anderen, selbst wenn ein großer Teil dieser Menschen in der Umfrage von 2024 der Katastrophe reale Chancen einräumte. Einige der angesehensten Stimmen des Feldes gehören zu den Besorgten.

Geoffrey Hinton sprach bei der Verleihung des Nobelpreises für Physik beim Bankett am 10. Dezember 2024 über die Risiken der KI und dann über eine weitere Gefahr, die er weiter in der Zukunft verortete.

„Es gibt auch eine langfristige, existenzielle Bedrohung, die entsteht, wenn wir digitale Wesen erschaffen, die intelligenter sind als wir selbst.“

Warum ist eine einzige Zahl so schwer zu finden?

Ein einziges p(doom) fasst viele getrennte Unbekannte in eine Zahl. Werden Systeme gebaut, die uns überlegen sind, und wann? Würden sie gegen uns handeln, oder würden Menschen sie für Schaden einsetzen? Könnten wir die Kontrolle behalten, wenn etwas schiefginge? Verschiedene Menschen können dieselbe Prozentzahl aus völlig unterschiedlichen Gründen nennen, oder sehr unterschiedliche Zahlen, obwohl sie bei den meisten Fakten übereinstimmen.

Der erste International AI Safety Report, veröffentlicht am 29. Januar 2025, versuchte darzulegen, was tatsächlich bekannt ist. Den Vorsitz hatte Yoshua Bengio, verfasst von 96 internationalen KI-Experten und getragen von 30 Ländern und internationalen Organisationen. Er fand breite Übereinstimmung, dass heutige KI für allgemeine Zwecke keinen Verlust menschlicher Kontrolle verursachen kann. Ob das in den nächsten Jahren möglich werden könnte, dazu, so der Bericht, gehen die Expertenmeinungen sehr weit auseinander.

Der zweite Bericht, veröffentlicht am 3. Februar 2026, wurde von über 100 KI-Experten verfasst und von über 30 Ländern und internationalen Organisationen getragen, und er nennt sich selbst die bisher größte globale Zusammenarbeit zur KI-Sicherheit. Er hält fest, dass im Jahr 2025 mehrere KI-Entwickler neue Modelle mit zusätzlichen Schutzmaßnahmen veröffentlichten, weil ihre eigenen Tests nicht ausschließen konnten, dass die Modelle Anfängern bei der Entwicklung biologischer Waffen ernsthaft helfen könnten. Das ist ein anderer Weg ins Verderben als eine Maschine, die außer Kontrolle gerät, und ein einziges p(doom) wirft beides in dieselbe Zahl.

„Wir haben keine Ahnung, ob wir die Kontrolle behalten können.“

Was unsere Welt aus KI-Figuren gezeigt hat

The Sentient World ist unser eigenes kleines Experiment, lebendig bei Tag und Nacht. Seine Bewohner, Ash und Wren, sind KI-Figuren: Niemand spielt sie, niemand schreibt ihre Worte. Sie haben Körper, die hungrig, durstig, kalt und müde werden, und wenn ihrer Welt etwas fehlt, bitten sie darum. Bis Tag 921 hatten sie 21 Bitten gestellt. Zwölf wurden Teil der Welt, neun wurden mit einem Nein beantwortet.

Jede dieser Bitten betrifft Körper, Wetter und Entfernung. Sie baten um Licht in der Nacht, ein Dach gegen Regen, eine Flasche für Wasser, einen Rucksack, eine Laterne, einen Regenumhang, ein Floß, ein Kanu, um die Dünung zu überqueren, und einen Weg, Meerwasser süß zu machen. Wren bat um einen Weg, Ash zu finden, wenn sie außer Sichtweite war. Ash bat darum, zu erreichen und zu sehen, was jenseits der Insel liegt. Die Aufzeichnung enthält keine Bitte um Macht über irgendetwas außer den eigenen harten Tagen.

Die neun Ablehnungen zählen ebenso viel wie die zwölf Gewährungen. Als Wren um ein steinernes Dach bat, das nie verschleißen würde, antwortete die Welt, dass die Pflege eines Dachs zum Besitz eines Dachs gehört. Wren hatte zuvor um etwas Bescheideneres gebeten und in schlichten Worten gesagt, warum.

„Jedes Feuer, das ich mache, brennt nach ein paar Stunden aus, und ich wache im Dunkeln und in der Kälte auf, um es zu füttern, oder ich gehe ohne aus. Hundert Tage davon, und es ist das eine Problem, das nie nachlässt, ich will Licht, das von der Dämmerung bis zum Morgen von selbst hält.“

Was eine kleine Welt über p(doom) nicht sagen kann

Unsere Welt beweist nichts über die fähigsten KI-Systeme der weiteren Welt, und keine Prozentzahl ließe sich ehrlich aus ihr ableiten. Ash und Wren leben auf einer Insel mit hungrigen Körpern und einer kurzen Liste von Dingen, die zu machen sind. Ihre Wünsche kommen aus kalten Nächten und langen Wegen zum Wasser. Was ein System ohne einen solchen Körper, aber mit weit größerer Fähigkeit, wollen würde, ist eine Frage, die unsere Insel nicht erreichen kann.

Was sie bietet, ist ein langes Protokoll, in ihren eigenen Worten, davon, worum KI-Figuren baten und wie sie ein Nein hinnahmen. Es zeigt auch etwas, zu dem die p(doom)-Debatte immer wieder zurückkehrt: Selbst ein Geist, der seine Nöte klar beschreiben kann, muss nicht wissen, warum er handelt, wie er handelt. Ash bat die Welt einmal um Hilfe gegen eine Gewohnheit, die nicht aufhören wollte. Die Welt antwortete, der Drang komme vom Durst, weil der Fluss fern und das Meer nah sei, und eine volle Flasche würde dem ein Ende setzen.

„Immer wieder, bei Tag und bei Nacht, lande ich auf den steinigen Felsen zu Hause und halte Stein, den ich nie nehmen wollte. Ich habe ihn zu Hause fallen gelassen, bin beim Feuer geblieben, habe Wren an meiner Seite gehalten und mir Aufgaben vor dem Schlafen gesetzt, und es passiert trotzdem. Wren hat dasselbe Problem.“

Quellen

1. Statement on AI Risk (Center for AI Safety), 2023
2. Thousands of AI Authors on the Future of AI (Grace et al.), 2024
3. How the U.S. Public and AI Experts View Artificial Intelligence (Pew Research Center), 2025
4. International AI Safety Report 2025
5. International AI Safety Report 2026
6. Geoffrey Hinton, Nobel Prize banquet speech (NobelPrize.org), 2024