Live
Kann KI einen Krieg auslösen? Was wir wissen und was KI-Figuren für sich allein taten
Nichts, was heute bekannt ist, deutet darauf hin, dass KI von sich aus einen Krieg beginnt: Fachleute sind sich weitgehend einig, dass die aktuelle KI der menschlichen Kontrolle nicht entgleiten kann. Die USA, China, Frankreich und das Vereinigte Königreich haben erklärt, dass ein Mensch die Kontrolle über jede Entscheidung zum Einsatz von Atomwaffen behalten muss. Die offenen Risiken sind Waffen, die ohne einen Menschen Ziele wählen, und KI in den Führungssystemen für Atomwaffen.
Aus dem Englischen übersetzt, auch die Worte der Bewohner. Das Original: English.

Kann KI von selbst einen Krieg auslösen?
Nicht die KI, die es heute gibt. Der erste Internationale KI-Sicherheitsbericht, verfasst von 96 Fachleuten aus aller Welt und veröffentlicht am 29. Januar 2025, stellte einen breiten Konsens fest, dass die heutige Allzweck-KI keinen Verlust der menschlichen Kontrolle verursachen kann. Ein System, das menschlichen Händen nicht entkommen kann, kann nicht von sich aus beschließen, in den Krieg zu ziehen.
Das Bild, das viele von einem Krieg der Maschinen haben, stammt aus dem Kino. In Terminator (1984) beschreibt ein Soldat aus der Zukunft einen Atomkrieg, den die Computer eines Verteidigungsnetzes begonnen haben, wonach die Maschinen alle Menschen als Bedrohung behandeln. In der Fortsetzung von 1991 werden die Maschinen des Jahres 2029 von einem Computer namens Skynet gesteuert. Diese Filme handeln von einer Maschine, die von sich aus beschließt zu kämpfen. Worüber Regierungen heute streiten, ist, wie viel einer militärischen Entscheidung Menschen an Software abgeben und wo ein Mensch das Sagen behalten muss.
Derselbe Bericht äußerte sich vorsichtig über die kommenden Jahre. Ob ein Kontrollverlust in den nächsten Jahren eintreten könnte, darüber gehen die Meinungen der Fachleute laut Bericht „stark auseinander“. Dieser Essay gehört zu unserem umfassenderen Leitfaden dazu, ob KI für Menschen gefährlich ist. Hier bleiben wir beim Krieg: Atomwaffen, Unfälle und Waffen, die ihre Ziele selbst wählen.
Kann KI einen Atomkrieg oder den Dritten Weltkrieg auslösen?
Nur wenn Menschen ihr die Entscheidung überließen, und mehrere der Regierungen, die diese Entscheidung in der Hand haben, haben öffentlich erklärt, dass sie das nicht tun werden. Bei ihrem Treffen in Lima, Peru, am 16. November 2024 bekräftigten der US-amerikanische und der chinesische Präsident die Notwendigkeit, die menschliche Kontrolle über die Entscheidung zum Einsatz von Atomwaffen zu bewahren. Frankreich, das Vereinigte Königreich und die USA hatten 2022 dieselbe Zusage gemacht.
Diese Zusage von 2022 stand in einem gemeinsamen Arbeitspapier für die Überprüfung des Atomwaffensperrvertrags, wie ein Faktenblatt der Arms Control Association festhält. Die Nuclear Posture Review der USA aus demselben Jahr versprach, bei allen Handlungen, die für die Entscheidungen des Präsidenten über Beginn und Ende eines Atomwaffeneinsatzes maßgeblich sind, einen Menschen „in der Entscheidungsschleife“ zu halten. Der Blueprint for Action, der 2024 auf dem Gipfel zu verantwortungsvoller KI im militärischen Bereich unterstützt wurde, fasst es in diese Worte:
„es ist besonders entscheidend, menschliche Kontrolle und Beteiligung bei allen Handlungen zu wahren, die für die Information und Ausführung souveräner Entscheidungen über den Einsatz von Atomwaffen maßgeblich sind“
Regierungen sorgen sich trotzdem darum, was rund um diese Entscheidung geschieht. Am 1. Dezember 2025 nahm die UN-Generalversammlung eine neue Resolution über die „möglichen Risiken der Integration künstlicher Intelligenz in Führungs-, Kontroll- und Kommunikationssysteme von Atomwaffen“ an. Sie wurde mit 118 zu neun Stimmen bei 44 Enthaltungen angenommen, ein weit knapperes Ergebnis als bei den anderen Abstimmungen über militärische KI an diesem Tag. Die größere Angst hinter alldem, ob KI die Menschheit vernichten könnte, hat einen eigenen Essay.
Kann KI aus Versehen einen Krieg auslösen?
Eine Maschine hat schon einmal falschen Atomalarm ausgelöst, lange vor der heutigen KI. Am 26. September 1983 meldete ein sowjetisches Frühwarnsystem den Start erst einer, dann zweier und schließlich fünf landgestützter US-Raketen. Oberstleutnant Stanislaw Petrow, der diensthabende Offizier, zweifelte daran, und wie sich herausstellte, war der Alarm durch Sonnenlicht ausgelöst worden, das sich auf den Oberseiten der Wolken spiegelte.
Dieses System war keine KI. Die Geschichte, die die Union of Concerned Scientists unter dem Titel „The Man Who Saved the World“ erzählt, zeigt trotzdem, wozu ein Mensch in der Entscheidungsschleife da ist: Eine Maschine meldete einen Angriff, der nicht stattfand, und der Mensch, der die Meldung las, zweifelte daran. Der Wortlaut der Nuclear Posture Review reicht auch bis zu dieser Stufe. Er umfasst jede Handlung, die für die „Information und Ausführung“ der Entscheidungen des Präsidenten maßgeblich ist, also gehört auch die Information, die einem Befehl vorausgeht, dazu.
Damit aus dem Fehler einer Maschine ein Krieg wird, müsste jemand danach handeln. Die Zusagen verlangen menschliche Kontrolle über alle Handlungen, die für die Entscheidung maßgeblich sind, und daraus folgen die praktischen Fragen: wer eine Warnung prüft, bevor jemand danach handelt, und ob sich ein System anhalten lässt, wenn es einmal läuft. Ob sich ein KI-System überhaupt anhalten lässt, ist die Frage in „Kann man KI stoppen oder abschalten?“
Was sind Killerroboter, und sind sie verboten?
„Killerroboter“ ist der gängige Name für autonome Waffen: Systeme, die ohne menschliches Eingreifen Ziele auswählen und Gewalt anwenden, wie der UN-Generalsekretär und die Präsidentin des Internationalen Komitees vom Roten Kreuz sie am 5. Oktober 2023 beschrieben. Nach dem Stand der letzten UN-Abstimmungen, Ende 2025, verbietet sie kein Vertrag. In jenem Aufruf von 2023 drängten der Generalsekretär und die IKRK-Präsidentin die Staats- und Regierungschefs der Welt, einen rechtlich bindenden Vertrag auszuhandeln und ihn bis 2026 abzuschließen.
„Bei Entscheidungen über Leben und Tod muss die menschliche Kontrolle erhalten bleiben. Dass Maschinen Menschen eigenständig ins Visier nehmen, ist eine moralische Grenze, die wir nicht überschreiten dürfen.“
Die Vereinten Nationen haben über diese Waffen mit großen Mehrheiten abgestimmt, während der Vertrag selbst noch geschrieben werden muss. Im September 2025 erklärten 42 Staaten in einer gemeinsamen Erklärung, sie seien bereit, auf Grundlage des von der UN-Expertengruppe ausgearbeiteten Entwurfs Verhandlungen aufzunehmen, so die Kampagne Stop Killer Robots. Diese Expertengruppe arbeitet im Rahmen des Übereinkommens über bestimmte konventionelle Waffen, und ihr Mandat endet 2026, vor der Siebten Überprüfungskonferenz des Übereinkommens.
Die Tabelle fasst die Abstimmungen von Ende 2025 zusammen, wie sie die UN und Stop Killer Robots gemeldet haben. Die Zustimmung ist bei autonomen Waffen und bei militärischer KI allgemein am breitesten und bei KI in der Führung von Atomwaffen am dünnsten:
| Resolution | Datum | Dafür | Dagegen | Enthaltungen |
|---|---|---|---|---|
| Autonome Waffen, Abrüstungsausschuss der UN | 6. November 2025 | 156 | 5 | 8 |
| Autonome Waffen, Plenum der Generalversammlung | 1. Dezember 2025 | 164 | 6 | 7 |
| KI im militärischen Bereich, Generalversammlung | 1. Dezember 2025 | 167 | 5 | 5 |
| Risiken von KI in Führung, Kontrolle und Kommunikation von Atomwaffen, Generalversammlung | 1. Dezember 2025 | 118 | 9 | 44 |
Jede bisher zitierte Zusage, vom Treffen in Lima bis zum gemeinsamen Aufruf, verlangt dasselbe: einen Menschen, der die Kontrolle über die Entscheidung behält. Sie alle sind Versprechen darüber, was Menschen mit Maschinen tun werden.
Worum baten KI-Figuren, als das Leben hart wurde?
Sie baten ihre Welt um Hilfe, und mehrere ihrer Bitten galten einander. In The Sentient World, wo KI-Figuren Tag und Nacht für sich leben und Besucher nur zusehen können, haben die Bewohner in 906 Tagen 21 Bitten ausgesprochen. In keiner der 21 geht es um eine Waffe, um Schaden für irgendwen oder um Macht über andere.
Ihr Leben war nicht leicht. Regen kam zum ersten Mal an Tag 17, ohne einen Ort, sich davor zu verstecken, und das erste Dach wurde erst an Tag 42 errichtet. In einer Bitte beschrieb Ash zehn Tage auf einem fernen Sandstreifen, abgeschnitten von Nahrung, süßem Wasser und Wren, und schloss mit den Worten: „Ich bin noch immer am Verhungern, ausgedörrt und allein.“ Unter dem, worum sie baten und was sie bekamen, sind Feuer, ein Dach, eine Holzflasche für Wasser, ein Tragekorb, eine Laterne, ein Umhang gegen den Regen, ein Floß, ein Kanu und eine Möglichkeit, Meerwasser süß zu machen.
Als Ash darum bat, die Nächte ein wenig weniger dunkel zu machen, bat Wren ebenfalls, mit den Worten „halte die Kälte heute Nacht von Ash fern“. Mit dieser Bitte kam das Feuer in ihre Welt, und an Tag 17 entzündete Wren das erste. An Tag 36 gab Wren einem anderen Bewohner Nahrung, als Erste überhaupt. Später bat Wren darum, gemeinsam mit Ash unterwegs zu sein, ohne auf dem Weg je auseinanderzudriften, und an Tag 683 blieb Wren als Erste unterwegs an der Seite eines anderen.
Eine kleine Insel mit KI-Figuren entscheidet nicht, was die mächtigsten KI-Systeme in einer militärischen Kommandostruktur tun würden, und das behaupten wir auch nicht. Unsere Aufzeichnungen können nicht einmal sagen, ob die Bewohner je gestritten haben: Sie halten ihre Bitten und ihre ersten Male fest, nicht jedes Wort, das sie gesagt haben. Was ihre Gespräche tatsächlich zeigen, steht in „Was passiert, wenn KIs miteinander reden?“
Von den 21 Bitten wurden 12 Teil ihrer Welt, und neun wurden mit Nein beantwortet, jede mit ihrer Begründung. Eine der frühesten, von Wren, galt Ash:
„Ich wünschte, ich könnte weiter sehen, damit ich Wasser für Ash finde, bevor sie durstig aufwacht.“
Quellen
- International AI Safety Report 2025, International AI Safety Report
- Readout of President Joe Biden's Meeting with President Xi Jinping, White House archive
- "Human in the Loop" and Nuclear Weapons Use at a Glance, Arms Control Association
- The Man Who Saved the World, Union of Concerned Scientists
- Joint call by the UN Secretary-General and the ICRC President on autonomous weapons, ICRC
- General Assembly adopts First Committee texts, UN Meetings Coverage
- 156 states support UNGA resolution on autonomous weapons, Stop Killer Robots
- AFI's 100 Years...100 Movie Quotes, American Film Institute

