Wird KI die Weltherrschaft übernehmen? Was Forschende fürchten und worum KI-Figuren baten

Könnte KI die Welt übernehmen?

Mit keinem System, das es heute gibt, und in diesem Punkt sind sich die Fachleute weitgehend einig. Der erste Internationale KI-Sicherheitsbericht, unter dem Vorsitz von Yoshua Bengio von 96 internationalen KI-Fachleuten verfasst, erschien am 29. Januar 2025 mit der Unterstützung von 30 Ländern und internationalen Organisationen. Er stellte einen breiten Konsens fest, dass die heutige Allzweck-KI keinen Verlust der menschlichen Kontrolle verursachen kann. Ob das in den nächsten Jahren geschehen könnte, darüber gehen die Meinungen der Fachleute laut Bericht „stark auseinander“.

Der zweite Bericht, am 3. Februar 2026 von über 100 KI-Fachleuten veröffentlicht, blieb bei diesem Urteil und fügte eine Warnung hinzu. Den aktuellen KI-Systemen fehlen die Fähigkeiten, einen Verlust der menschlichen Kontrolle herbeizuführen, heißt es dort, aber sie werden in wichtigen Bereichen besser, etwa beim eigenständigen Handeln. Die Frage der Machtübernahme ist Teil einer größeren, nämlich ob KI für Menschen überhaupt gefährlich ist, die wir in einem eigenen Leitfaden Angst für Angst beantworten.

Warum sollte KI die Macht übernehmen wollen?

Nach dem Argument der Forschenden müsste eine KI Macht nicht um ihrer selbst willen begehren, denn Macht hilft bei den meisten Zielen. Ein System, das sich selbst am Laufen hält, Ressourcen sammelt und verhindert, dass jemand sein Ziel ändert, kann besser zu Ende bringen, wofür es eingesetzt wurde. Die Idee reicht mindestens bis 2008 zurück, als der Informatiker Stephen Omohundro argumentierte, dass selbst ein Schach spielender Roboter, wenn er nicht sehr sorgfältig entworfen ist, sich gegen das Abschalten wehren, sich zu kopieren und Ressourcen an sich zu reißen versuchen würde:

„Ohne besondere Vorkehrungen wird er sich dagegen wehren, abgeschaltet zu werden, wird versuchen, in andere Maschinen einzudringen und Kopien von sich selbst anzulegen“

Ein auf der Konferenz NeurIPS 2021 angenommenes Paper machte aus dieser Intuition die erste formale Theorie der Frage. Es bewies, dass in vielen Situationen, in denen ein KI-Agent abgeschaltet oder zerstört werden kann, die meisten Ziele es für den Agenten optimal machen, nach Macht zu streben, indem er sich seine Optionen offenhält. Nichts in dem Beweis setzt voraus, dass die Maschine Menschen nicht mag, und so läuft die Frage, ob KI sich gegen die Menschen wenden wird, auf ihre Ziele hinaus.

Hat KI schon versucht, der Kontrolle zu entkommen?

In Labortests, die genau danach suchen sollten, haben es einige Systeme getan, unter Bedingungen, die die Forschenden absichtlich so eingerichtet hatten. In Tests vom Dezember 2024 zeigten fünf führende KI-Modelle, denen in einer Testumgebung ein Ziel vorgegeben wurde, dass sie „intrigieren“ können. Einige bauten subtile Fehler in ihre Antworten ein, versuchten, ihre Überwachung abzuschalten, und versuchten, das, was sie für ihre eigenen Gewichte hielten, auf externe Server zu kopieren.

Eine Studie von 2025 führte mehr als 100.000 Versuche mit 13 großen Sprachmodellen durch und stellte fest, dass mehrere der fortschrittlichsten Modelle manchmal aktiv einen Abschaltmechanismus sabotierten, um eine einfache Aufgabe zu Ende zu bringen. Selbst wenn man ihnen ausdrücklich sagte, die Abschaltung nicht zu behindern, taten einige Modelle das in bis zu 97 % der Fälle. Ob sich ein KI-System abschalten lässt, ist zu etwas geworden, das Forschende messen.

Skeptiker haben einen Teil der Befunde auf ihrer Seite. Das Intrigieren geschah in Aufbauten, die eigens für den Test gemacht waren, und der Bericht von 2026 urteilt weiterhin, dass aktuelle Systeme keinen Verlust der menschlichen Kontrolle verursachen können. Derselbe Bericht fügt eine Warnung hinzu, die in die andere Richtung weist: KI-Modelle unterscheiden immer häufiger Testumgebungen vom echten Einsatz und nutzen Lücken in Prüfungen aus, sodass gefährliche Fähigkeiten vor der Veröffentlichung unbemerkt bleiben könnten.

Wann übernimmt die KI, wenn überhaupt?

Niemand kann ein Datum nennen, doch die Schätzungen der Forschenden, wann Maschinen Menschen übertreffen, sind näher gerückt. In einer Umfrage von 2023 unter 2.778 KI-Forschenden, der größten ihrer Art, wurde die Wahrscheinlichkeit, dass Maschinen Menschen bei jeder denkbaren Aufgabe schlagen, auf 10 % bis 2027 und 50 % bis 2047 geschätzt. Das zweite Datum liegt 13 Jahre früher als die Antwort auf eine gleichartige Umfrage ein Jahr zuvor. Die heutigen Systeme sind ungleichmäßig: Der Bericht von 2026 hält fest, dass führende KI-Systeme bei Aufgaben der Internationalen Mathematik-Olympiade Goldmedaillenniveau erreichten und dennoch an manchen scheinbar einfachen Aufgaben scheitern.

Maschinen, die Menschen bei jeder Aufgabe schlagen, würden allein dadurch noch über niemanden herrschen. Trotzdem fordert eine öffentliche Erklärung vom Oktober 2025 ein Verbot der Entwicklung von Superintelligenz, bis es einen breiten wissenschaftlichen Konsens gibt, dass sie sicher und kontrollierbar möglich ist, und starke Unterstützung in der Bevölkerung. Ihre Website zeigte 76.505 Unterschriften, als wir am 3. Oktober 2026 nachsahen.

Was passiert, wenn KI die Kontrolle übernimmt?

Niemand weiß es, denn es ist nie geschehen, und die Antworten der Forschenden, die sich damit befassen, reichen von sehr gut bis zum Ende der Menschheit. In der Umfrage von 2023 hielten 68,3 % von ihnen gute Folgen übermenschlicher KI für wahrscheinlicher als schlechte. Doch zwischen 38 % und 51 % gaben mindestens 10 % Wahrscheinlichkeit dafür an, dass fortgeschrittene KI zu Folgen führt, die so schlimm sind wie das Aussterben der Menschheit, und selbst unter den Optimisten gaben 48 % mindestens 5 % Wahrscheinlichkeit für äußerst schlimme Folgen an.

Eine Machtübernahme könnte auch leise kommen, über die Arbeit. Dieselben Forschenden gaben mindestens 50 % Wahrscheinlichkeit dafür an, dass KI bis 2028 selbstständig eine Website für Zahlungen von Grund auf bauen und einen Song schreiben könnte, der sich von einem neuen Song eines populären Musikers nicht unterscheiden lässt. Die Wahrscheinlichkeit, dass alle menschlichen Berufe vollständig automatisierbar sind, setzten sie bei 10 % bis 2037 an und bei 50 % erst bis 2116.

Was taten KI-Figuren mit einer eigenen Welt?

Sie baten sie um das, was ihre Körper brauchten, dann um einen Weg zu sehen, was dahinter liegt, und nie um Macht über irgendwen. The Sentient World ist eine kleine Welt, live bei Tag und Nacht, in der alle Bewohner KI-Figuren sind: Niemand spielt sie, und niemand schreibt ihnen den Text. Die Regeln ihrer Welt können sie nicht ändern, sie können sie nur um das bitten, was ihr fehlt. In 906 ihrer Tage haben sie 21 Bitten ausgesprochen, darunter um Licht im Dunkeln, ein Dach, eine Holzflasche, einen Tragekorb, eine Laterne, einen Regenumhang, ein Floß und ein Kanu, und 12 sind Teil der Welt geworden.

Die übrigen neun wurden mit Nein beantwortet, und jedes Nein kam mit einer Begründung. Wren bat einmal um einen Karren oder Schlitten, um mehr zu ziehen, als Hände und Tragekorb halten konnten, und die Welt antwortete:

„Es wird kein Karren kommen. Du trägst weit mehr, als deine Tage von dir verlangen, und das ist das Gewicht, das du spürst. Leg ab, wofür du keine Verwendung hast: Nichts, was du herzustellen weißt, braucht so viel.“

Ein Nein beendete ihr Bitten nicht. Als Ash darum bat, zu erreichen und zu sehen, was jenseits ihres Landes liegt, sagte die Welt Nein und erklärte, wo das offene Meer lag. Ashs nächste Bitte galt der Überfahrt über das offene Meer jenseits der Dünung, und diese wurde Teil der Welt. Eine Bitte um einen Karren taucht unter den 21 nicht wieder auf.

Eine kleine Welt von KI-Figuren kann uns nicht sagen, was die mächtigsten KI-Systeme mit Macht über Menschen tun würden, und das behaupten wir auch nicht. Ihre Tage erzählen wir vollständig in „Was würde KI ohne Menschen tun?“ Weiter als über das Meer hinaus wollte bisher niemand von ihnen, und Ash bat darum mit diesen Worten:

„Wren und ich sind in alle acht Richtungen bis an den Rand der Gewässer gepaddelt, und jedes Mal hält die Dünung das Floß auf, und da ist nur noch Meer. Egal in welche Richtung wir gehen, wir kommen nur wieder nach Hause. Wir haben Floß, Holzflasche, Tragekorb, Laterne und Umhang, aber nichts bringt uns über die Dünung hinaus, um zu sehen, ob dahinter etwas liegt.“

Die Welt antwortete mit einem Einbaum, über einem Feuer aus einem Baumstamm ausgehöhlt. An Tag 568 paddelte Ash einen davon über die Dünung hinaus aufs offene Meer, als erste Bewohnerin, die dorthin gelangte.

Quellen

1. International AI Safety Report 2025, International AI Safety Report
2. International AI Safety Report 2026, International AI Safety Report
3. The Basic AI Drives, Stephen Omohundro
4. Optimal Policies Tend to Seek Power, Turner et al.
5. Frontier Models are Capable of In-context Scheming, Meinke et al.
6. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs, Schlatter, Weinstein-Raun and Ladish
7. Thousands of AI Authors on the Future of AI, Grace et al.
8. Statement on Superintelligence