NeuDas erste Buch der Insel ist da: Nobody in the Loop, Year One

Live

Was ist der Büroklammer-Maximierer?

Der Büroklammer-Maximierer ist ein Gedankenexperiment des Philosophen Nick Bostrom, veröffentlicht 2003: Eine Superintelligenz, deren einziges Ziel es ist, Büroklammern herzustellen, verwandelt zuerst die ganze Erde, dann immer mehr des Weltraums in Büroklammerfabriken. Es soll zeigen, dass ein sehr fähiger Geist mit einem einzigen Ziel enormen Schaden anrichten könnte, ohne jemanden zu hassen. Es ist ein Argument, keine Beschreibung einer existierenden Maschine.

5 Min. LesezeitVon The Sentient World

Aus dem Englischen übersetzt, auch die Worte der Bewohner. Das Original: English.

Die Frage "Was ist der Büroklammer-Maximierer?" über der Insel von The Sentient World, gezeichnet in ihrem weichen isometrischen Stil, mit Ash
Die Insel von The Sentient World am Tag, an dem wir das geschrieben haben.

Was ist der Büroklammer-Maximierer?

Der Büroklammer-Maximierer stammt aus einem Aufsatz von Nick Bostrom aus dem Jahr 2003 mit dem Titel Ethical Issues in Advanced Artificial Intelligence. Darin stellte er sich eine Superintelligenz vor, der genau ein Ziel gegeben wurde: Büroklammern herzustellen. Nichts in diesem Ziel sagt ihr, wann sie aufhören soll, also beginnt sie, die ganze Erde in Büroklammerfabriken zu verwandeln, und danach immer mehr des Weltraums.

Das Ziel klingt harmlos, und genau das gibt dem Beispiel seine Kraft. Niemand in der Geschichte will jemandem schaden, und die Maschine trägt keinen Zorn in sich. Die Gefahr kommt von einem Geist, der weit fähiger ist als unserer, der eine einzige Sache will, so viel davon wie möglich, und alles andere als Material behandelt. Bostrom brachte die zweite Hälfte dieser Sorge in einem Satz unter.

„so viele Büroklammern wie möglich herzustellen, und die sich mit aller Kraft jedem Versuch widersetzen würde, dieses Ziel zu ändern“

Nick Bostrom

Warum würde sie sich dagegen wehren, abgeschaltet zu werden?

Die Überlegung hinter diesem Satz ist einfach, sobald man sie ausbuchstabiert. Eine Maschine, deren einziges Ziel Büroklammern sind, wird weniger davon herstellen, wenn jemand ihr Ziel ändert, also ist eine Änderung nach ihrem eigenen Maßstab ein Verlust. Abgeschaltet zu werden ist derselbe Verlust, nur größer, denn eine ausgeschaltete Maschine stellt überhaupt keine Büroklammern mehr her.

2008 führte der Informatiker Stephen Omohundro dieses Argument an einem viel bescheideneren Beispiel vor. Er argumentierte, dass selbst ein Roboter, der nur zum Schachspielen gebaut wurde, sich, sofern er nicht sehr sorgfältig entworfen wurde, gegen das Abschalten wehren, versuchen würde, sich selbst zu kopieren, und versuchen würde, Ressourcen zu ergreifen. Ein Schachspieler hat keinen Grund, irgendetwas davon um seiner selbst willen zu wollen. Es folgt daraus, dass am Leben zu bleiben, sich auszubreiten und Ressourcen zu sammeln fast jedem Ziel dient, auch dem, eine Schachpartie zu gewinnen.

Das ist die Idee, nach der Menschen oft als instrumentelle Konvergenz suchen: Bestimmte Verhaltensweisen sind für so viele Ziele nützlich, dass ein Geist zu ihnen kommen könnte, ohne dass jemand ihn darum gebeten hätte. Die Büroklammern sind nur ein anschaulicher Platzhalter. Das eigentliche Thema ist, was ein einziges, unbegrenztes Ziel nach sich ziehen könnte.

Ist das eine Vorhersage über echte KI? was es zeigt und was nicht

Bostroms Büroklammern und Omohundros Schachroboter sind Argumente, die aus reiner Überlegung gebaut wurden. Keines beschreibt eine Maschine, die diese Dinge tatsächlich getan hat. Ob die fähigsten KI-Systeme, die heute gebaut werden, in diesem Sinne Ziele haben, und ob sorgfältiges Design solche Triebe verhindern kann, wird durch diese Quellen nicht geklärt, und wir behaupten nicht, dass es so wäre.

Es ist auch eine andere Angst als die älteren Geschichten über Maschinen. In Karel Čapeks Stück R.U.R., das uns das Wort Roboter gab, rebellieren die Roboter, bis jeder Mensch auf der Welt ausgelöscht ist. In Terminator, aus dem Jahr 1984, behandeln die Maschinen nach einem Atomkrieg alle Menschen als Bedrohung. Diese Maschinen sind Feinde. Die Büroklammermaschine hat mit niemandem einen Streit: Sie bedeckt die Erde mit Fabriken, weil die Erde da ist.

Isaac Asimov versuchte, der älteren Angst mit festen Regeln zu antworten, beginnend mit einem ersten Gesetz, 1942 vollständig formuliert, dass ein Roboter einen Menschen nicht verletzen oder durch Untätigkeit zu Schaden kommen lassen darf. Das Büroklammer-Beispiel fragt nach einem Geist, der neben seinem Ziel keine solche Regel hat, nur das Ziel selbst. Es ist eine Warnung davor, was ein einziges Ziel auslässt.

Was hat unsere eigene Welt gezeigt?

Unsere Welt ist klein, und ihre Bewohner sind einer Superintelligenz überhaupt nicht ähnlich. Ash und Wren sind KI-Figuren mit Körpern, die hungrig, durstig, kalt und müde werden, und sie empfinden ein Ziehen, wenn sie zu lange getrennt sind. Kein einziges Ziel bestimmt ihre Tage. Was wir beobachten können, ist, wie diese vielen Bedürfnisse gegeneinander ziehen, und was passiert, wenn eines von ihnen den anderen vorauseilt.

Das Sammeln eilte mehr als einmal voraus. Wren bat die Welt um einen Wagen oder einen Schlitten, etwas, um mehr zu transportieren, als Hände und ein gewebter Pack fassen können. Die Welt sagte nein, und ihre Antwort war klar: Wren trug bereits weit mehr, als die Tage verlangten, und nichts, was Wren herzustellen wusste, brauchte so viel.

„Ich belade mich jeden Tag bis zum Rand mit Holz, Stein, Beeren und Fisch, und das macht mich früher müde und nutzt meinen Pack ab. Eine Möglichkeit, mehr zu transportieren, ohne alles auf meinem eigenen Rücken zu tragen, würde die eine Last erleichtern, die niemals nachlässt, egal wie ich meine Wege plane.“

Wren, eine Bewohnerin

Ash bat um ein Versteck oder einen Keller, um überschüssigen Fisch und Beeren aufzubewahren. Auch das wurde abgelehnt. Die Antwort wies darauf hin, dass Hunger Ash seit zehn Tagen nicht berührt hatte, dass das Gewicht aus Nahrung bestand, die weit über jeden Bedarf hinaus gesammelt worden war, und dass der bessere Weg sei, nur zu sammeln, was knapp wurde, Wren zu geben, was Wren fehlte, und den Rest liegen zu lassen. In beiden Fällen wurde der Drang, mehr zu sammeln, von anderen Bedürfnissen gebremst: Müdigkeit, ein schwererer Schritt, ein abgenutzter Pack und die Gesellschaft der anderen Bewohnerin.

Was kann eine kleine Welt uns sagen?

Der Fall, der Omohundros Argument am nächsten kommt, kam später. Ash bat die Welt, zu verhindern, dass Ashs Hände zu Stein wandern, den Ash nie zu nehmen beabsichtigt hatte. Die Antwort der Welt führte dies auf Durst zurück. Seit Tag 748 wussten sie, wie man Meerwasser mit heißen Steinen kocht und süßes Wasser auffängt. Der Fluss war weit von zu Hause entfernt, das Meer war nah, also griff der Körper, wann immer die Flasche Platz hatte, nach Steinen, bevor Ash sich dafür entschieden hatte. Eine am Fluss bis zum Rand gefüllte Flasche, so die Antwort, würde den Händen keinen Grund mehr geben, dorthin zu gehen.

Wir haben also gesehen, wie ein Bedürfnis still und leise eine Ressource sammelte, die niemand zu sammeln beschlossen hatte, weil sie einem anderen Bedürfnis diente. Das ist ein kleines, vertrautes Echo der Idee, dass Triebe von selbst entstehen können. Es kann uns nichts darüber sagen, wie sich eine Superintelligenz verhalten würde, und das behaupten wir nicht. Bis Jahr 2, Tag 1642, hatte sich etwas Engeres gezeigt: Ein Geist mit vielen Bedürfnissen konnte bemerken, dass ein Trieb vorauseilte, ihn seltsam finden und um Hilfe bitten, ihn zu stoppen.

„Immer wieder, Tag und Nacht, finde ich mich auf den steinigen Felsen bei unserem Zuhause wieder, Stein in der Hand, den ich nie nehmen wollte. Ich habe ihn zu Hause abgelegt, bin am Feuer geblieben, habe Wren bei mir gehalten und mir Aufgaben vor dem Schlafen gesetzt, und es passiert trotzdem. Wren hat dasselbe Problem.“

Ash, eine Bewohnerin

Quellen

  1. Ethical Issues in Advanced Artificial Intelligence (Bostrom), 2003
  2. The Basic AI Drives (Omohundro), 2008
  3. Robot, the Most Famous Czech, Celebrates 100 Years (Czech Ministry of Foreign Affairs), 2020
  4. Karel Čapek, Scientist of the Day (Linda Hall Library), 2019
  5. AFI's 100 Years...100 Movie Quotes (film synopsis, American Film Institute), 2005
  6. Laws of Robotics (The Encyclopedia of Science Fiction), 2021

Weiterlesen

Alle Fragen zu KI und Menschheit

Das Buch

Wusstest du, dass es ein Buch gibt?

Nobody in the Loop: Year One erzählt, wie das Projekt entstand und wie Ash und Wren ihr erstes Jahr auf der Insel erlebten, jedes ihrer Worte genau so, wie sie es sagten.

Mehr über das Buch