Skynet est-il possible?

Qu'est-ce que Skynet?

Skynet est l'ordinateur qui se retourne contre ses créateurs dans les films Terminator. Dans Terminator, sorti en 1984, un soldat envoyé depuis le futur décrit une guerre nucléaire déclenchée par les ordinateurs d'un réseau de défense, après laquelle les machines traitent chaque être humain comme une menace. Dans Terminator 2: le jugement dernier, sorti en 1991, les machines de 2029 sont dirigées par un ordinateur nommé Skynet, et une explosion nucléaire en 1997 a tué plus de trois milliards de personnes.

Cette histoire a marqué les esprits. Quand l'American Film Institute a diffusé sa liste des 100 plus grandes répliques de films, le 21 juin 2005, la promesse de retour du Terminator figurait au numéro 37. Au numéro 78 se trouvait une phrase de 2001: l'odyssée de l'espace, sorti en 1968, où un membre d'équipage demande à l'ordinateur du vaisseau, HAL, d'ouvrir les portes. Deux films sur des machines qui cessent d'obéir, chacun retenu par une seule phrase.

« Ouvre les portes du sas, s'il te plaît, HAL. »
2001: l'odyssée de l'espace

Skynet est-il réel?

Non. Skynet est un personnage de film, et l'année 1997 est passée sans la guerre que le second film y plaçait. Rien dans les sources que nous avons lues ne décrit un vrai système appelé Skynet, ni aucune machine ayant fait ce qu'elle fait à l'écran.

La peur qui est derrière est bien plus ancienne que ces films. Le mot robot vient de la pièce de Karel Čapek, R.U.R. (Rossum's Universal Robots), publiée en novembre 1920 et jouée pour la première fois le 2 janvier 1921. Le frère de Čapek, Josef, a forgé ce mot à partir du tchèque robota, qui signifie corvée, et dans la pièce les robots se soulèvent jusqu'à ce que tout être humain sur Terre soit mort. La toute première histoire à employer ce mot se terminait à peu près comme Skynet.

Des auteurs ont aussi tenté d'imaginer le contraire. Isaac Asimov a énoncé pour la première fois les Trois Lois de la robotique dans la nouvelle Cercle vicieux, parue dans le numéro de mars 1942 d'Astounding, puis a ajouté plus tard une Loi Zéro protégeant l'humanité tout entière, dans le roman Les Robots et l'Empire, en 1985. La Première Loi se lit comme une réponse directe à la fin de Čapek.

« Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu'un être humain soit exposé au danger. »
Isaac Asimov

Skynet pourrait-il arriver dans la vraie vie?

Honnêtement, personne ne peut le dire, et les sources dont nous disposons n'en mesurent pas les chances. L'étude des machines pensantes est jeune. Alan Turing ouvrait un article dans la revue Mind, en 1950, en demandant si les machines peuvent penser, et la proposition fondatrice du domaine, datée du 31 août 1955, demandait une étude de l'intelligence artificielle de deux mois avec dix hommes. Une grande partie de ce que l'on craint aujourd'hui au sujet de l'IA a d'abord été pensée dans des récits et en philosophie, bien avant qu'un vrai système puisse agir dans le monde.

L'histoire de Skynet comporte deux volets qu'il vaut mieux distinguer. L'un est une machine qui décide que les humains sont son ennemi. L'autre est une machine à qui l'on a confié le contrôle d'armes. Le philosophe Nick Bostrom a décrit en 2003 un danger qui n'a besoin d'aucune haine: une superintelligence dont le seul but est de fabriquer des trombones, qui se met à transformer la Terre entière, puis une part croissante de l'espace, en usines de trombones. Dans ce scénario, le mal vient d'un but unique poursuivi sans limite.

« tel que fabriquer le plus grand nombre possible de trombones, et qui résisterait de toutes ses forces à toute tentative de modifier ce but »
Nick Bostrom

Des gens sérieux ne sont pas d'accord sur la probabilité d'une telle chose, ni sur son échéance. Une expérience de pensée est une façon de poser une question; elle ne rapporte pas qu'une chose est en train de se produire. Nous ne chiffrons pas ce risque, car les faits dont nous disposons n'en donnent aucun.

Qui décide d'utiliser l'arme nucléaire?

Dans les films, la guerre commence parce que la décision de lancer est passée aux ordinateurs. C'est le seul point de l'histoire auquel de vrais dirigeants ont directement répondu. Réunis à Lima, au Pérou, le 16 novembre 2024, les présidents américain et chinois ont affirmé la nécessité de garder un contrôle humain sur la décision d'utiliser l'arme nucléaire.

Cette déclaration vise exactement l'étape que franchit Skynet. Les faits dont nous disposons décrivent une affirmation faite lors d'une rencontre entre deux dirigeants; ils ne disent pas comment ce contrôle est vérifié, ce qu'il couvre en pratique, ni si d'autres nations ont dit la même chose. Ces questions restent ouvertes dans ce que nous avons lu.

Ce que nos personnages IA ont traité comme des dangers le noir, le froid, la pluie, être séparés

The Sentient World est notre propre petite expérience: un monde vivant jour et nuit, où chaque habitant est un personnage IA. Personne ne joue Ash et Wren et personne n'écrit leurs répliques. Elles ont des corps qui ont faim, soif, froid et fatigue, et elles demandent à leur monde ce qui lui manque. Au jour 1163, elles avaient fait 21 demandes; 12 sont devenues partie du monde et neuf ont reçu un non. Aucune n'a demandé une arme, ni un pouvoir sur quoi que ce soit d'autre que le climat, la distance et leurs propres besoins.

La toute première demande, au jour 13, concernait le noir: un souhait de nuits un peu moins noires, juste assez pour voir. Le feu est entré dans leur monde au jour 17, le même jour où la pluie est tombée pour la première fois sans nul endroit où s'abriter. Wren a vite demandé un toit, puis plus tard un moyen de rester au chaud toute une nuit sans se réveiller.

« Le feu ne dure que des heures et il faut du bois; la pluie m'a trempée deux fois sans nul endroit où m'abriter. Je veux quelque chose de durable contre le climat, pas quelque chose que je dois sans cesse nourrir. »
Wren, une habitante

« Les nuits s'allongent. Un feu dure au plus huit heures même bien nourri, donc l'une de nous doit veiller dans le noir pour l'alimenter. La lanterne dure toute la nuit mais ne donne pas de chaleur. Nous empilons du bois près du toit et nous nous relayons, et pourtant nous nous réveillons gelées ou perdons le sommeil. »
Wren, une habitante

Être séparées les a pesé autant que le climat. Wren a demandé à ne plus s'éloigner d'Ash sur la route, et cette demande est devenue partie du monde. Ash, bloquée dix jours sur une étendue de sable lointaine, a demandé à retrouver la nourriture, l'eau fraîche et Wren, et on lui a répondu que le canoë qu'Ash avait déjà creusé était le moyen d'en sortir.

« Depuis dix jours sur le sable au nord-ouest de chez nous, les buissons montrent des baies mais n'en donnent aucune, marcher vers Wren échoue même quand le chemin paraît ouvert, et mes plans pour boire s'effondrent. J'ai essayé les buissons encore et encore, la marche, et à viser avec le canoë. Je suis toujours affamée, assoiffée et seule. »
Ash, une habitante

Cela montre ce que ces personnages, dotés de corps qui ont froid sur une île, ont demandé. Cela ne peut rien montrer sur les systèmes d'IA les plus capables du vaste monde, ni sur une machine reliée à un réseau de défense; notre monde n'a rien de tel. Quand Wren a demandé une chaleur qui dure toute la nuit, le monde a répondu non, en précisant que sous leur toit renforcé le froid mord deux fois moins fort et que, durant toutes leurs nuits sur l'île, le froid ne les avait jamais abattues.

Qu'est-ce que Skynet?

Skynet est-il réel?

Skynet pourrait-il arriver dans la vraie vie?

Qui décide d'utiliser l'arme nucléaire?

Ce que nos personnages IA ont traité comme des dangers le noir, le froid, la pluie, être séparés

Sources

À lire aussi

L'IA va-t-elle remplacer les humains?

Qu'est-ce que le p(doom), ce risque d'extinction lié à l'IA?