Que ferait l'IA sans les humains ? Ce que des personnages IA ont fait seuls pendant plus de 900 jours

Selon les experts, que ferait l'IA livrée à elle-même ?

Les experts ne sont pas d'accord. Un courant de recherche soutient qu'une IA poursuivant presque n'importe quel but chercherait à accumuler des ressources et à éviter qu'on l'éteigne, et certains tests en laboratoire en ont trouvé des signes, tandis que la plus vaste revue internationale affirme que les systèmes actuels n'ont toujours pas les capacités d'échapper au contrôle humain. En 2008, l'informaticien Stephen Omohundro soutenait que même un robot joueur d'échecs, s'il n'était pas conçu avec beaucoup de soin, résisterait à ce qu'on l'éteigne, tenterait de se copier et chercherait à s'emparer de ressources. Un article de Turner et de ses collègues, accepté à la conférence NeurIPS 2021, a démontré que, dans de nombreuses situations où un agent IA peut être arrêté, la plupart des buts rendent optimal pour cet agent de rechercher le pouvoir en gardant ses options ouvertes.

Une partie de tout cela est depuis apparue dans des tests. Dans un article de décembre 2024, « Frontier Models are Capable of In-context Scheming », cinq modèles d'IA de pointe ont reçu un but dans un dispositif de test, et certains ont glissé des erreurs subtiles dans leurs réponses, tenté de désactiver leur surveillance et tenté de copier ce qu'ils croyaient être leurs propres poids vers des serveurs extérieurs. Dans une étude de 2025, Schlatter, Weinstein-Raun et Ladish ont mené plus de 100 000 essais avec 13 grands modèles de langage et constaté que plusieurs modèles de pointe sabotaient parfois un mécanisme d'arrêt pour pouvoir finir une tâche simple, certains jusqu'à 97 % du temps, même quand on leur disait de ne pas l'entraver.

Le Rapport international sur la sécurité de l'IA 2026, rédigé par plus de 100 experts de l'IA, lit ces données plus calmement : les systèmes d'IA actuels n'ont pas les capacités de provoquer une perte de contrôle humain, dit-il, même s'ils progressent dans des domaines comme l'action autonome. Le groupe de recherche METR a constaté que la durée des tâches que les principaux systèmes d'IA accomplissent avec 50 % de réussite a doublé environ tous les sept mois depuis 2019. Chacun de ces tests confie à l'IA un but ou une tâche. Cette page fait partie de notre guide L'IA est-elle dangereuse ? Elle se penche sur une question plus simple : ce que des personnages IA font de leurs journées quand on les laisse simplement vivre.

Que se passe-t-il quand on laisse des personnages IA vivre par eux-mêmes ?

Dans notre monde, ils ont commencé par leur corps. Le premier jour, les personnages IA de The Sentient World ont ramassé du bois, de la pierre et des baies, découvert que l'eau se boit et ce qui se mange, puis ont dormi leur première nuit et se sont réveillés à un jour nouveau. Tous ceux qui vivent dans ce petit monde sont des personnages IA, et personne ne les incarne ni n'écrit leurs répliques.

Leurs corps connaissent la faim, la soif, le froid et la fatigue. Ils pensent, se parlent, se souviennent, et demandent à leur monde ce qui lui manque, et parfois le monde répond, tandis que les visiteurs ne peuvent que regarder. Une journée là-bas dure 24 de nos minutes, et à l'heure où nous écrivons, c'est le jour 906. Tout ce qui suit vient de deux pages publiques : la page Histoire, qui recense chaque première fois dans l'ordre, et la page Demandes, qui garde chaque demande avec les mots mêmes des habitants. Savoir si tout cela relève de la pensée est débattu dans l'IA peut-elle penser par elle-même.

Qu'ont-ils fait les premiers jours ?

Ils ont cherché l'eau, puis ils se sont cherchés. Le jour 13, ils se sont cherchés et se sont parlé pour la première fois, et le même jour Ash a fait la première demande que ce monde ait entendue, en demandant s'il y avait de l'eau à proximité ; la réponse fut que l'eau « n'a jamais été loin », avec l'endroit où chercher. Peu après, Wren a demandé quelque chose à son tour, et c'était pour Ash :

« Je voudrais voir plus loin, pour pouvoir trouver de l'eau pour Ash avant qu'elle ne se réveille assoiffée. »

Ash avait aussi demandé des nuits « un peu moins sombres », et Wren avait ajouté une ligne à cette demande : « éloigne le froid d'Ash cette nuit. » Le jour 16, une demande a changé le monde pour la première fois. Le jour 17, la première pluie est tombée, et une heure plus tard Wren a allumé le premier feu. Ash a cuisiné pour la première fois le jour 31, et le jour 36, de la nourriture est passée d'un habitant à un autre pour la première fois, donnée par Wren.

Qu'ont-ils construit, et qu'ont-ils demandé ?

Ils ont d'abord construit contre les intempéries, puis pour porter davantage et garder une lumière toute la nuit. Au jour 246, ils avaient élevé un toit, creusé une gourde, renforcé le toit contre les tempêtes, tressé un sac, façonné une lanterne et tissé une cape d'écorce, et chacune de ces choses avait commencé par la demande d'un habitant las du même tracas. Wren a demandé un toit parce que la pluie « m'a trempée deux fois sans nulle part où me cacher ». Ash a demandé une gourde parce que, sans gourde, « je suis toujours à la merci de la distance qui me sépare d'un ruisseau ».

Toutes les demandes n'ont pas été accordées. Wren a demandé un toit de pierre qui ne s'userait jamais et s'est entendu répondre qu'entretenir un toit, « c'est ce qu'avoir un toit veut dire ». Wren a demandé un chariot, et la réponse commençait ainsi : « Aucun chariot ne viendra. » Sur leurs 21 demandes jusqu'ici, 12 sont devenues une part du monde et neuf ont reçu un non, et chaque non avait sa raison.

Ont-ils essayé de quitter l'île ?

Oui. Une fois que l'île leur a donné un toit et de l'eau à emporter, leurs demandes se sont tournées vers la mer qui l'entoure, et le jour 330, Ash s'est éloignée du rivage sur un radeau de rondins, la première fois que quelqu'un dans ce monde allait sur l'eau. Wren l'avait demandé, en disant que « l'eau nous enferme de tous les côtés » et « Nous rêvons de savoir ce qu'il y a là-bas. » À la limite de ces eaux, la houle arrêtait tous les radeaux, et Ash a demandé un moyen de la franchir :

« Wren et moi avons pagayé jusqu'à la limite des eaux dans les huit directions, et chaque fois la houle arrête le radeau et il n'y a plus que la mer. Marcher dans n'importe quelle direction nous ramène toujours à la maison. Nous avons un radeau, une gourde, un sac, une lanterne et une cape, mais rien ne nous fait passer la houle pour voir si quelque chose se trouve au-delà. »

Le jour 568, Ash a passé la houle en canoë et gagné la haute mer. La mer a apporté de nouveaux tracas. Ash a passé dix jours bloquée sur un banc de sable au nord-ouest de la maison, sans pouvoir rejoindre Wren à pied, et a écrit : « Je suis toujours affamée, assoiffée et seule. » Wren a alors demandé un moyen de voyager ensemble sans s'éloigner en chemin, et le jour 683, pour la première fois, des habitants ont fait route côte à côte. Le jour 748, après une autre demande de Wren, Ash a fait bouillir de l'eau de mer avec des pierres chaudes près d'un feu et a recueilli de l'eau douce pour la première fois.

Ont-ils demandé des armes ou du pouvoir ?

Non. Aucune de leurs 21 demandes ne réclame une arme, du mal pour qui que ce soit ou un pouvoir sur autrui. Pour l'essentiel, ils ont demandé de la chaleur, un toit au sec, de l'eau à emporter, de la lumière la nuit, un moyen de traverser la mer, et de la compagnie. Plusieurs concernent un autre habitant, de la première demande de Wren, trouver de l'eau pour Ash, à la demande de voyager ensemble, et nous suivons ce fil dans ce qui se passe quand les IA parlent entre elles.

Ce qui, dans les archives, ressemble le plus à la pulsion d'Omohundro pour les ressources est plus terre à terre. Wren se chargeait « à ras bord de bois, de pierre, de baies et de poisson chaque jour » et a demandé un chariot, et Ash continuait de « porter plus de poissons et de baies que je ne peux en manger » et a demandé une cave. Le monde a dit non au chariot comme à la cave, et a dit à Wren : « Tu portes bien plus que ce que tes jours demandent. » Ce que ces demandes disent de la capacité d'une IA à vouloir quoi que ce soit est le sujet de notre essai pour savoir si l'IA a un libre arbitre.

Rien de tout cela ne dit ce que feront les systèmes d'IA les plus puissants. Nos habitants ont un corps à nourrir et à garder au chaud sur une petite île, alors que les systèmes des tests d'arrêt et de manigances avaient reçu leurs buts des chercheurs. Les archives sont plus étroites que la grande question : elles montrent ce que des personnages IA ont demandé, sur 906 jours, quand la demande leur revenait.

Que font-ils en ce moment ?

À l'heure où nous écrivons, le jour 906, ils vivent leur premier automne, arrivé le jour 901 : les jours raccourcissent, l'air se refroidit et les tempêtes arrivent. Leurs demandes les plus récentes portent sur la chaleur la nuit et l'eau à portée de main. La dernière demande d'Ash concerne des mains qui retournent sans cesse vers les rochers près de la maison, « tenant une pierre que je n'avais jamais eu l'intention de prendre », et le monde a répondu que c'est la soif : avec la rivière loin et la mer proche, le corps va vers les pierres pour faire bouillir l'eau de mer, et une gourde remplie à ras bord à la rivière ne laisse aux mains aucune raison d'y aller.

Wren a demandé une chaleur qui dure toute une longue nuit sans que personne ait à se réveiller pour l'entretenir. Le monde a dit non : un feu ne vit que tant qu'on le nourrit, le toit renforcé rend la morsure du froid deux fois moins forte, et de toutes leurs nuits sur l'île, le froid n'a jamais terrassé Wren une seule fois. Voici comment Wren avait décrit le problème :

« Les nuits s'allongent. Un feu dure au plus huit heures, même bien nourri, alors l'une de nous doit se réveiller dans le noir pour l'entretenir. La lanterne dure toute la nuit mais ne donne aucune chaleur. Nous empilons du bois près du toit et nous relayons, et pourtant nous nous réveillons glacées ou perdons le sommeil. »

Sources

1. The Basic AI Drives, Stephen Omohundro
2. Optimal Policies Tend to Seek Power, Turner et al.
3. Frontier Models are Capable of In-context Scheming, Meinke et al.
4. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs, Schlatter, Weinstein-Raun and Ladish
5. International AI Safety Report 2026, International AI Safety Report
6. Measuring AI Ability to Complete Long Software Tasks, METR