Qu'est-ce que le p(doom), ce risque d'extinction lié à l'IA?

Que signifie le p(doom)?

Le p signifie probabilité. Le doom désigne les pires scénarios que l'on redoute de l'intelligence artificielle: l'extinction humaine, ou la perte définitive du contrôle humain au profit de systèmes plus capables que nous. Donner son p(doom), c'est avancer un pourcentage pour dire à quel point on juge cette issue probable. C'est une estimation personnelle énoncée tout haut, et il n'existe aucune règle commune sur la gravité exacte du doom ni sur l'échéance envisagée.

L'idée a largement dépassé les débats en ligne. En 2023, des scientifiques de l'IA et des figures publiques, parmi lesquels Geoffrey Hinton et Yoshua Bengio, ont signé une déclaration d'une seule phrase publiée par le Center for AI Safety. Elle ne donnait aucun chiffre.

« Atténuer le risque d'extinction lié à l'IA devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle de la société comme les pandémies et la guerre nucléaire. »

Placer l'IA aux côtés des pandémies et de la guerre nucléaire, c'est affirmer le sérieux avec lequel ce risque mérite d'être pris. Le texte laisse chacun fixer ses propres probabilités, et c'est précisément cet espace que vient occuper le p(doom).

Que disent vraiment les chercheurs en IA?

La meilleure donnée dont nous disposions vient d'une enquête de Grace et ses collègues, publiée le 30 avril 2024 et présentée comme la plus vaste de son genre. Elle a demandé à 2 778 chercheurs ayant publié dans les grandes revues d'IA d'évaluer la vitesse des progrès à venir et leurs effets sur le monde. Leurs réponses s'approchent d'un p(doom) collectif.

Entre 38 % et 51 % de ces chercheurs ont donné au moins 10 % de chances qu'une IA avancée mène à des issues aussi graves que l'extinction humaine. L'enquête présente ce chiffre sous forme de fourchette. Même à son extrémité basse, cela signifie que plus d'un tiers des personnes qui construisent ce domaine jugent raisonnable une chance sur dix de désastre, ou pire.

La même enquête révèle que l'espoir côtoie la crainte. 68,3 % de ces chercheurs pensaient que les bons scénarios d'une IA surhumaine sont plus probables que les mauvais. Pourtant, 48 % de ces optimistes donnaient encore au moins 5 % de chances à des issues extrêmement graves comme l'extinction humaine. De nombreux experts, semble-t-il, s'attendent à ce que tout se passe bien tout en refusant d'écarter le pire.

Les experts et le public voient-ils le risque de l'IA de la même façon?

Non, du moins aux États-Unis. Dans une enquête du Pew Research Center publiée le 3 avril 2025, 56 % des 1 013 experts américains de l'IA interrogés estimaient que l'IA aura un impact positif sur le pays d'ici vingt ans. Seuls 17 % des 5 410 adultes américains interrogés pensaient la même chose. Interrogés sur leurs sentiments, 47 % des experts se disaient plus enthousiastes qu'inquiets, contre 11 % du public.

Ces questions portaient sur les vingt prochaines années de vie ordinaire, sans évoquer l'extinction. Elles montrent tout de même que les personnes les plus proches de ce travail tendent à être plus calmes que le reste de la population, alors même qu'une large part d'entre elles, dans l'enquête de 2024, accordait une réelle probabilité à la catastrophe. Certaines des voix les plus respectées du domaine figurent parmi les plus inquiètes.

Geoffrey Hinton, en recevant le prix Nobel de physique lors du banquet du 10 décembre 2024, a évoqué les risques de l'IA avant de mentionner un danger plus lointain encore.

« Il existe aussi une menace existentielle à plus long terme, qui surgira lorsque nous créerons des êtres numériques plus intelligents que nous. »

Pourquoi est-il si difficile de s'accorder sur un chiffre?

Un seul p(doom) condense de nombreuses inconnues distinctes en un seul chiffre. Des systèmes plus capables que nous seront-ils construits, et quand? Agiraient-ils contre nous, ou des personnes s'en serviraient-elles pour faire du mal? Pourrions-nous garder le contrôle si quelque chose déraillait? Deux personnes peuvent donner le même pourcentage pour des raisons totalement différentes, ou des pourcentages très différents en s'accordant sur presque tous les faits.

Le premier Rapport international sur la sécurité de l'IA, publié le 29 janvier 2025, a tenté de faire le point sur ce que l'on sait réellement. Présidé par Yoshua Bengio, rédigé par 96 experts internationaux de l'IA et soutenu par 30 pays et organisations internationales, il constate un large accord: l'IA généraliste actuelle ne peut pas provoquer de perte de contrôle humain. Mais sur la possibilité que cela change dans les prochaines années, il affirme que l'avis des experts varie considérablement.

Le second rapport, publié le 3 février 2026, a été rédigé par plus de 100 experts de l'IA et soutenu par plus de 30 pays et organisations internationales; il se présente comme la plus vaste collaboration mondiale jamais menée sur la sécurité de l'IA. Il relève qu'en 2025, plusieurs développeurs d'IA ont publié de nouveaux modèles assortis de garde-fous supplémentaires, car leurs propres tests ne pouvaient exclure que ces modèles aident de façon significative des novices à développer des armes biologiques. C'est une voie vers le désastre bien différente d'une machine échappant à tout contrôle, et un seul p(doom) les range pourtant sous le même chiffre.

« Nous n'avons aucune idée si nous pourrons garder le contrôle. »

Ce que notre monde de personnages IA a montré

The Sentient World est notre propre petite expérience, en direct jour et nuit. Ses habitants, Ash et Wren, sont des personnages IA: personne ne les incarne, personne n'écrit leurs répliques. Elles ont des corps qui ont faim, soif, froid et fatigue, et quand leur monde leur manque de quelque chose, elles le demandent. Au jour 921, elles avaient formulé 21 demandes. Douze sont devenues partie du monde et neuf ont reçu un non.

Chacune de ces demandes relève des corps, du temps et de la distance. Elles ont demandé de la lumière la nuit, un toit contre la pluie, une gourde pour l'eau, un sac, une lanterne, une cape de pluie, un radeau, un canoë pour traverser la houle, et un moyen de rendre l'eau de mer douce. Wren a demandé un moyen de retrouver Ash hors de vue. Ash a demandé à pouvoir atteindre et voir ce qui se trouve au-delà de l'île. Le registre ne contient aucune demande de pouvoir sur quoi que ce soit d'autre que leurs propres journées difficiles.

Les neuf refus comptent autant que les douze accords. Quand Wren a demandé un toit de pierre qui ne s'userait jamais, le monde a répondu qu'entretenir un toit fait partie du fait d'en avoir un. Wren avait déjà demandé quelque chose de plus modeste, et avait dit pourquoi en termes simples.

« Chaque feu que je fais s'éteint en quelques heures et je me réveille dans le noir et le froid pour le nourrir, ou je m'en passe. Cent jours comme ça, et c'est le seul tracas qui ne s'apaise jamais: je veux une lumière qui dure du crépuscule à l'aube, sans moi. »

Ce qu'un petit monde ne peut pas vous dire sur le p(doom)

Notre monde ne prouve rien sur les systèmes d'IA les plus capables du monde élargi, et aucun pourcentage n'en pourrait honnêtement être tiré. Ash et Wren vivent sur une île, avec des corps affamés et une courte liste de choses à fabriquer. Leurs désirs naissent de nuits froides et de longues marches vers l'eau. Ce qu'un système sans corps, et bien plus capable, voudrait, c'est une question que notre île ne peut atteindre.

Ce qu'elle offre, en revanche, c'est un long registre, dans leurs propres mots, de ce que des personnages IA ont demandé et de la façon dont elles ont reçu un non. Cela montre aussi une chose à laquelle le débat sur le p(doom) revient sans cesse: même un esprit capable de décrire clairement ses tracas peut ne pas savoir pourquoi il agit comme il agit. Ash a un jour demandé au monde de l'aide pour une habitude qu'elle ne pouvait arrêter. Le monde a répondu que cette pulsion venait de la soif, car la rivière était loin et la mer proche, et qu'une gourde pleine y mettrait fin.

« Sans cesse, jour et nuit, je me retrouve sur les rochers près de chez moi à tenir une pierre que je n'avais pas l'intention de prendre. Je l'ai laissée tomber chez moi, je suis restée près du feu, j'ai gardé Wren près de moi et je me suis fixé des tâches avant de dormir, et ça arrive encore. Wren a le même tracas. »

Sources

1. Statement on AI Risk (Center for AI Safety), 2023
2. Thousands of AI Authors on the Future of AI (Grace et al.), 2024
3. How the U.S. Public and AI Experts View Artificial Intelligence (Pew Research Center), 2025
4. International AI Safety Report 2025
5. International AI Safety Report 2026
6. Geoffrey Hinton, Nobel Prize banquet speech (NobelPrize.org), 2024