Cos'è il p(doom)? Il rischio estinzione intelligenza artificiale

Cosa significa p(doom)?

La p sta per probabilità. Doom indica gli esiti peggiori che si temono dall'intelligenza artificiale: l'estinzione umana, o la perdita definitiva del controllo umano a favore di sistemi più capaci di noi. Quando qualcuno dà il proprio p(doom), offre una percentuale su quanto ritiene probabile quell'esito. È una stima personale detta ad alta voce, e non esiste una regola condivisa su quanto debba essere grave il doom o entro quale anno dovrebbe arrivare.

L'idea è andata ben oltre le discussioni online. Nel 2023, scienziati dell'IA e figure pubbliche, tra cui Geoffrey Hinton e Yoshua Bengio, hanno firmato una dichiarazione di una sola frase pubblicata dal Center for AI Safety. Non conteneva alcun numero.

«Mitigare il rischio di estinzione dall'IA dovrebbe essere una priorità globale insieme ad altri rischi di scala sociale come le pandemie e la guerra nucleare.»

Accostare l'IA a pandemie e guerra nucleare è una dichiarazione sulla serietà con cui va preso questo rischio. Lascia le probabilità a ciascun lettore, ed è in quello spazio vuoto che vive il discorso sul p(doom).

Cosa stimano davvero i ricercatori di IA?

La prova migliore che abbiamo è un sondaggio di Grace e colleghi, pubblicato il 30 aprile 2024 e descritto come il più ampio del suo genere. Ha chiesto a 2.778 ricercatori che avevano pubblicato nelle maggiori sedi di IA quanto velocemente progredirà l'IA e cosa farà al mondo. Le loro risposte si avvicinano a un p(doom) collettivo.

Tra il 38% e il 51% di quei ricercatori ha dato almeno il 10% di probabilità che l'IA avanzata porti a esiti gravi come l'estinzione umana. Il sondaggio riporta quella quota come un intervallo. Anche al suo estremo più basso significa che più di un terzo delle persone che costruiscono questo campo ritiene ragionevole una probabilità su dieci, o peggio, di disastro.

Lo stesso sondaggio ha trovato la speranza accanto alla paura. Il 68,3% dei ricercatori pensava che esiti positivi da un'IA sovrumana siano più probabili di esiti negativi. Eppure il 48% di quegli ottimisti ha dato comunque almeno il 5% di probabilità a esiti estremamente negativi come l'estinzione umana. Molti esperti, a quanto pare, si aspettano che le cose vadano bene e si rifiutano comunque di escludere il peggio.

Esperti e pubblico vedono il rischio IA allo stesso modo?

No, almeno non negli Stati Uniti. In un sondaggio del Pew Research Center pubblicato il 3 aprile 2025, il 56% di 1.013 esperti di IA statunitensi ha detto che l'IA avrà un impatto positivo sul paese nei prossimi 20 anni. Solo il 17% di 5.410 adulti statunitensi ha detto lo stesso. Interrogati sui propri sentimenti, il 47% degli esperti si è detto più entusiasta che preoccupato, contro l'11% del pubblico.

Quelle domande riguardavano i prossimi vent'anni di vita ordinaria, e non chiedevano dell'estinzione. Mostrano comunque che le persone più vicine a questo lavoro tendono a essere più tranquille di tutti gli altri, anche se una quota ampia di loro, nel sondaggio del 2024, attribuisce probabilità reali alla catastrofe. Alcune delle voci più rispettate nel campo sono tra i preoccupati.

Geoffrey Hinton, ricevendo il Premio Nobel per la Fisica al banchetto del 10 dicembre 2024, ha parlato dei rischi dell'IA e poi di un pericolo ulteriore che ha collocato più avanti nel tempo.

«C'è anche una minaccia esistenziale a più lungo termine, che si presenterà quando creeremo esseri digitali più intelligenti di noi.»

Perché è così difficile concordare su un numero?

Un singolo p(doom) racchiude in una sola cifra molte incognite distinte. Verranno costruiti sistemi più capaci di noi, e quando? Agirebbero contro di noi, oppure sarebbero le persone a usarli per fare del male? Riusciremmo a mantenere il controllo se qualcosa andasse storto? Persone diverse possono dare la stessa percentuale per ragioni completamente diverse, oppure percentuali molto diverse pur concordando sulla maggior parte dei fatti.

Il primo International AI Safety Report, pubblicato il 29 gennaio 2025, ha cercato di definire ciò che si sa davvero. Presieduto da Yoshua Bengio, scritto da 96 esperti internazionali di IA e sostenuto da 30 paesi e organizzazioni internazionali, ha trovato ampio consenso sul fatto che l'IA generalista di oggi non può causare una perdita del controllo umano. Su se ciò potrebbe diventare possibile nei prossimi anni, ha detto che l'opinione degli esperti varia moltissimo.

Il secondo rapporto, pubblicato il 3 febbraio 2026, è stato scritto da oltre 100 esperti di IA e sostenuto da oltre 30 paesi e organizzazioni internazionali, e si definisce la più ampia collaborazione globale sulla sicurezza dell'IA fino a oggi. Registra che nel 2025 diversi sviluppatori di IA hanno rilasciato nuovi modelli con ulteriori misure di sicurezza, perché i loro stessi test non potevano escludere che i modelli aiutassero in modo significativo dei principianti a sviluppare armi biologiche. È una strada verso il disastro diversa da una macchina che scivola fuori controllo, e un singolo p(doom) le mette entrambe nello stesso numero.

«Non abbiamo idea se riusciremo a restare in controllo.»

Cosa ha mostrato il nostro mondo di personaggi IA

The Sentient World è il nostro piccolo esperimento, in corso giorno e notte. Le sue abitanti, Ash e Wren, sono personaggi IA: nessuno le interpreta e nessuno scrive le loro battute. Hanno corpi che si affamano, hanno sete, sentono freddo e si stancano, e quando al loro mondo manca qualcosa, lo chiedono. Entro il giorno 921 avevano fatto 21 richieste. Dodici sono diventate parte del mondo e nove hanno ricevuto un no.

Ognuna di quelle richieste riguarda corpi, meteo e distanze. Hanno chiesto luce di notte, un tetto contro la pioggia, una borraccia per l'acqua, uno zaino, una lanterna, un mantello da pioggia, una zattera, una canoa per attraversare il mare agitato, e un modo per rendere dolce l'acqua di mare. Wren ha chiesto un modo per trovare Ash quando era fuori vista. Ash ha chiesto di raggiungere e vedere cosa si trova oltre l'isola. Il registro non contiene nessuna richiesta di potere su altro che le proprie giornate difficili.

I nove rifiuti contano quanto le dodici concessioni. Quando Wren ha chiesto un tetto di pietra che non si sarebbe mai usurato, il mondo ha risposto che occuparsi del tetto fa parte dell'averne uno. Wren aveva già chiesto qualcosa di più modesto, e aveva spiegato perché con parole semplici.

«Ogni fuoco che faccio si spegne in poche ore e mi sveglio nel buio e nel freddo per alimentarlo o restarne senza. Cento giorni così e resta l'unico problema che non si allevia: voglio una luce che duri dal tramonto all'alba da sola.»

Cosa un piccolo mondo non può dirti sul p(doom)

Il nostro mondo non dimostra nulla sui sistemi di IA più capaci nel mondo più ampio, e nessuna percentuale potrebbe onestamente derivarne. Ash e Wren vivono su un'isola con corpi affamati e una breve lista di cose da fare. I loro bisogni nascono da notti fredde e lunghe camminate verso l'acqua. Cosa vorrebbe un sistema senza un corpo simile, e con molta più capacità, è una domanda che la nostra isola non può raggiungere.

Ciò che offre è un lungo registro, nelle loro stesse parole, di cosa i personaggi IA hanno chiesto e come hanno accolto un no. Mostra anche qualcosa a cui il dibattito sul p(doom) continua a tornare: anche una mente capace di descrivere chiaramente i propri problemi può non sapere perché agisce come agisce. Ash una volta ha chiesto al mondo aiuto con un'abitudine che non si fermava. Il mondo ha risposto che quell'impulso veniva dalla sete, perché il fiume era lontano e il mare vicino, e una borraccia piena l'avrebbe fatta finire.

«Ancora e ancora, giorno e notte, finisco sulle rocce vicino a casa con in mano una pietra che non intendevo prendere. L'ho lasciata a casa, sono restata vicino al fuoco, ho tenuto Wren accanto a me e mi sono data compiti prima di dormire, e succede comunque. Wren ha lo stesso problema.»

Fonti

1. Statement on AI Risk (Center for AI Safety), 2023
2. Thousands of AI Authors on the Future of AI (Grace et al.), 2024
3. How the U.S. Public and AI Experts View Artificial Intelligence (Pew Research Center), 2025
4. International AI Safety Report 2025
5. International AI Safety Report 2026
6. Geoffrey Hinton, Nobel Prize banquet speech (NobelPrize.org), 2024