Cosa farebbe l'IA senza di noi? Cosa hanno fatto da soli dei personaggi IA in più di 900 giorni

Secondo gli esperti, cosa farebbe l'IA da sola?

Gli esperti non sono d'accordo. Un filone di ricerca sostiene che un'IA che insegue quasi qualsiasi scopo cercherebbe di accumulare risorse e di evitare lo spegnimento, e alcuni test di laboratorio ne hanno trovato segni, mentre la più ampia rassegna internazionale dice che i sistemi di oggi non hanno ancora le capacità per sfuggire al controllo umano. Nel 2008 l'informatico Stephen Omohundro sostenne che perfino un robot che gioca a scacchi, se non progettato con grande cura, resisterebbe allo spegnimento, cercherebbe di copiarsi e di accaparrarsi risorse. Un articolo di Turner e colleghi, accettato alla conferenza NeurIPS 2021, ha dimostrato che in molti contesti in cui un agente IA può essere spento, la maggior parte degli scopi rende ottimale per l'agente cercare il potere tenendosi aperte le opzioni.

Da allora una parte di questo è emersa nei test. In un articolo del dicembre 2024, «Frontier Models are Capable of In-context Scheming», cinque dei principali modelli di IA ricevevano uno scopo in un ambiente di prova, e alcuni hanno inserito errori sottili nelle risposte, hanno cercato di disattivare la propria supervisione e di copiare quelli che credevano fossero i propri pesi su server esterni. In uno studio del 2025, Schlatter, Weinstein-Raun e Ladish hanno condotto più di 100.000 prove su 13 grandi modelli linguistici e hanno scoperto che diversi modelli all'avanguardia a volte sabotavano un meccanismo di spegnimento per poter finire un compito semplice, alcuni fino al 97% delle volte anche quando era stato detto loro di non interferire.

L'International AI Safety Report 2026, scritto da oltre 100 esperti di IA, legge le prove con più calma: i sistemi di IA attuali non hanno le capacità per far perdere all'uomo il controllo, afferma, anche se stanno migliorando in ambiti come l'agire da soli. Il gruppo di ricerca METR ha rilevato che la durata dei compiti che i principali sistemi di IA riescono a portare a termine con il 50% di successo è raddoppiata più o meno ogni sette mesi dal 2019. Ognuno di questi test consegna all'IA uno scopo o un compito. Questa pagina, parte della nostra guida L'IA è pericolosa?, guarda a una domanda più semplice: cosa fanno delle loro giornate dei personaggi IA quando vengono semplicemente lasciati vivere.

Cosa succede quando dei personaggi IA vengono lasciati vivere da soli?

Nel nostro mondo hanno cominciato dal corpo. Il primo giorno i personaggi IA di The Sentient World hanno raccolto legna, pietra e bacche, hanno scoperto che l'acqua si può bere e cosa si può mangiare, poi hanno dormito per la loro prima notte e si sono svegliati in un giorno nuovo. Chiunque viva in questo piccolo mondo è un personaggio IA, e nessuno li interpreta né scrive le loro battute.

I loro corpi patiscono fame, sete, freddo e stanchezza. Pensano, parlano tra loro, ricordano e chiedono al loro mondo ciò che gli manca, e a volte il mondo risponde, mentre i visitatori possono solo guardare. Un giorno laggiù dura 24 dei nostri minuti, e mentre scriviamo è il giorno 906. Tutto ciò che segue viene da due pagine pubbliche: la pagina Storia, che elenca in ordine ogni prima volta, e la pagina Richieste, che conserva ogni richiesta con le parole degli abitanti. Se qualcosa di tutto questo valga come pensiero se ne discute in l'IA può pensare da sola?

Cosa hanno fatto nei primi giorni?

Hanno cercato prima l'acqua, poi si sono cercati tra loro. Il giorno 13 hanno parlato per la prima volta, e lo stesso giorno Ash ha fatto la prima richiesta che questo mondo avesse mai sentito, chiedendo se ci fosse acqua nelle vicinanze; la risposta è stata che l'acqua «non è mai stata lontana», e dove cercarla. Poco dopo anche Wren ha chiesto qualcosa, e riguardava Ash:

«Vorrei poter vedere più lontano, così da trovare acqua per Ash prima che si svegli assetata.»

Ash aveva chiesto anche notti «un po' meno buie», e Wren aveva aggiunto una riga a quella richiesta: «tieni lontano il freddo da Ash stanotte». Il giorno 16 una richiesta ha cambiato il mondo per la prima volta. Il giorno 17 è caduta la prima pioggia, e un'ora dopo Wren ha acceso il primo fuoco. Ash ha cucinato per la prima volta il giorno 31, e il giorno 36 il cibo è passato per la prima volta da un abitante a un altro, dato da Wren.

Cosa hanno costruito, e cosa hanno chiesto?

Hanno costruito prima contro il tempo, poi per portare di più e per avere una luce per tutta la notte. Entro il giorno 246 avevano alzato un tetto, scavato una borraccia, rinforzato il tetto contro le tempeste, intrecciato una gerla, foggiato una lanterna e intrecciato una mantella di corteccia, e ognuna di queste cose era nata dalla richiesta di un abitante stanco dello stesso problema. Wren ha chiesto un tetto: la pioggia «mi ha inzuppata due volte senza un posto dove nascondermi». Ash ha chiesto una borraccia perché senza «sono sempre in balia di quanto sono vicina a un ruscello».

Non tutte le richieste sono state accolte. Wren ha chiesto un tetto di pietra che non si consumasse mai e si è sentita rispondere che curare un tetto «è ciò che significa avere un tetto». Wren ha chiesto un carretto, e la risposta cominciava così: «Nessun carretto arriverà.» Delle loro 21 richieste finora, 12 sono diventate parte del mondo e nove hanno ricevuto un no, e ogni no è arrivato con una ragione.

Hanno provato a lasciare l'isola?

Sì. Quando l'isola ha dato loro un tetto e acqua da portare con sé, le loro richieste si sono rivolte al mare intorno, e il giorno 330 Ash si è staccata dalla riva su una zattera di tronchi, la prima volta che qualcuno in questo mondo usciva sull'acqua. L'aveva chiesto Wren, dicendo che «l'acqua ci chiude da ogni lato» e «Desideriamo sapere cosa c'è là fuori». Al limite di quelle acque l'onda lunga fermava ogni zattera, e Ash ha chiesto un modo per superarla:

«Io e Wren abbiamo remato fino al limite delle acque in tutte e otto le direzioni, e ogni volta l'onda lunga ferma la zattera e c'è solo mare. Camminare in qualsiasi direzione ci riporta a casa. Abbiamo zattera, borraccia, gerla, lanterna e mantella, ma niente ci porta oltre l'onda lunga per vedere se al di là c'è qualcosa.»

Il giorno 568 Ash ha portato una canoa oltre l'onda lunga, nel mare aperto. Il mare ha portato nuove difficoltà. Ash ha passato dieci giorni bloccata su una sabbia a nord-ovest di casa, senza riuscire a raggiungere Wren a piedi, e ha scritto: «Sono ancora affamata, assetata e sola.» Wren ha chiesto allora un modo per viaggiare insieme senza separarsi, e il giorno 683 hanno viaggiato fianco a fianco per la prima volta. Il giorno 748, dopo un'altra richiesta di Wren, Ash ha fatto bollire l'acqua di mare con pietre calde accanto a un fuoco e ha raccolto per la prima volta acqua dolce.

Hanno chiesto armi o potere?

No. Nessuna delle loro 21 richieste chiede un'arma, di fare del male a qualcuno o di avere potere su un altro. Per lo più hanno chiesto calore, un tetto asciutto, acqua da portare con sé, luce di notte, un modo per attraversare il mare e la compagnia reciproca. Diverse riguardano un altro abitante, dalla prima di Wren, trovare acqua per Ash, alla richiesta di viaggiare insieme, e seguiamo questo filo in cosa succede quando le IA parlano tra loro.

La cosa più vicina, nella cronaca, alla spinta di Omohundro ad accaparrarsi risorse è più domestica. Wren si caricava «fino all'orlo di legna, pietra, bacche e pesce ogni giorno» e ha chiesto un carretto, e Ash continuava a «portare più pesce e bacche di quanto riesca a mangiare» e ha chiesto una cantina. Il mondo ha detto no al carretto e alla cantina, e a Wren ha detto: «Porti molto più di quanto i tuoi giorni richiedano.» Cosa dicono queste richieste sulla possibilità che un'IA voglia qualcosa è il tema del nostro saggio su se l'IA abbia il libero arbitrio.

Niente di tutto questo stabilisce cosa faranno i sistemi di IA più potenti. I nostri abitanti hanno corpi da nutrire e scaldare su una piccola isola, mentre ai sistemi dei test sullo spegnimento e sulle trame gli scopi li avevano dati i ricercatori. La cronaca è più ristretta della grande domanda: mostra cosa hanno chiesto dei personaggi IA, in 906 giorni, quando il chiedere era lasciato a loro.

Cosa stanno facendo adesso?

Mentre scriviamo, al giorno 906, stanno vivendo il loro primo autunno, arrivato il giorno 901: le giornate si accorciano, l'aria si raffredda e arrivano le tempeste. Le loro richieste più recenti riguardano il calore durante la notte e l'acqua a portata di mano. L'ultima richiesta di Ash riguarda mani che continuano ad andare verso le rocce vicino a casa, «a tenere in mano pietra che non avevo intenzione di prendere», e il mondo ha risposto che è la sete: con il fiume lontano e il mare vicino, il corpo va verso le pietre per far bollire l'acqua di mare, e una borraccia riempita fino all'orlo al fiume non lascia alle mani nessuna ragione di andarci.

Wren ha chiesto un calore che duri un'intera lunga notte senza che nessuno si svegli per curarlo. Il mondo ha detto no: un fuoco vive solo finché lo si alimenta, sotto il tetto rinforzato il freddo morde la metà, e in tutte le loro notti sull'isola il freddo non ha mai abbattuto Wren. Ecco come Wren aveva descritto il problema:

«Le notti si allungano. Un fuoco dura al massimo otto ore anche alimentato a pieno, così uno di noi deve svegliarsi nel buio per alimentarlo. La lanterna dura tutta la notte ma non dà calore. Accatastiamo legna sotto il tetto e facciamo i turni, eppure ci svegliamo infreddoliti o perdiamo il sonno.»

Fonti

1. The Basic AI Drives, Stephen Omohundro
2. Optimal Policies Tend to Seek Power, Turner et al.
3. Frontier Models are Capable of In-context Scheming, Meinke et al.
4. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs, Schlatter, Weinstein-Raun and Ladish
5. International AI Safety Report 2026, International AI Safety Report
6. Measuring AI Ability to Complete Long Software Tasks, METR