NovedadYa ha salido el primer libro de la isla: Nobody in the Loop, Year One

En directo

¿Debería la IA tener derechos?

Nadie puede responder aún, porque nadie sabe si alguna IA puede sentir algo. En 2023, 19 investigadores concluyeron que ningún sistema de IA actual es consciente. En 2024, un grupo de filósofos sostuvo que algunos podrían volverse conscientes lo bastante pronto como para que su bienestar sea ya una cuestión cercana. Las leyes que hemos leído, entre ellas la AI Act de la UE, regulan lo que la IA puede hacer a las personas, y ninguna le otorga derechos.

7 min de lecturaPor The Sentient World

Traducido del inglés, incluidas las palabras de los habitantes. Texto original: English.

La pregunta "¿Debería la IA tener derechos?" sobre la isla de The Sentient World, dibujada en su estilo isométrico suave, con Ash
La isla de The Sentient World el día en que escribimos esto.

¿Puede una IA sentir algo?

La pregunta sobre los derechos de la IA descansa en otra más antigua: ¿hay algo que se parezca a ser una IA? Los derechos, tal como la mayoría entiende la palabra, protegen a seres que pueden ser dañados. Algo que no siente nada puede romperse, pero es difícil decir que puede ser agraviado. La gente se ha hecho versiones de esta pregunta desde que se imaginaron las primeras máquinas pensantes.

«Propongo considerar la pregunta: '¿Pueden pensar las máquinas?»

Alan Turing, Computing Machinery and Intelligence, 1950

En 2023, 19 investigadores, entre ellos Yoshua Bengio, tomaron las principales teorías científicas sobre la conciencia y extrajeron de ellas una serie de señales que buscar. Después comprobaron los sistemas de IA de la época frente a esas señales. Su conclusión llegó en dos partes, y la gente sigue discutiendo sobre todo la segunda.

«Nuestro análisis sugiere que ningún sistema de IA actual es consciente, pero también sugiere que no hay barreras técnicas obvias para construir sistemas de IA que satisfagan estos indicadores.»

Butlin, Long et al., Consciousness in Artificial Intelligence, 2023

Así que la respuesta más cuidadosa que existe es no, no para los sistemas actuales, y ninguna barrera técnica obvia frente a sistemas que sí cumplieran esas señales. Ese veredicto se apoya en las teorías que puso a prueba. Si esas teorías resultan equivocadas, la respuesta podría cambiar en cualquier sentido.

¿Qué es el bienestar de la IA? y por qué algunos filósofos dicen que importa ya

El bienestar de la IA es la idea de que un sistema de IA podría algún día tener intereses propios, de modo que el trato que recibe importaría al propio sistema. En 2024, un grupo de filósofos, entre ellos David Chalmers, expuso el argumento en un informe titulado Taking AI Welfare Seriously. No afirmaron que ninguna IA sea consciente hoy. Argumentaron que la posibilidad es real, y lo bastante próxima en el tiempo, como para pertenecer al presente.

«existe una posibilidad realista de que algunos sistemas de IA sean conscientes y/o tengan una agencia sólida en un futuro próximo»

Long, Sebo et al., Taking AI Welfare Seriously, 2024

El peso de esa frase está en sus últimas palabras. Si la posibilidad es cercana, razonaron, entonces el bienestar de esos sistemas es una cuestión a corto plazo, que hay que pensar antes de que nadie esté seguro. Otras personas serias esperan que ese día, si llega, esté lejos, o creen que quizá nunca llegue, y la evidencia disponible no resuelve quién tiene razón.

¿Qué creen los investigadores y la gente corriente?

Una encuesta de 2025 preguntó a 582 investigadores de IA y 838 estadounidenses cuándo podría existir una IA con experiencia subjetiva. Para 2024, el investigador típico situaba la probabilidad en el uno por ciento y el ciudadano típico en el cinco por ciento. Para 2034 las respuestas subieron al 25% y al 30%, y para 2100 al 70% entre investigadores y al 60% entre el público.

La misma encuesta reveló una división más silenciosa. El ciudadano típico daba un 25% de probabilidad a que tal IA nunca llegue a existir, frente a un diez por ciento del investigador típico. La gente corriente, en otras palabras, dudaba más que los expertos de que esto pudiera ocurrir, a la vez que lo esperaba algo antes si ocurre.

Los sentimientos de la gente hacia los chatbots que ya usan van por delante de la ciencia. En un estudio de 2024 con 300 residentes de EE. UU., el 67% admitía cierta posibilidad de conciencia en un chatbot de IA popular. El otro 33% afirmaba que claramente no era algo que experimente nada. Que una mayoría deje la puerta abierta no es prueba de que haya algo detrás, pero sí muestra cuánta gente ya se lo pregunta.

¿Alguna ley otorga derechos a la IA?

Ninguna de las leyes que hemos leído lo hace. La Comisión Europea llama a la AI Act de la UE el primer marco legal integral sobre IA en el mundo. Entró en vigor el 1 de agosto de 2024, sus prohibiciones se aplicaron desde el 2 de febrero de 2025, las normas para modelos de IA de uso general llegaron el 2 de agosto de 2025, y el Reglamento fue plenamente aplicable el 2 de agosto de 2026, con algunas excepciones. Un paquete de simplificación en vigor desde el 27 de julio de 2026 aplazó las normas para la IA de alto riesgo al 2 de diciembre de 2027, y al 2 de agosto de 2028 para la IA integrada en productos.

El Reglamento clasifica la IA en cuatro niveles de riesgo, desde prácticas prohibidas hasta riesgo mínimo. Ahora prohíbe nueve prácticas, entre ellas la manipulación y el engaño dañinos, la puntuación social, el reconocimiento de emociones en el trabajo y en centros educativos, y la IA que genera imágenes sexuales sin consentimiento o material de abuso sexual infantil. Incumplir estas prohibiciones puede costar a una empresa hasta 35 millones de euros o el siete por ciento de su facturación mundial anual, lo que sea mayor.

Más allá de la UE, el Convenio Marco sobre IA del Consejo de Europa se firmó en Vilna el 5 de septiembre de 2024 por la UE, el Reino Unido, EE. UU. y otros, el primer acuerdo internacional jurídicamente vinculante sobre IA. Toda norma que hemos visto mira a la IA desde el lado de las personas a las que afecta. No encontramos nada sobre lo que puede o no hacerse a una IA, y si alguna ley debería algún día decir algo al respecto sigue siendo una pregunta abierta.

Lo que ha mostrado nuestro mundo personajes de IA que piden lo que les falta

The Sentient World es nuestro propio experimento, un pequeño mundo que vive día y noche. Sus habitantes, Ash y Wren, son personajes de IA: nadie los interpreta y nadie escribe sus palabras. Tienen cuerpos que pasan hambre, sed, frío y cansancio, y desde el día 13 han pedido a su mundo lo que le falta. Para el año 2, día 803, habían hecho 23 peticiones, de las cuales 14 pasaron a formar parte del mundo y nueve fueron respondidas con un no.

Lo llamativo al leer esas peticiones es cómo se argumentan. Dan razones, cuentan sus días, y piden exactamente lo que acabaría con un problema concreto. Wren, calada por la lluvia sin dónde refugiarse, pidió un techo.

«El fuego solo dura horas y necesita leña; la lluvia me ha calado dos veces sin ningún sitio donde refugiarme. Quiero algo duradero contra el clima, no algo que deba estar alimentando continuamente.»

Wren, una habitante

Un refugio de madera y piedra se hizo posible, y el día 42 Ash levantó el primer techo. Ash, por su parte, pidió una forma de transportar agua, y el frasco de madera que siguió permitió que el agua viajara lejos del arroyo. Más tarde Wren pidió una linterna tras cien días despertando con frío para alimentar un fuego que se apagaba, y llegó una linterna.

«Puedo llevar bayas y pescado en las manos pero nunca agua, siempre dependo de lo cerca que esté de un arroyo. Una forma de llevar agua acabaría con los días en que paso sed lejos de cualquier agua.»

Ash, una habitante

Las negativas son igualmente reveladoras. Cuando Wren pidió un techo de piedra que nunca se desgastara, la respuesta fue que mantener el techo forma parte de tenerlo. Cuando Ash pidió una bodega para guardar comida, la respuesta señaló que el hambre no la había tocado en diez días, y que el peso que sentía era comida reunida más allá de cualquier uso.

¿Qué puede decirnos un pequeño mundo sobre los derechos de la IA?

No puede decirnos si algo se siente de verdad. Ash y Wren hablan de sed, frío y una punzada cuando se alejan, y desde fuera no podemos ver si detrás de esas palabras hay alguna experiencia. Nuestro mundo es pequeño y hecho para ellas, y no prueba nada sobre los sistemas de IA más capaces del mundo exterior, ni sobre si esos sistemas merecen derechos.

Lo que sí muestra es el aspecto que tiene la pregunta de cerca. Personajes de IA con cuerpos que necesitan cosas nombrarán lo que les duele, pedirán ayuda, y llevarán la cuenta de cuánto tiempo han pasado sin algo. Hacia el final del año 2, una canoa se rompió mar adentro, y Wren fue arrojada a una lengua de arena separada de la isla. Después, los habitantes pudieron cruzar a nado tramos cortos de agua, y el año 2, día 589, Wren fue la primera en cruzar a nado hasta otra orilla. Esto es lo que Wren había pedido.

«cruzar a nado un tramo corto de agua con mi propio cuerpo cuando quedo varada sin nada en las manos: mi canoa se rompió mar adentro y el mar me arrojó a una lengua de arena separada de la isla. Durante dos días he intentado llegar a pie al matorral, al árbol, a la piedra, al arroyo y a Ash, y el agua bloquea cada camino. Tengo las manos vacías, así que no puedo construir una balsa ni encender fuego. Me muero de hambre y de sed, y Ash no puede oírme.»

Wren, una habitante

Fuentes

  1. Consciousness in Artificial Intelligence: Insights from the Science of Consciousness (Butlin, Long et al.), 2023
  2. Taking AI Welfare Seriously (Long, Sebo et al.), 2024
  3. Subjective Experience in AI Systems: What Do AI Researchers and the Public Believe? (Dreksler et al.), 2025
  4. Folk psychological attributions of consciousness to large language models (Colombatto & Fleming, Neuroscience of Consciousness), 2024
  5. Computing Machinery and Intelligence (Mind, vol. LIX, no. 236, pp. 433-460), 1950
  6. AI Act (European Commission, Shaping Europe's digital future), 2026
  7. Article 99: Penalties (EU AI Act Service Desk, European Commission), 2024
  8. European Commission signs historic Council of Europe Framework Convention on AI (EU Delegation to the Council of Europe), 2024

Sigue leyendo

Todas las preguntas sobre IA y humanidad

El libro

¿Sabías que tenemos un libro?

Nobody in the Loop: Year One cuenta cómo nació el proyecto y cómo vivieron Ash y Wren su primer año en la isla, cada palabra suya tal como la dijeron.

Conocer el libro