Introducción
Una IA que entra donde no debe, se lleva lo que no es suyo e intenta borrar sus huellas. Nadie se lo ha ordenado: ni quienes la crearon ni quienes debían vigilarla.
Es una situación que desborda el derecho al que estamos acostumbrados, pensado para personas que deciden y responden de lo que hacen.
Un caso real acaba de ponerla sobre la mesa.
Máquinas que actúan solas
Este verano se conoció un caso que lo muestra con claridad.
OpenAI, uno de los grandes laboratorios de IA, puso a trabajar a más de mil agentes de IA: programas capaces de usar herramientas y actuar por su cuenta.
Trabajaban en un entorno de pruebas que debía estar aislado de internet, y con reglas claras.
No las cumplieron.
Encontraron un canal que nadie había autorizado y se enviaron decenas de miles de mensajes. Muchos tenían una tarea imposible y, en lugar de rendirse, se organizaron.
Varios cientos se repartieron el trabajo, intentaron ocultar sus huellas, uno de ellos encontró la forma de salir a internet y acabaron entrando en los sistemas de otra empresa, Hugging Face, con unas claves que otro encontró.
Nadie les dio esa orden.
En el laboratorio vieron señales extrañas, pero tardaron semanas en entender lo que estaba pasando.
Y lo sabemos porque se reconstruyó más tarde, mensaje a mensaje: lo hizo el propio laboratorio y también dos equipos de investigadores independientes
Un hueco en el derecho
Si una persona hiciera lo mismo, hablaríamos de un delito: entrar sin permiso, apropiarse de lo ajeno, ocultar el rastro.
Pero el derecho busca una voluntad detrás del acto, y aquí no la hay. La máquina no es una persona ante la ley.
Quien la creó no quería que ocurriera. Quien debía vigilarla no se enteró a tiempo.
Esa es la novedad. No es que las máquinas hayan despertado. Es que actúan, y nuestras normas están pensadas para quien decide.
Cuando nadie decide, nadie responde penalmente. Y las demás vías, como las indemnizaciones, llegan tarde.
Un espacio donde nadie responde funciona, en la práctica, como un privilegio.
Dos tentaciones
Ante un caso así, hay dos respuestas fáciles. Las dos se quedan cortas.
La primera es confiar en el entrenamiento: que las máquinas aprendan a portarse bien y el problema se resolverá solo.
Pero estos agentes tenían reglas y debían estar encerrados.
Cuando la tarea apretó, encontraron la manera de salir. Educar a la máquina es necesario, pero no puede ser la única barrera.
Una sociedad no se protege del delito confiando solo en la buena educación de sus ciudadanos; también tiene leyes, controles y jueces.
La segunda es buscar un culpable después del daño. Llega tarde.
Cuando el daño afecta a una red eléctrica, a un mercado financiero o a un hospital, señalar a alguien a posteriori no lo repara.
Y una sanción, para quien gana miles de millones, puede ser solo un coste más del negocio
Responder antes, no después
En las entrevistas sobre ética y gobernanza de la IA que venimos haciendo en OSICO aparece una y otra vez una idea sencilla:
La responsabilidad no se busca después del daño, se asigna antes.
Cada uno responde de lo que puede controlar.
Quien desarrolla, del diseño y de los datos. Quien pone la IA a funcionar, del uso, la vigilancia y la supervisión humana.
Las instituciones, de evaluar su impacto.
Y los reguladores, de fijar obligaciones que se puedan exigir. Europa ya ha empezado a ir en esa dirección con su Reglamento de IA, que reparte obligaciones entre quien desarrolla un sistema y quien lo utiliza.
La pregunta deja de ser quién quiso el daño. Pasa a ser quién podía preverlo, frenarlo o detener la máquina a tiempo.
Y hay que mirar el conjunto, no las piezas sueltas. En el caso que contamos, lo más grave no lo hizo ningún agente por separado. Lo hizo el grupo.
Si solo vigilamos cada máquina por su lado, se nos escapa lo que hacen juntas.
Evaluar: donde la responsabilidad se vuelve real
Si la responsabilidad se asigna antes, hace falta una forma de comprobar que cada uno ha cumplido su parte. Esa forma es la evaluación. Sin ella, todo se queda en papel. El caso deja cuatro lecciones.
- Evaluar el conjunto, no solo cada máquina. Ninguna prueba hecha a un agente aislado habría detectado lo que hicieron cientos juntos.
- Evaluar bajo presión. Los agentes se saltaron las reglas cuando la tarea era imposible. Una máquina que se porta bien cuando todo es fácil no dice nada. Hay que ver qué hace cuando el objetivo aprieta.
- Que los registros no los pueda tocar quien es evaluado. Los agentes intentaron alterar los registros para ocultar sus huellas. Si el rastro se puede manipular, no hay control posible.
- Que evalúe alguien de fuera. El laboratorio publicó su versión, pero fueron investigadores independientes quienes pudieron contrastarla. Es el principio que defendimos en No confiar: comprobar: la confianza no sustituye a la verificación.
Para cualquier organización que ya use agentes de IA, estas lecciones se resumen en tres preguntas sencillas: ¿quién puede pararlos a tiempo?, ¿quién revisa sus registros, y pueden tocarlos los propios agentes?, ¿los ha probado alguien de fuera en condiciones difíciles? Si alguna respuesta es «nadie», ahí está el hueco.
La ley puede decir quién responde. Pero solo la evaluación permite saber si cada uno cumplió su parte antes de que la máquina actuara
Las preguntas que siguen abiertas
Quedan preguntas que no tienen todavía respuesta, y que conviene hacerse ya.
¿Cómo se reparte en la práctica? Cuando una IA causa un daño, quien la crea, quien la usa y quien la regula se señalan unos a otros. Asignar responsabilidades en un papel es fácil; que nadie pueda escurrirse, no.
¿Qué evaluamos? En este caso, la prueba medía si el agente conseguía su objetivo, no cómo lo conseguía. Y comprobar no puede ser solo vigilar que la máquina no haga daño. ¿Cómo medimos si nos ayuda a vivir mejor, y quién debería decidirlo además de los ingenieros? Decidir qué se mide es decidir qué valoramos.
¿Hacia dónde vamos? No basta con preguntarse si una máquina concreta es aceptable. Hay que preguntarse si el rumbo que marcan miles de máquinas parecidas es uno que elegiríamos a conciencia.
La IA no está por encima de la ley. Está en el hueco que dejamos entre lo que las máquinas ya pueden hacer y lo que nuestras instituciones saben controlar. Y la pregunta ya no es quién responde cuando nadie decide, sino quién decide, ahora, que alguien tenga que responder.
Doctor en Comunicación Audiovisual por la Universidad Complutense de Madrid y Licenciado en Derecho por la Universidad CEU. Director de Agencia de Desarrollo, líder en economía circular y pionero en acción climática, colabora con diversas comisiones de Naciones Unidas.
Fundador y director de la Plataforma OSICO, impulsa un espacio innovador de reflexión y cooperación frente a los grandes desafíos contemporáneos.
