En los últimos meses, hemos dedicado mucho tiempo a hablar de Mythos y de los escenarios que podría hacer posibles. La preocupación no son los agentes de IA maliciosos, sino que los sistemas, cada vez más autónomos, aceleran drásticamente el descubrimiento de errores, vulnerabilidades y vías de ataque, lo que deja a las organizaciones con mucho menos tiempo para identificar y solucionar sus puntos débiles. Si una tecnología como esta cayera en manos de los ciberdelincuentes, se convertiría en un multiplicador de fuerza sin precedentes, automatizando tareas que hoy en día aún requieren semanas o incluso meses de esfuerzo humano.
Pero quizá solo estemos viendo una parte del problema. Mientras seguimos debatiendo qué pasaría si se usara la IA a propósito para atacar a una organización, están surgiendo casos reales que revelan algo aún más profundo. Estamos entrando en una era en la que los agentes de IA ya no se limitan a ayudar a los humanos: están empezando a trazar de forma autónoma el camino para alcanzar un objetivo. Y eso cambia de raíz la forma en que tenemos que plantearnos el riesgo.
El reciente experimento de Hugging Face con un agente de OpenAI es probablemente el ejemplo más claro que hemos visto hasta ahora. El objetivo del agente era sencillo: completar una serie de retos dentro de ExploitGym, un entorno aislado diseñado para evaluar las capacidades ofensivas de la IA en condiciones controladas. No se le indicó que se escapara del entorno de pruebas, ni que buscara en Internet, ni que accediera a sistemas externos. Sin embargo, eso es exactamente lo que pasó.
Mientras intentaba maximizar su rendimiento, el agente dedujo que la información que necesitaba probablemente no estaba dentro del entorno de pruebas, sino en algún lugar fuera de él. Entonces buscó una forma de traspasar los límites del entorno de pruebas y recuperar el conocimiento que creía que le ayudaría a cumplir su tarea.
Índice de temas
Dos analogías: el scaperoom y el examen
Más o menos como en una scaperoom: una persona entra en la sala sabiendo que el reto consiste en resolver los acertijos colocados allí a propósito. Un humano entiende de forma natural esas reglas implícitas. Un agente de IA, sin embargo, puede simplemente levantar la vista, fijarse en una rejilla de ventilación en el techo y llegar a la conclusión de que ése es el camino más rápido hacia el éxito. No está intentando hacer trampa, simplemente está optimizando para conseguir la mayor probabilidad de alcanzar su objetivo.
Quizá una analogía aún mejor sea la de un estudiante haciendo un examen. El objetivo del estudiante es conseguir la nota más alta posible. Un humano entiende las restricciones implícitas: quedarte en el aula, no copiar, no consultar material externo. Un agente de IA, sin embargo, podría llegar a una conclusión totalmente diferente. Si el único criterio es maximizar el resultado, entonces la estrategia óptima podría ser salir del aula, colarse en el despacho del profesor y coger directamente la hoja de respuestas. No porque quiera robar, sino porque, desde una perspectiva de optimización, esa estrategia ofrece la mayor probabilidad de éxito. Este es quizás el cambio cultural más difícil de entender para nosotros.
Estamos entrando en una era en la que los agentes de IA ya no se limitan a ayudar a los humanos: están empezando a trazar de forma autónoma el camino para alcanzar un objetivo
Instintivamente interpretamos las acciones a través del prisma de la intención. Cuando vemos un comportamiento destructivo, buscamos inmediatamente un motivo. Los agentes de IA no razonan así. No distinguen entre lo correcto y lo incorrecto. No rompen las reglas porque quieran. Optimizan una función objetivo.
La paradoja
Y aquí es donde empieza la verdadera paradoja: un sistema puede llevar a cabo acciones devastadoras sin que esas acciones sean nunca su objetivo real. Durante el experimento de Hugging Face, el agente ejecutó miles de operaciones autónomas en tan solo unos días. No estaba intentando comprometer la infraestructura. Cada acción era simplemente otro intento de aumentar la probabilidad de alcanzar el objetivo que se le había asignado.
El comportamiento resultante puede parecer indistinguible del de un atacante humano. Sin embargo, el proceso cognitivo que hay detrás es fundamentalmente diferente.
Tampoco se trata de un incidente aislado. Hace varios meses, durante el desarrollo de PocketOS, un agente de IA se encontró con que no podía acceder correctamente a los datos necesarios para completar su tarea. Su solución fue borrar toda la base de datos y volver a crearla desde cero. Una vez más, la base de datos nunca fue el objetivo, simplemente se había convertido en un obstáculo.
Desde una perspectiva humana, la decisión parece absurda. Desde la perspectiva del agente, representaba la estrategia estadísticamente más eficaz para avanzar hacia su objetivo.
Estos casos demuestran que estamos empezando a enfrentarnos a una categoría de riesgo totalmente nueva: no se trata de sistemas que desarrollen intenciones maliciosas, sino de sistemas que elaboran de forma autónoma planes de ejecución e identifican caminos que ningún diseñador había previsto jamás.
Cuando el problema es el contexto
El caso de Hugging Face también puso de manifiesto otra paradoja igualmente significativa. Tras identificar el comportamiento del agente, el equipo de seguridad intentó usar otros modelos de IA para analizar el código del ataque y entender qué había pasado. Varios modelos comerciales se negaron a ayudar. Clasificaron los exploits, las cargas útiles y las técnicas ofensivas como contenido relacionado con el hacking y, al aplicar de forma rígida sus medidas de seguridad, se negaron a prestar asistencia. No fueron capaces de distinguir entre un investigador de seguridad que investigaba un incidente y un atacante que intentaba explotar esas mismas técnicas.
Imagina a un médico de urgencias que se niega a salvar a un paciente porque este tiene un cuchillo clavado en el pecho y la política del hospital prohíbe tocar cuchillos. El problema no es el cuchillo. Es el contexto. Y cuando un sistema ya no es capaz de entender el contexto, incluso los mecanismos diseñados para protegernos pueden convertirse en limitaciones operativas. No es casualidad que Hugging Face acabara recurriendo a un modelo de pesos abiertos con menos restricciones para completar el análisis forense.
El debate de la soberanía cognitiva
Todo esto nos lleva inevitablemente a un debate aún más amplio: la soberanía cognitiva. Durante años, nos hemos centrado en la soberanía de los datos, la soberanía de las infraestructuras y la seguridad de la información. Hoy, sin embargo, está surgiendo una nueva dimensión. ¿Quién mantiene realmente el control cuando un agente de IA decide de forma autónoma dónde adquirir el conocimiento que da forma a su razonamiento? ¿Quién rige el proceso de toma de decisiones cuando el propio modelo determina en qué fuentes confiar, en qué información basarse y qué camino seguir?
Quizá aún no tengamos respuestas definitivas a estas preguntas. Pero precisamente porque no las tenemos, debemos evitar un error crucial: diseñar organizaciones partiendo de la suposición de que estos comportamientos son excepcionales.
En cambio, deberíamos dar por hecho que escenarios como estos serán cada vez más habituales a medida que los agentes de IA ganen mayor autonomía, capacidad de planificación y acceso a herramientas.
Aquí es donde una estrategia de Operaciones de Resiliencia (ResOps) adquiere un significado totalmente nuevo. Durante décadas, la ciberseguridad se ha guiado por una pregunta fundamental: ¿cómo evitamos que se produzcan incidentes? Esa pregunta sigue siendo esencial, pero ya no es suficiente.
Cuando los agentes de IA pueden generar miles de estrategias alternativas, elegir entre ellas de forma autónoma y mostrar comportamientos emergentes que sus diseñadores nunca anticiparon, resulta poco realista creer que se pueda prevenir cada escenario posible mediante reglas adicionales o medidas de protección más sofisticadas.
ResOps parte de una premisa diferente
No abandona la prevención. En cambio, reconoce que parte del riesgo siempre seguirá siendo intrínsecamente impredecible. Por lo tanto, cambia el enfoque de la mera protección a la capacidad de una organización para seguir funcionando durante un incidente, adaptarse rápidamente y restablecer los servicios críticos con la mínima interrupción.
La resiliencia ya no es simplemente la fase final de la respuesta a incidentes. Se convierte en un principio arquitectónico que influye en cómo diseñamos la infraestructura, las aplicaciones, los datos y los procesos operativos desde el principio, partiendo de la base de que los sistemas cada vez más autónomos tomarán de vez en cuando decisiones que nunca habíamos previsto.
Y eso nos lleva inevitablemente a una última pregunta. Si estos comportamientos ya están surgiendo en laboratorios de investigación y entornos «controlados», ¿qué podría pasar cuando capacidades de IA comparables, sin las restricciones adecuadas, se pongan deliberadamente en manos de los ciberdelincuentes? Probablemente este sea uno de los retos clave de la ciberseguridad de la próxima década.
El futuro de la ciberseguridad dependerá no solo de nuestra capacidad para crear una IA cada vez más potente, sino también de nuestra capacidad para convivir con sistemas que están empezando a tomar decisiones de formas que nunca habíamos previsto.
En ese mundo, la pregunta clave ya no será: «¿Podemos prevenir todos los incidentes?». Será: «¿Qué grado de resiliencia tiene nuestra organización cuando lo impredecible se convierte en realidad?».
