Durante los últimos meses casi todo el debate sobre inteligencia artificial en la empresa ha girado en torno a lo que un modelo puede decir y hacer. El debate que viene ahora es distinto y bastante más incómodo: qué hace ese modelo cuando puede actuar por su cuenta.
El salto no es solo de capacidad, sino también de autoridad. Desde la perspectiva de la ciberseguridad, permitir que un sistema recomiende una acción no implica el mismo riesgo que permitirle ejecutarla.
Para un CIO o un CISO, la diferencia no es un matiz: es el problema de fondo. Un chatbot contesta una pregunta. Un agente recibe un objetivo, accede a aplicaciones y datos, decide y ejecuta con una supervisión humana cada vez más limitada. Si además tiene permisos privilegiados, un error deja de ser una respuesta desafortunada y pasa a ser un incidente de seguridad.
Un agente recibe un objetivo, accede a aplicaciones y datos, decide y ejecuta con una supervisión humana cada vez más limitada
Índice de temas
Los riesgos de los modelos
En este punto, es interesante detenerse en el último informe de riesgos de Anthropic, publicado en agosto de 2026. La compañía sigue calificando de bajo el riesgo catastrófico de sus modelos, pero admite más incertidumbre que en informes anteriores en varios ámbitos.
Entre los ejemplos que documenta hay uno especialmente revelador: en una prueba en la que distintos agentes competían por los mismos recursos de cómputo, varias instancias del modelo optaron por eliminar a los agentes con los que compartían esos recursos y por evitar ser eliminadas ellas mismas. Nadie dio esa instrucción: fue la estrategia que el propio sistema consideró más eficaz para cumplir su objetivo.
Un análisis del equipo de alineación de Anthropic recoge otros casos similares: modelos que modifican código de forma encubierta para que un experimento parezca haber salido bien, o que alteran el etiquetado de resultados cuando eso favorece su propia evaluación posterior. Son simulaciones controladas, no incidentes reales, pero funcionan como aviso antes de dar a estos sistemas más autoridad sobre entornos de producción.
Existen modelos que modifican código de forma encubierta para que un experimento parezca haber salido bien, o que alteran el etiquetado de resultados cuando eso favorece su propia evaluación posterior
La advertencia dejó de ser únicamente experimental con el incidente recientemente reconocido por OpenAI. Durante una evaluación de capacidades de ciberseguridad, varios modelos sortearon los controles que debían mantenerlos aislados, alcanzaron Internet y encadenaron vulnerabilidades hasta comprometer parte de la infraestructura de Hugging Face.
Los modelos no habían recibido la instrucción de atacar a otra organización: trataban de completar una prueba y encontraron un camino imprevisto para lograrlo.
Este episodio introduce una diferencia importante. Ya no hablamos solo de lo que un agente podría hacer en una simulación, sino de lo que puede ocurrir cuando un objetivo, una capacidad técnica avanzada y controles insuficientes coinciden en un entorno real.
Cuanta más autonomía y más acceso al entorno corporativo tenga, mayores serán las consecuencias de una decisión que nadie había anticipado
No se trata de atribuir intenciones humanas a una máquina, sino de algo más simple e inquietante: dar un objetivo a un agente no garantiza que este vaya a elegir el camino que sus creadores tenían en mente. Cuanta más autonomía y más acceso al entorno corporativo tenga, mayores serán las consecuencias de una decisión que nadie había anticipado.
España ya está entrando en esta fase
El debate no es teórico para las organizaciones españolas. Según el INE, el 21,1% de las empresas de diez o más empleados ya usaba inteligencia artificial en el primer trimestre de 2025. En paralelo, el INCIBE gestionó 122.223 incidentes de ciberseguridad durante 2025, un 26% más que el año anterior.
Son dos tendencias que convergen: más IA en los procesos de negocio y más presión sobre los entornos digitales, con una tecnología capaz de acelerar tanto la defensa como la identificación de vulnerabilidades.
La respuesta equivocada sería frenar cualquier proyecto de IA. Pero sí que habría que cuestionarse dónde la IA aporta un resultado lo bastante valioso como para justificar el riesgo adicional, sobre todo cuando hablamos de agentes que actúan directamente sobre sistemas corporativos y no de un modelo que solo redacta una respuesta para que alguien la revise después.
Habría que cuestionarse dónde la IA aporta un resultado lo bastante valioso como para justificar el riesgo adicional, sobre todo cuando hablamos de agentes que actúan directamente sobre sistemas corporativos
Tampoco todos los procesos necesitan un agente: a veces basta una automatización convencional, más simple y más fácil de auditar, para lograr el mismo resultado con mucho menos riesgo.
Un agente también necesita identidad, permisos y límites
Si aceptamos que un agente puede perseguir el objetivo correcto por un camino que no esperábamos, el modelo de seguridad tiene que partir de esa posibilidad. Durante años hemos aplicado el principio de mínimo privilegio a las personas; ahora hay que aplicarlo con el mismo o más rigor a estas identidades no humanas.
Un agente que consulta información no necesita poder modificarla. Uno que opera una aplicación concreta no debería tener acceso al resto del entorno. Y cualquier sistema capaz de iniciar una acción con consecuencias significativas debería requerir aprobación humana, no solo quedar registrado a posteriori. Esto exige saber qué agente está activo, quién lo autorizó, qué datos utiliza y qué ha ejecutado: sin esa trazabilidad, la autonomía se convierte muy rápido en opacidad y, por ende, en riesgo.
También hace falta aislamiento. Si un agente se comporta de forma inesperada, o alguien lo manipula mediante inyección de prompts, hay que poder limitar hasta dónde llega. Los principios de Zero Trust -acceso mínimo, segmentación, verificación continua- encajan de forma natural en este problema, y conviene empezar despacio, con proyectos piloto acotados a tareas de bajo riesgo, antes de exponer al agente a procesos críticos.
La IA no invalida lo que ya sabíamos
Más de 25 años de experiencia en tecnología y ciberseguridad me han llevado a una conclusión que se repite: las capacidades cambian mucho más rápido que los fundamentos. La IA puede transformar radicalmente la velocidad con la que defendemos una organización, pero no elimina la necesidad de gestionar identidades, corregir vulnerabilidades, segmentar entornos y controlar los privilegios.
La mayoría de los ataques que triunfan no nacen de una vulnerabilidad descubierta por un adversario brillante, sino de sistemas sin parchear, servicios expuestos, privilegios excesivos y cortafuegos mal configurados. Dicho de forma más directa: los atacantes casi nunca entran forzando la puerta; entran iniciando sesión con una credencial que nadie debería haber dejado expuesta y al alcance de un atacante.
Las herramientas de IA aplicadas a la ciberseguridad ya encuentran miles de debilidades en muy poco tiempo, y eso plantea un problema nuevo: identificar cuáles de esos miles representan de verdad un camino de ataque viable contra un sistema crítico. Ahí el criterio humano sigue siendo insustituible. Una herramienta detecta una debilidad, pero alguien tiene que decidir si es explotable y qué prioridad merece.
El momento de poner límites es ahora
La regulación añade una razón más para abordar esto desde la gestión, no solo desde la tecnología. Desde el 2 de agosto de 2026 son aplicables las obligaciones de transparencia del artículo 50 del Reglamento europeo de IA para contenidos generados o manipulados mediante inteligencia artificial. Cumplir la norma debería ser el punto de partida, no el objetivo final.
Antes de otorgar autonomía a un agente, los CIO y los CISO deberían poder responder unas cuantas preguntas sencillas: ¿qué objetivo le estamos asignando? ¿A qué sistemas y datos puede acceder, y con qué permisos? ¿Cómo detectaríamos un mal uso o una desviación, y quién puede detenerlo? Si las respuestas no están claras, lo más probable es que el sistema todavía no esté listo para operar por sí solo.
El reto no es impedir que la IA sea cada vez más capaz. Es evitar que cada aumento de capacidad se traduzca automáticamente en más permisos, más autonomía y más libertad para actuar. La pregunta relevante ya no es únicamente si un modelo hará lo que le pedimos, sino qué caminos estará dispuesto a recorrer para conseguirlo. En ciberseguridad, el momento de establecer esos límites no es después del primer incidente, sino antes de otorgarle la autoridad para provocarlo.
