La gobernanza de la IA suele plantearse como un problema relacionado con políticas. Las organizaciones necesitan establecer normas que regulen cómo puede utilizarse la IA, quién puede aprobar su uso y a qué datos puede acceder. Estas políticas son importantes, pero solo funcionan cuando la empresa tiene visibilidad sobre dónde están desplegados sus sistemas de IA.
Lograr esa visibilidad es cada vez más difícil a medida que la IA pasa de generar recomendaciones a ejecutar acciones de forma autónoma en los sistemas empresariales. Los agentes de IA ya pueden acceder a datos y tomar decisiones con una intervención humana limitada. Una persona puede aprobar el despliegue de un agente, pero eso no significa que pueda ver cada una de las acciones que este lleva a cabo una vez que entra en producción.
Investigaciones recientes muestran que, aunque el 88% de las organizaciones ya utilizan o están probando agentes de IA, solo el 28% confía en su capacidad para detectar sistemas de IA que operan fuera de los parámetros aprobados. La brecha entre lo que las organizaciones creen tener bajo control y lo que realmente pueden ver es cada vez más evidente.
Índice de temas
La IA está cambiando el entorno de producción
El software empresarial lleva años utilizando IA. Sin embargo, las organizaciones aún no han experimentado plenamente la escala y la velocidad con las que la IA puede modificar un entorno de producción. Una acción aparentemente razonable en un sistema puede modificar registros o permisos en otro lugar, pero cuando una persona detecta que algo no funciona correctamente, la acción original puede haberse propagado ya a otros sistemas. Esto modifica lo que las organizaciones necesitan en materia de gobernanza. La aprobación humana al inicio de un proceso no es suficiente si la organización no puede reconstruir posteriormente lo ocurrido.
Lo cierto es que este problema de visibilidad ya se ha planteado anteriormente. Cuando los servicios en la nube y el SaaS comenzaron a generalizarse, los equipos de infraestructura a menudo descubrían aplicaciones y máquinas virtuales cuando ya estaban en producción. La IA está generando un desafío similar, pero con una diferencia importante: esta puede interactuar activamente con otras cargas de trabajo y datos a una velocidad superior a la que los humanos pueden detectar o gestionar por sí solos.
La gobernanza comienza por saber a qué puede acceder la IA
Cuando las organizaciones saben dónde opera y puede intervenir la IA, la siguiente pregunta es a qué pueden acceder y qué pueden modificar esos sistemas. Un agente solo puede operar dentro de los permisos, datos y sistemas que tiene a su alcance, por lo que comprender estas relaciones es fundamental. Las organizaciones necesitan saber en qué datos se basa un agente, si esos datos son adecuados para la tarea, qué permisos tiene el agente y quién es responsable de sus resultados.
Aunque el 88% de las organizaciones ya utilizan o están probando agentes de IA, solo el 28% confía en su capacidad para detectar sistemas de IA que operan fuera de los parámetros aprobados
La lección no es que las organizaciones deban limitarse a bloquear la IA. Ese es un objetivo inalcanzable. Los empleados seguirán encontrando formas de utilizar herramientas que les faciliten el trabajo, independientemente de que estén autorizadas por la empresa o no. El objetivo más práctico es hacer que la IA sea lo suficientemente visible como para comprenderla y gobernarla, y lo suficientemente segura como para que los empleados puedan utilizarla.
Esto requiere incorporar la IA a las mismas disciplinas que desde hace tiempo se aplican al software en producción. Las nuevas aplicaciones se prueban antes de su despliegue. Se revisan los accesos. Se registran los cambios. Se documentan las dependencias. Los sistemas críticos cuentan con procedimientos de contingencia. La IA debe someterse a la misma disciplina operativa, teniendo en cuenta que los agentes pueden actuar por sí mismos.
Las pruebas también deben tener en cuenta los datos con los que un agente se encontrará en producción. Las organizaciones deberían poder validar modelos y agentes frente a conjuntos de datos adecuados antes de permitirles realizar cambios en entornos reales. Por tanto, contar con datos fiables forma parte del sistema de control que los rodea. También es fundamental establecer claramente quién es responsable. La gobernanza se vuelve difícil cuando la responsabilidad sobre la IA está tan distribuida que nadie puede responder por un sistema o resultado concreto.
Cuando algo sale mal, la visibilidad debe conducir a la recuperación
Ningún modelo de gobernanza evitará todos los errores de la IA. El objetivo más útil es definir claramente qué ocurre cuando se produce uno. Aquí es donde la IA cambia la definición tradicional de resiliencia. Históricamente, la recuperación ha consistido a menudo en restaurar un sistema o entorno después de una interrupción, un ciberataque u otro tipo de incidente. Sin embargo, un incidente provocado por la IA puede generar una situación de inactividad similar, aunque con una diferencia: el sistema puede seguir conectado y disponible mientras un agente modifica miles de archivos, altera registros o toma decisiones que generan problemas posteriores.
Restaurarlo todo puede ser innecesario, pero no restaurar nada puede ser inaceptable. Por ello, las organizaciones necesitan poder determinar el alcance de un incidente provocado por la IA y recuperar únicamente aquello que se haya visto afectado. Para ello, es necesario contar con una cadena de evidencias que conecte al agente, sus acciones, los datos con los que ha interactuado y los cambios que se han producido como consecuencia. Sin ese contexto, la recuperación se convierte solo en suposiciones.
Por eso, la preparación para la IA también debería incluir un plan de respuesta ante fallos antes de que un agente llegue a producción. ¿Qué ocurre si un agente empieza a comportarse de forma inesperada? ¿Quién puede desactivarlo? ¿Existe un proceso manual si el agente deja de estar disponible? ¿Se pueden rastrear sus acciones? ¿Puede la organización revertir los cambios sin tener que restaurar todo un entorno?
Estas preguntas pueden parecer propias de las prácticas operativas tradicionales, pero adquieren mayor importancia a medida que la IA asume más responsabilidades. El objetivo es conseguir que los fallos sean visibles, estén contenidos y puedan recuperarse.
La preparación para la IA es, en última instancia, un problema de visibilidad
Las organizaciones que más se beneficien de la IA no serán necesariamente aquellas que desplieguen más agentes o las primeras en llevarlos a producción. Serán aquellas que comprendan qué hacen estos sistemas una vez que están en funcionamiento.
Todo empieza por la visibilidad. Las organizaciones necesitan disponer de un inventario preciso de sus sistemas de IA, comprender los datos y permisos asociados a ellos, establecer claramente quién responde de sus acciones y contar con una forma de rastrear los cambios cuando algo sale mal.
La gobernanza es el proceso de poner estas capacidades en práctica, pero sin visibilidad se convierte, en gran medida, en un ejercicio basado en suposiciones. Redactar una política sobre lo que un agente de IA puede hacer es la parte fácil. Demostrar lo que ha hecho y deshacer sus acciones cuando sea necesario es lo que realmente exige estar preparados para la IA.
