Índice de temas
Cómo extraer el valor a la IA
La inteligencia artificial generativa (GenAI) y los agentes impulsados por IA demuestran su poder transformador en múltiples industrias. Su potencial es indiscutible, pero la rapidez con la que evoluciona el ecosistema dificulta avanzar con seguridad. En este artículo, compartiré mi experiencia sobre cómo las organizaciones pueden abordar este desafío y por qué es esencial replantear las métricas tradicionales para extraer todo el valor de la IA.
Lecciones de trinchera (2016-2017)
Al liderar una incubadora de innovación centrada en servicios cognitivos entre 2016 y 2017, comprobé de primera mano que unas evaluaciones rigurosas son críticas para llevar la IA del laboratorio a producción. En ese entonces, nuestro pequeño equipo desarrollaba chatbots diseñados para simplificar tareas tan dispares como el reconocimiento de activos mediante OCR y visión por ordenador, o el soporte interno de RR. HH. para una multinacional tecnológica. Estas soluciones tempranas —y relativamente básicas según los estándares actuales— pusieron en evidencia la necesidad crítica de mecanismos sistemáticos de evaluación. Aquellos bots se basaban principalmente en reglas o en recuperación de respuestas: podían elegir la mejor respuesta existente, pero no generarla. Los modelos generativos seq2seq seguían siendo muy exigentes en GPU y apenas se desplegaban en chatbots.
Tomemos como ejemplo nuestro chatbot “API”, que permitía a los ingenieros de campo reconocer activos industriales mediante OCR, optimizando significativamente su flujo de trabajo. Otro chatbot interno ofrecía soporte de primera línea en RR. HH., lo que resultó en un ahorro considerable de costos al permitir mejores negociaciones con la empresa subcontratada de soporte de nivel 1. En ese entonces, nuestros bots aún dependían de orquestadores de API hechos a mano. Entre 2015 y 2016 aparecieron los primeros servicios sequence-to-sequence (LSTM) en la nube, demostrando que era posible generar —y no solo recuperar— respuestas completas. Ese avance sentó las bases para la revolución del transformer en 2017 y, con el tiempo, para los agentes basados en LLM que conocemos hoy. Actualmente, gracias a protocolos modernos como MCP (Model Context Protocol) y A2A (Agent-to-Agent), los agentes basados en LLM pueden descubrir y utilizar APIs complejas de forma autónoma, permitiendo ejecuciones de tareas más dinámicas e inteligentes —algo que en 2016 apenas podíamos prototipar a mano. Esta evolución demuestra lo lejos que hemos llegado: de una lógica determinista simple a interacciones sofisticadas y adaptativas entre agentes.
Los marcos de evaluación conectan la tecnología con resultados empresariales claros y medibles, ofrecen una visión más profunda de la precisión, la capacidad de respuesta y la relevancia de los agentes en sus interacciones con los usuarios
GREGORIO FERREIRA, INTELLIAS
Sin embargo, a pesar de nuestros esfuerzos, quedó claro que los árboles de decisión deterministas y los flujos de preguntas y respuestas predefinidos no eran suficientes. Aprendimos rápidamente que realizar evaluaciones exhaustivas era esencial, no solo para evaluar cuán bien nuestros chatbots comprendían las consultas de los usuarios, sino también para resistir intentos intencionales de los usuarios por “romper” los bots. Años antes de que el término “observabilidad” se pusiera de moda ya registrábamos trazas exhaustivas, capturábamos estados y medíamos cada interacción. Nuestro enfoque meticuloso incluía registro de logs extensivo, monitoreo de estados y la captura de métricas detalladas sobre las interacciones de los usuarios, sentando las bases para las prácticas de evaluación más sofisticadas que vemos hoy en día. Esa disciplina sigue sustentando el marco de evaluación que presentamos hoy
Avanzando al presente —y aprovechando años de experiencia práctica— hemos perfeccionado nuestro enfoque en un marco de evaluación estructurado y sólido. ¿Por qué son tan importantes estos marcos ahora más que nunca?
Una inversión estratégica
Los marcos de evaluación conectan la tecnología con resultados empresariales claros y medibles, ofrecen una visión más profunda de la precisión, la capacidad de respuesta y la relevancia de los agentes en sus interacciones con los usuarios.
Una arquitectura probada en campo
Nuestro marco actual ha sido puesto a prueba en la práctica y se compone de tres capas principales:
- Generación de datos y trazabilidad: Los flujos automatizados garantizan conjuntos de datos estructurados y rastreables, alineados con los objetivos del negocio.
- Orquestación de evaluaciones con MLflow: El seguimiento integral en MLflow aporta reproducibilidad y transparencia a cada experimento.
- Informes accionables e insights: Cuadros de mando intuitivos integrados con herramientas de BI populares ofrecen transparencia para una toma de decisiones informada.
Métricas que importan
Nos enfocamos en métricas clave alineadas con el negocio:
- Fundamentación y fidelidad: Garantizar precisión factual.
- Relevancia y exhaustividad: Responder completamente a las consultas de los usuarios.
- Concisión y fluidez: Ofrecer interacciones claras y atractivas.
- Rendimiento, latencia y coste: Cumplir con los estándares operativos.
Acelerando la adopción empresarial
Nuestro marco de evaluación ofrece beneficios inmediatos:
- Escalabilidad rápida: Despliegue rápido y evaluaciones adaptables.
- Integración fluida: Fácil integración en infraestructuras diversas.
- Mejora continua: Evaluaciones periódicas que impulsan una mejora sostenida de tus soluciones de IA.
Transformando el potencial de la IA
Hoy, las empresas necesitan transparencia, claridad estratégica y resultados cuantificables de sus inversiones en IA. Sin estos elementos, la adopción de IA puede derivar en mera experimentación. Pero con el marco adecuado, la IA se vuelve responsable, medible y, en última instancia, transformadora.
El futuro pertenece a quienes no solo construyen IA, sino que lo hacen de forma responsable. La evaluación estructurada es el camino para lograrlo.
