Índice de temas
¿En qué consiste la IA multimodal?
La inteligencia multimodal hace referencia a los sistemas de IA que pueden entender, recoger y procesar la información desde distintas fuentes o, como bien su nombre indica, ‘modalidades’, como por ejemplo texto, imágenes, audio, vídeo, entre otros.
La IA multimodal no depende de una sola fuente y es capaz de integrar y analizar diferentes orígenes para lograr resultados más completos y con un mayor contexto, similar a cómo nosotros mismos procesamos la información que cada día recibimos.
Breve historia de la IA multimodal
La IA multimodal es el resultado de décadas de avances en sus diferentes disciplinas. Durante la década de los ochenta y noventa ya existían sistemas primitivos que integraban distintos inputs como voz y texto, pero su capacidad de procesamiento era muy baja y no tenían acceso a datos suficientes.
En el 2010 llegó el deep learning con modelos que empezaron a especializarse por separado. Esto fue un salto de gigante, pero aún trabajaban en departamentos distintos, el análisis de texto y voz avanzaban, pero no se integraban en un solo sistema.
Entre 2015 y 2019 comenzaron a desarrollarse los primeros sistemas de IA multimodales como los conocemos ahora, por ejemplo, de descripción por imágenes o los primeros sistemas que permitían responder preguntas escritas basándose en una imagen
Los años posteriores, entre 2015 y 2019, comenzaron ya a desarrollarse los primeros sistemas de IA multimodales como los conocemos ahora, por ejemplo, de descripción por imágenes en el caso de Show and Tell, de Google, o los primeros sistemas denominados Visual Question Answering, que permitían responder preguntas escritas basándose en una imagen.
2020 supuso un gran punto de inflexión en la IA multimodal, con el desarrollo de arquitecturas que permitían entrenar a los modelos de IA con fuentes distintas.
Modelos como CLIP y DALL·E o Flamingo le mostraron al mundo que por fin era posible traducir imágenes a lenguaje y viceversa.
Ahora, la IA multimodal se ha consolidado como el nuevo estándar. Modelos como GPT-4 con visión, GPT-4o que integra voz y vídeo, Gemini de Google o Claude 3 son algunos de los principales ejemplos que podemos nombrar, modelos que ya no solo entienden y procesan texto, sino también, imágenes, audio, gestos e incluso un contexto visual determinado.
¿En qué consiste la IA multimodal? Aplicaciones en la vida real
Vamos a explicar más en profundidad qué es la IA multimodal a través de ejemplos sencillos y prácticos.
Análisis de imagen + texto
GPT-4o (Open AI): puede recibir una imagen y una pregunta escrita acerca de la misma. Por ejemplo, puedes enviar la imagen de una factura y preguntarle: ¿Cuál es el importe total de la factura con IVA? Te dará la cifra exacta sin necesidad de usar la calculadora.
Vídeo + audio + texto
Sora (OpenAI): esta inteligencia artificial genera vídeos realistas a partir de descripciones y prompts precisos. Combina texto con aprendizaje audiovisual para poder recrear el movimiento en el vídeo, las escenas y atmósferas que se le pidan.
Whisper + GPT (OpenAI): esta IA analiza vídeos grabados, transcribe su audio a través de Whisper y genera un resumen escrito, además de responder a las preguntas que se le hagan analizando la fuente ofrecida.
Aplicaciones en salud
Aidoc: combina imágenes médicas como radiografías, TAC y otras pruebas visuales con texto clínico para detectar anomalías y apoyar al profesional médico en el diagnóstico.
BioGPT + imágenes médicas: este modelo de IA puede leer informes clínicos, observar imágenes y explicar en un lenguaje natural y sencillo lo que ven y cómo se relaciona la información con los síntomas del paciente.
Conducción autónoma
Tesla Autopilot / Waymo / Mobileye: estos sistemas combinan vídeo en tiempo real a través cámaras frontales y laterales, sensores como LiDAR y radares además de texto de navegación desde las apps de mapas. Todo este conjunto de inputs se analiza para tomar decisiones al volante de manera segura.
Audio + texto + expresión facial
Replika / Character.AI: asistentes de conversación que entienden el tono de voz, las expresiones faciales cuando se hace uso de cámaras y texto para mantener una conversación más humana, realista y coherente.
Accesibilidad
Be My Eyes (con GPT-4o): una aplicación destinada a acompañar a las personas ciegas y con discapacidad visual. Apuntas la cámara a cualquier cosa y te dice en voz alta qué está observando. Además, puedes hacerle preguntas sobre la imagen. Por ejemplo, apuntas a un producto y le dices: “¿Cuántas calorías tiene esto?», y te responde con el dato.
Creación de contenido
DALL·E + ChatGPT: una herramienta esencial para cualquier creador de contenido. Describe con texto lo que quieres y la aplicación te generará una imagen.
Ventajas de la IA multimodal
La IA multimodal ha supuesto un salto de gigante en esta tecnología, no solo a nivel técnico sino a un nivel práctico, permeando a diferentes sectores en la sociedad.
La IA multimodal no solo puede manejar distintos tipos de formato de información, sino que lo hace de manera integrada y contextual
La IA multimodal no solo puede manejar distintos tipos de formato de información, sino que lo hace de manera integrada y contextual. Estas son algunas de sus principales ventajas:
Entendimiento más completo del contexto ofrecido
La IA multimodal combina imagen y texto para ofrecer resultados más ricos y precisos.
Por ejemplo, puede interpretar una imagen que le enseñemos y, además, tener en cuenta lo que hemos añadido, ya sea en voz o escrito, ajustando su respuesta a un determinado contexto. Esto reduce las respuestas ambiguas y la posible falta de información.
Un comportamiento que lo hace más ‘humano’
Las personas procesamos la información desde nuestros sentidos: vista, oído, gusto, olfato, tacto… La IA multimodal imita nuestro comportamiento y la convierte en una herramienta más natural y ‘humana’ para interactuar con nosotros, tanto en interfaces conversacionales como en sistemas autónomos.
La IA multimodal puede interpretar una imagen que le enseñemos y, además, tener en cuenta lo que hemos añadido, ya sea en voz o escrito, ajustando su respuesta a un determinado contexto
Una mayor capacidad para interactuar con las personas
Al interpretar en conjunto imagen, texto, audio y video, estos modelos se integran mejor en aquellos sistemas que requieren múltiples entradas y salidas.
Leen documentos, interpretan la escena, escuchan órdenes habladas y, a su vez, pueden responder con otra imagen, una gráfica o un audio. La conversación entre el humano y la máquina adquiere un nuevo nivel con la IA multimodal.
Un salto cuantitativo con respecto a la automatización
La combinación de modalidades permite la automatización más potente de tareas que requerían de la intervención humana o de varias herramientas de IA.
Por ejemplo, puede analizar un documento escaneado y extraer los datos clave, interpretar una imagen de producto y redactar su ficha para un e-commerce, o detectar fallos precisos en la cadena de producción de una empresa a partir de vídeos y sensores IoT colocados estratégicamente.
Tendencias de futuro en la IA multimodal
La IA multimodal apenas lleva unos años desarrollando un potencial incipiente. Su evolución apunta a un impacto que transformará radicalmente múltiples sectores e industrias en nuestra sociedad. Estas son algunas de las tendencias clave que se han de tener en cuenta en los próximos años.
Integración nativa con hardware y dispositivos
La IA multimodal está aprendiendo a interactuar con diferentes dispositivos de manera más fluida: cámaras, micrófonos, sensores IoT. Por ejemplo, las gafas inteligentes combinan visión, lenguaje y voz para asistir a quien las lleva mientras camina.
La IA multimodal está aprendiendo a interactuar con diferentes dispositivos de manera más fluida: cámaras, micrófonos, sensores IoT
Modelos más ligeros y eficientes
Cuando la tecnología madure, veremos modelos de IA multimodales más rápidos y energéticamente sostenibles. Esto supondrá su implementación más sencilla y práctica en móviles, dispositivos wearables, robots, sin necesidad de tener conexión permanente con la nube.
Una personalización extrema
Los sistemas multimodales del futuro podrán disfrutar de una personalización al máximo, adaptándose no solo a la tarea en concreto sino al estilo, preferencias de cada usuario.
La IA multimodal podrá recorda interacciones anteriores, ajustar el tono de conversación deseado, anticiparse a las necesidades y peticiones, y proponer soluciones aún más efectivas y alineadas con los hábitos del usuario
Podrán recordar interacciones anteriores, ajustar el tono de conversación deseado, anticiparse a las necesidades y peticiones, y proponer soluciones aún más efectivas y alineadas con los hábitos del usuario.
Razonamiento avanzado
Los sistemas multimodales del futuro no solo reconocerán patrones, sino que serán capaces de razonar a través del análisis profundo de los mismos.
Esto implica que serán capaces de inferir lo que no está explícito, conectar diferentes ideas entre distintas fuentes, detectar posibles contradicciones y hacer recomendaciones que vayan más allá de la estadística y usen una base lógica y razonada.
Desafíos y limitaciones de la IA multimodal
Aunque la IA multimodal haya supuesto un salto de gigante en nuestra relación con las máquinas, aún debe enfrentar retos importantes que condicionan su evolución, crecimiento, despliegue y adopción. Estos son algunos de los más relevantes.
Complejidad técnica y computacional
Entrenar modelos de IA multimodal requieren de una arquitectura muy compleja, volúmenes masivos de datos y una potencia de cálculo cada vez más elevada.
Esto, por supuesto, hace que el proceso sea mucho más caro que en los modelos actuales y limita su acceso a grandes organizaciones con recursos específicos. La democratización de la IA multimodal aún está en desarrollo.
Dificultad para evaluar el rendimiento
Aún no existen métricas estándar bien consolidadas para los sistemas multimodales. Medir su calidad no es tan directo como ocurre con los modelos de solo texto o vídeo.
Ambigüedad e interpretación cruzada
Combinar diferentes entradas genera confusión, sobre todo si los datos no están bien alineados. Un texto ambiguo que acompañe a una imagen fuera de contexto puede llevar a errores. Este es un punto crítico en este tipo de IA: la sincronización entre modalidades.
Combinar diferentes entradas genera confusión, sobre todo si los datos no están bien alineados. Un texto ambiguo que acompañe a una imagen fuera de contexto puede llevar a errores
Sesgos amplificados
Para entender mejor este punto, nada mejor que un ejemplo. Imaginen un sistema multimodal de selección de personal que debe analizar, a la vez, el currículum del candidato, la foto de perfil y un vídeo corto de presentación.
Si los datos con los que se ha entrenado están mayoritariamente compuestos por jóvenes blancos, el sistema podría favorecer a candidatos que se ajusten a este patrón.
Privacidad y uso de datos personales
La privacidad y el uso de los datos personales es una cuestión que importa no ya solo en sistemas multimodales, sino en cualquier IA.
El hecho de que la IA multimodal pueda procesar la información desde distintos orígenes plantea nuevos desafíos en cuanto a protección de datos y consentimiento.
Es por ello por lo que ha de asegurarse la trazabilidad del empleo y el almacenamiento responsable de la información.
Mantenimiento y actualización complejos
Actualizar un sistema multimodal implica revisar, como es lógico, las diferentes modalidades, con el riesgo de que, si se toca uno, se altera el otro. Si se ajusta la parte del lenguaje, puede afectar negativamente a la generación de imágenes, por ejemplo.
Riesgo de dependencia acrítica
¿Hasta qué punto podemos fiarnos ciegamente de los resultados que nos den los sistemas multimodales? A pesar de la apariencia ‘humana’ de este tipo de IA, siguen siendo sistemas estadísticos que pueden dar errores.
IA multimodal: una nueva era de interacción entre humanos y máquinas
La IA multimodal marca un antes y un después en cómo nos relacionamos con las máquinas y cómo estas interpretan, al modo de los seres humanos, la realidad.
Asimismo, redefine cómo interactuamos con nuestro día a día, cómo interactuamos con la información, con los dispositivos y entre nosotros mismos.
Su despliegue está transformando sectores como la educación, la sanidad, la seguridad… pero también implica desafíos técnicos y éticos que aún están en su fase primitiva.
La IA multimodal no solo es una herramienta que parece llegada del futuro, sino un punto de inflexión que exige repensar los límites de la IA y el papel que queremos que esta juegue en el futuro de nuestra sociedad.
