La mayoría de las organizaciones no están preparadas para gestionar la enorme demanda de datos de la IA, y contar con la estrategia de datos adecuada puede ser clave.
La IA está demostrando ser disruptiva para muchas infraestructuras de TI empresariales, empezando por la gestión del dato. Pero ¿qué hay detrás de estos retos para conseguir el éxito de una estrategia de IA? Y, ¿por qué superarlos ahora, cuando muchos proyectos de IA están empezando a escalar?
Una estrategia favorable a la IA es en realidad una estrategia de datos que debe incluir preparar conjuntos de datos de formación, accesibilidad de los datos a la infraestructura de formación e inferencia e integración de nuevas herramientas y aplicaciones de IA. Además, todo esto debe hacerse de forma rentable y altamente automatizada, con elevados niveles de seguridad, gobernanza, disponibilidad y portabilidad, y teniendo en cuenta algunas consideraciones más.
Índice de temas
Una estrategia favorable de IA
Entre las consideraciones que se deben tener a la hora de desarrollar una estrategia favorable de IA están:
Los datos fríos ya no existen
El enorme apetito de datos de la IA ha puesto fin a la idea de datos antiguos o ‘inactivos’, todos los datos de una organización tienen el potencial de aportar información o mejorar un modelo. Datos que antes se relegaban a depósitos ahora tienen que ser seguros, móviles y estar disponibles bajo demanda para garantizar la estabilidad de la estrategia de IA .
La residencia de los datos es crítica y compleja
Muchos procesos de IA se ejecutan en la nube, aunque las empresas más innovadoras invierten también para aprovechar la IA a escala y on premise a pesar de la complejidad que implica.
Los retos de TI y almacenamiento del entrenamiento de la IA
El entrenamiento de un modelo es un proceso iterativo e intensivo desde el punto de vista informático. Las solicitudes de nuevos datos, nuevas fuentes, nuevos flujos de trabajo y nuevos objetivos forman parte del proceso, y se sigue esperando que los equipos de IA e infraestructura entreguen los flujos de trabajo en producción rápidamente.
La adopción de la IA requiere una plataforma de almacenamiento ágil, segura y de alto rendimiento que admita demandas cambiantes
La adopción de la IA requiere una plataforma de almacenamiento ágil, segura y de alto rendimiento que admita demandas cambiantes, como el paralelismo de datos, de modelos y la distribución de cargas de datos en función de prioridades y eficacia de los recursos. Dicha plataforma debe ofrecer soporte nativo e integración con Kubernetes y permitir a los científicos de datos y a los ingenieros de aprendizaje automático acceder al almacenamiento, a las bases de datos vectoriales y a los servicios de aprendizaje automático en forma de autoservicio, acelerando la formación y el despliegue de modelos.
La inferencia es donde cuenta el rendimiento de los datos
La inferencia de IA (la aplicación de modelos de aprendizaje automático entrenados a datos nuevos y desconocidos para derivar predicciones o decisiones significativas) debe realizarse en milisegundos y puede ser utilizado por varias aplicaciones, servicios empresariales y flujos de trabajo, con miles o incluso millones de usuarios. Además, este proceso necesita operaciones de E/S extremadamente rápidas y un alto rendimiento.
Mientras que los datos de formación pueden distribuirse geográficamente, los datos de inferencia de IA pueden generarse desde ubicaciones periféricas o remotas en tiempo real. Durante el paso de inferencia, tanto la fuente como el tipo de datos, pueden volverse complejos. Por ejemplo, las empresas pueden tener que gestionar datos de cámaras en tiempo real procedentes de vídeos o imágenes, procesos manuales y flujos de trabajo. Es posible que dispongan de un clúster de GPU en uno de sus centros de datos, aunque la fuente de datos sea remota. Manejar este tipo de situaciones requiere no solo una orquestación inteligente y flujos de trabajo automatizados, sino también la capacidad de mover los datos de forma eficiente.
Espacio para la IA y el crecimiento de datos
La mayoría de los proyectos de IA generativa comienzan con unas pocas GPU y el almacenamiento necesario. A medida que crece la adopción de la IA y se amplían los volúmenes de datos, la infraestructura necesita escalar añadiendo más GPU y almacenamiento. Los científicos de datos están aprovechando y mejorando grandes modelos lingüísticos con datos propios personalizados mediante la generación aumentada por recuperación (RAG). Esto permite a las organizaciones acelerar los casos de uso de GenAI que son más actuales y específicos de sus necesidades. El reto es que la RAG multiplica por 10 las necesidades de almacenamiento de datos, la huella de datos crece, las fuentes de datos aumentan y los datos se distribuyen. Este crecimiento y dispersión de los datos requiere la integración de múltiples sistemas, donde los recursos podrían estar infrautilizados, los flujos de trabajo podrían ser manuales y el riesgo de seguridad podría aumentar. Ajustar y actualizar el almacenamiento cada vez que se realiza un cambio en el entorno general puede ser un ejercicio largo y tedioso. Gestionar la disponibilidad de sistemas múltiples y dispares también es un problema a la hora de mantener el tiempo de actividad. Una infraestructura de IA bien diseñada, eficiente e integral debería ofrecer un rendimiento predecible, una gestión sencilla, fiabilidad y un menor consumo de energía y espacio.
Previsión de la evolución continua de la IA
Las inversiones en infraestructura de IA deben perdurar en el tiempo y estar preparadas para el futuro con una plataforma de almacenamiento de datos que pueda escalar el rendimiento y la capacidad bajo demanda, sin tiempos de inactividad ni interrupciones.
Dar espacio a la IA para acelerar
Hay que entender los matices del almacenamiento de datos para la IA en comparación con los datos para otros fines, ya que hay algunas áreas que requieren de un enfoque especial. Como la posibilidad de escalar el rendimiento y la capacidad de forma independiente a medida que crece el entorno de IA, evitando cambiar los sistemas y la infraestructura o reconfigurar y mover datos que perturban y pueden consumir tiempo del personal; y la capacidad de cumplir los calendarios de innovación.
