Las instituciones de la Unión Europea se encuentran actualmente ultimando un nuevo Reglamento destinado a regular algunos aspectos sobre el uso de Inteligencia Artificial (IA). La nueva norma (popularmente conocida como ‘AI Act‘) adopta un enfoque basado en el riesgo de forma tal que ‘carga’ con mayores requisitos (e incluso los prohíbe, en algunos casos) a los modelos de IA en función de la incidencia que los mismos pueden tener en la integridad de las personas, bienes o infraestructuras, causar discriminación, atentar contra la privacidad, etc.
Sucede que no todos los modelos de IA son utilizados con la misma intensidad por los diversos sectores productivos y, de hecho, existen modelos que casi podríamos decir que son únicos para algunos de ellos. Este hecho, unido a que, como decimos, la AI Act establece requisitos distintos para los modelos de IA en función de su riesgo, permite identificar igualmente a aquellas empresas (o áreas dentro de empresas) para los que las restricciones de la AI Act resultan más relevante. Seguidamente veremos una lista de los modelos de IA que se ven más afectados por la AI Act, y correlativamente, de las empresas o sectores que mayor atención tienen que prestar a esta nueva norma:
Índice de temas
1. Modelos de IA usados en entornos particularmente críticos, sensibles o peligrosos (e.g. energía; dispositivos médicos; vehículos de motor; etc.):
Dentro de los sistemas de IA de ‘alto riesgo’, la AI Act sitúa aquellos que se usan en relación con productos, servicios y/o actividades que, si bien son muy dispares entre ellos, tienen un elemento en común: el riesgo que un defecto o mal funcionamiento, tiene para la integridad de las personas o cosas.
En los sistemas IA de ‘alto riesgo’, la AI Act sitúa los relacionados con productos, servicios y/o actividades con un mal funcionamiento y el riesgo que tienen para la integridad de las personas o cosas
Se trata, en general, de productos, servicios o actividades ya de por sí muy regulados precisamente para gestionar y reducir tal riesgo. ‘Delegar’ en un modelo de IA la adopción de decisiones en este tipo de entornos donde un mal funcionamiento puede producir consecuencias desastrosas, es obvio que precisa de cautelas importantes y es por ello lógico que la nueva normativa se fije en ellos.
Entre los productos, servicios o actividades que entran dentro de este grupo (y sin ser exhaustivos ya que la lista es muy larga), podemos citar: juguetes, embarcaciones, ascensores y elevadores, explosivos, equipos de radio, teleféricos, combustibles de gas, dispositivos médicos, aviación aérea, vehículos de motor, equipos de navegación, sistemas ferroviarios, sistemas de seguridad de infraestructuras críticas digitales, circulación por carreteras o el suministro de agua, gas, calefacción y electricidad.
2. Modelos para la identificación biométrica a distancia:
La capacidad de identificar a personas de forma biométrica y a distancia, tiene un gran potencial en diversos ámbitos como la seguridad o el análisis del comportamiento de clientes. Sin embargo, también plantea riesgos relevantes para las personas, especialmente en lo que respecta a la privacidad (dada la facilidad que existe para realizar un seguimiento estrecho de la actividad de una persona identificada) y la discriminación (errores en el modelo de IA pueden dar lugar a resultados sesgados).
La AI Act es consciente de estos peligros y, por ello, sujeta a los modelos de IA que se usan para la identificación biométrica a distancia, a requisitos severos.
La AI Act sujeta a los modelos de IA que se usan para la identificación biométrica a distancia, a requisitos severos
Conviene en todo caso hacer dos aclaraciones. Los modelos de identificación biométrica que no actúan a distancia, no se consideran de ‘alto riesgo’ y no están sujetos a requisitos tan estrictos. La falta de distancia permite mucho mayor control por parte del individuo analizado, y ello reduce los peligros señalados.
En sentido opuesto, la utilización de sistemas de identificación biométrica a distancia en tiempo real en espacios de acceso público por parte de autoridades policiales (o asimiladas) con fines de hacer cumplir la ley, quedan completamente prohibidos, salvo en casos puntuales expresamente previstos en la norma como, por ejemplo, la búsqueda de víctimas de crímenes. El uso excesivo de estos sistemas -de evocación tan Orwelliana- se considera una situación sumamente intrusiva que puede afectar a la vida privada de gran parte de la población, provocar una sensación de vigilancia constante y disuadir indirectamente del ejercicio de la libertad de reunión y de otros derechos fundamentales.
3. Uso de IA en el ámbito de la educación:
Existe una clara correlación entre la educación y la formación y el desarrollo de las personas. Por ello, es necesario asegurar un adecuado acceso de los individuos a los recursos formativos, entendiéndose por ‘adecuado’ un acceso desprovisto de sesgos que puedan violar el derecho a la educación así como el derecho a no ser discriminado.
En este contexto, los modelos de IA utilizados en los procesos de acceso y admisión de personas a instituciones o programas educativos a todos los niveles o para evaluar los resultados del aprendizaje de las personas, se consideran también “alto riesgo” y se someten a requisitos relevantes.
4. Modelos de IA utilizados en Recursos Humanos:
El uso de IA en los procesos de selección, evaluación y promoción de trabajadores así como en despidos, constituye un área particularmente sensible.
Modelos de IA incorrectamente diseñados y/o entrenados pueden perpetuar patrones históricos de discriminación, por ejemplo respecto de mujeres, grupos de edad, personas con orígenes raciales o étnicos u orientación sexual. Junto a ello, sistemas de IA utilizados para controlar el rendimiento y el comportamiento de los trabajadores también pueden afectar a sus derechos a la protección de datos y a la privacidad.
La nueva AI Act establece controles y requisitos para reducir el riesgo de que ello ocurra.
5. Análisis de solvencia financiera y credit scoring:
Otros modelos de IA que merecen atención especial son los utilizados para evaluar la solvencia financiera y crediticia de las personas. Estos sistemas operan como una suerte de ‘filtro’ para el acceso a servicios que se consideran esenciales para que las personas -algunas vulnerables- puedan participar plenamente en la sociedad o mejorar su nivel de vida, tales como electricidad, gas, telecomunicaciones, financiación, etc.
La AI Act se preocupa de que estos modelos de IA sean diseñados y entrenados con especial cuidado para evitar sesgos que den lugar a la discriminación de personas o grupos o permiten perpetuar pautas históricas de discriminación o crear nuevas formas de impacto discriminatorio.
6. Selección de riesgos y tarificación en el ámbito de algunos seguros:
Relacionados con los sistemas abordados en el apartado previo, encontramos los modelos de IA utilizados para el análisis actuarial, para la selección de riesgos y tarificación en seguros.
La AI Act es bastante específica a la hora de determinar los requisitos y se centra únicamente en dos tipos de seguros: los de vida y los de salud. La norma considera que este tipo de seguros tienen especial relevancia desde el punto de vista del desarrollo de las personas, por lo que la utilización de modelos de IA incorrectos, puede tener particular incidencia a la hora de excluir y discriminar a personas y afectar igualmente a la salud.
7. Chatbots, deep fake y sistemas de IA que interactúen con humanos:
Finalmente, querríamos referiros a una categoría amplia de sistemas de IA que tienen como denominador común el de situarse en una posición donde los humanos nos mostramos particularmente vulnerables, debido a la gran potencia de los modelos de IA y su capacidad para interpretar nuestro comportamiento o ‘engañarnos’.
La AI Act intenta someter a los sistemas que interactúan con humanos a requisitos de trasparencia de forma tal que su existencia y funcionamiento se hagan aparentes para el humano
La AI Act regula de forma singular estos sistemas si bien de manera menos intensa que los tratados hasta ahora. De forma general, la norma intenta ‘igualar fuerzas’ sometiendo a dichos sistemas a requisitos de trasparencia de forma tal que su existencia y funcionamiento se haga aparente para el humano que, a partir de allí, puede tomar las medidas que estime oportunas.
En principio, todas las empresas usuarias o que participan en el diseño, fabricación comercialización de los modelos de IA hasta ahora tratados o de sistemas que se basen en ellos, se encuentran especialmente concernidas por la AI Act y sería recomendable que analizasen desde este momento cómo les afecta la norma.
Aunque la AI Act no sea aún aplicable, no debe olvidarse que los modelos de IA son ‘activos vivos’ que evolucionan y mejoran a medida que se utilizan y aprenden. Una empresa que entrene modelos de IA usando criterios no compatibles con una AI Act aun no aplicable, puede llevarse la desagradable darse sorpresa de encontrarse con que tales modelos no pueden ser utilizados una vez que la norma sea de aplicación, y ello por resultar de un entrenamiento que se produjo con criterios no adecuados. Adoptar políticas alineadas con la AI Act, es algo que no debe ni puede esperar.
