OPINIÓN

¿ChatGPT pone en riesgo a las empresas?



Dirección copiada

La rápida actuación de OpenAI demuestra su compromiso con la seguridad y la privacidad.

Artículo publicado el 10 jul 2023

Bob Janssen

VP Global Head of Innovation en Delinea



ChatGPT y sus efectos: Nunca se ha invertido tanto en ciberseguridad.
ChatGPT y sus efectos: Nunca se ha invertido tanto en ciberseguridad.

La irrupción y expansión de ChatGPT y otras soluciones de inteligencia artificial (IA) y aprendizaje automático (ML) está siendo una auténtica revolución, sobre todo, por la velocidad que está adquiriendo su adopción, por los avances logrados y por las potenciales aplicaciones que podrán tener estas tecnologías en un futuro prácticamente inmediato.

Todos estos saltos hacia adelante de estas nuevas tecnologías disruptivas, en paralelo están generando inquietudes sobre los riesgos e implicaciones que pueden suponer para la ciberseguridad. Es importante que las organizaciones estén preparadas, ¿qué consideraciones clave de seguridad deben tener en cuenta las empresas antes de explorar cómo utilizar las nuevas soluciones de IA/ML?

Implicaciones de la IA/ML para la seguridad

En primer lugar, hay que tener en cuenta que ChatGPT ha sido diseñada para generar respuestas basadas en los datos con los que ha sido entrenada, datos entre los que se puede encontrar información sensible o confidencial. Por lo que es importante que las empresas se aseguren de contar con las medidas adecuadas para proteger la privacidad y confidencialidad de la información que transmitan a través de la API.

Además, la precisión y fiabilidad de las respuestas de ChatGPT no están garantizadas al 100%. De hecho, esta solución de inteligencia artificial puede generar respuestas incorrectas o sesgadas basadas en los datos de entrenamiento a los que ha sido expuesta. Por ello, es capital que las organizaciones se cercioren de evaluar cuidadosamente la exactitud y fiabilidad de las respuestas generadas por ChatGPT antes de utilizarlas en cualquier proceso empresarial crítico.También es importante tener en consideración que es un solución de terceros, lo que supone que si se produce algún problema de fiabilidad o si se interrumpe el servicio la capacidad de la empresa para utilizar la API se verá afectada.

Asimismo, hay que tener en cuenta que si la aplicación no está debidamente protegida, la empresa puede ser vulnerable a ciberdelincuentes que aprovechen esa brecha en la seguridad para utilizar el servicio para lanzar ataques contra los sistemas de la empresa o para recopilar información confidencial. Por tanto, es crítico que las organizaciones se aseguren de contar con las medidas adecuadas para proteger la API de usos indebidos y ataques.

Por último, y no menos importante, las normativas específicas, como la GDPR en el caso específico de España y Europa, son cruciales para asegurarse de que las empresas se ajustan a las normativas vigentes en los países que operan cuando utilicen ChatGPT . En este sentido, es fundamental subrayar que la Unión Europea está trabajando en una nueva normativa, que pretende regular determinados aspectos de las soluciones de IA. El debate sobre esta regulación y las negociaciones sobre el nuevo reglamento sobre inteligencia artificial, precisamente, coincidirá con la presidencia española de la UE.

La seguridad de OpenAI, a examen

Aunque cualquier fallo de seguridad es preocupante, la respuesta de OpenAI a su reciente incidente de seguridad del pasado mes de marzo fue rápida y transparente. La compañía habló abiertamente sobre la brecha, su causa y las medidas que adoptó para solucionar el problema. Esta rápida actuación de OpenAI demuestra su compromiso con la seguridad y la privacidad.

Dicho esto, merece la pena hacer repaso de las medidas de seguridad con las que cuenta OpenAI, antes de comenzar a utilizar esta tecnología:

  • Control de acceso: Aplicación de estrictos controles de acceso para garantizar que sólo el personal autorizado tenga acceso a sus sistemas y datos.
  • Cifrado: Todos los datos transmitidos entre los sistemas de OpenAI y sus clientes se cifran mediante protocolos de cifrado estándar del sector.
  • Seguridad de la red: Implantación de diversas medidas de seguridad de red, como cortafuegos y sistemas de detección y prevención de intrusiones, para proteger sus sistemas de amenazas externas.
  • Evaluaciones periódicas de seguridad: OpenAI realiza periódicamente evaluaciones de seguridad para identificar y mitigar posibles riesgos de seguridad.
  • Protección de datos: Utiliza el enmascaramiento de datos y los controles de acceso para proteger la confidencialidad, integridad y disponibilidad de los datos de los clientes.
  • Respuesta a incidentes: OpenAI tiene un proceso de respuesta a incidentes bien definido para responder rápidamente a cualquier incidente de seguridad y minimizar su impacto.
  • Cumplimiento de las normas del sector:Sigue las mejores prácticas de seguridad estándar de la industria y cumple con regulaciones, para garantizar la seguridad y privacidad de los datos de sus clientes.

Recomendaciones al usar IA

Me gustaría subrayar varias herramientas y recomendaciones a tener en cuenta cuando se trata de la seguridad utilizando soluciones de IA/ML. OpenAI cuenta con una API de moderación de uso gratuito que puede ayudar a reducir la frecuencia de contenido inseguro y otra posibilidad es desarrollar un sistema de filtrado de contenidos personalizado y adaptado a cada caso específico de uso.

Es recomendable, también, realizar ejercicios de Red Team para asegurarse de la robustez de la seguridad y los puntos débiles de las aplicaciones de IA implementadas. Y,siempre que sea posible, es fundamental revisar los resultados antes de que sean utilizados, especialmente en los ámbitos en los que hay mucho en juego y en la generación de código.

En este sentido, la la prompt engineering (ingenieria de peticiones) puede ayudar a limitar el tema y el tono del texto de salida, reduciendo la posibilidad de producir contenidos no deseados, aunque un usuario intente producirlos. Medidas, como proporcionar un contexto adicional al modelo (por ejemplo, dando algunos ejemplos de alta calidad del comportamiento deseado antes de la nueva entrada) puede hacer que sea más fácil dirigir los resultados que ofrece el modelo en la dirección deseada.

Por lo general, los usuarios deben registrarse e iniciar sesión para acceder a estos servicios. Vincular este servicio a una cuenta existente, exigir una tarjeta de crédito o un documento de identidad ayudan aún más a reducir el riesgo, y limitar la cantidad de texto que se puede incluir en una pregunta ayuda a evitar que crezca el número de consultas. Otras acciones que evitan el uso indebido dentro de estas aplicaciones pueden ser acotar el número de tokens de salida, así como los rangos de entradas o salidas, especialmente los extraídos de fuentes de confianza.

Otra de las cosas a tener en cuenta es que los usuarios dispongan de un método sencillo para informar de las funcionalidades incorrectas o problemas relacionados con el comportamiento de la aplicación, que sea supervisado y contestado por una persona.

Desde Delinea Labs estamos siguiendo de cerca la democratización de la IA, con intentos de réplicas del modelo de ChatGPT, como el que se ha llevado a cabo desde la Universidad de Stanford con Alpaca. La mayor potencialidad de crear tu propio modelo de IA es mitigar los riesgos en materia de privacidad, confidencialidad y cumplimiento, así como dejar de depender de terceros. Sin duda, lo mejor que pueden hacer las empresas es mantenerse a la vanguardia de las tecnologías de IA/ ML sin dejar de lado la seguridad para poder aprovechar las infinitas posibilidades de estas tecnologías de la forma más eficaz y segura.

Artículos relacionados

Artículo 1 de 2