Durante más de 20 años, las listas de los 10 principales riesgos de Open Worldwide Application Security Project (OWASP) han sido la referencia en la batalla por hacer que el software sea más seguro. En 2023, OWASP presentó una nueva incorporación: un resumen de los riesgos específicos de la IA. En primavera/verano de ese año se publicaron dos versiones preliminares de la lista de riesgos de la IA, y en octubre se lanzó la versión 1 formal.
Desde entonces, los LLM se han consolidado cada vez más como herramientas de productividad empresarial. La mayoría de las empresas están utilizando o explorando el uso de la IA, y si bien algunas responsabilidades son bien conocidas (como la necesidad de verificar siempre el trabajo de un LLM), otras siguen sin ser detectadas.
Realizamos algunos análisis y descubrimos que las vulnerabilidades identificadas por OWASP se dividen en tres categorías generales:
- Riesgos de acceso asociados con privilegios explotados y acciones no autorizadas.
- Riesgos relacionados con los datos, como su manipulación o la pérdida de servicios.
- Riesgos para la reputación y la empresa derivados de resultados o acciones incorrectos de la IA.
A continuación, examinamos más de cerca los riesgos específicos de cada caso y ofrecemos algunas sugerencias sobre cómo gestionarlos.
- Riesgos de acceso con IA
De las 10 vulnerabilidades enumeradas por OWASP, tres son específicas del acceso y uso indebido de privilegios: diseño inseguro de plugins, manejo inseguro de salidas y exceso de autonomía.
Según OWASP, un LLM que utilice modelos de lenguaje inseguros podría perder el control de acceso, lo que lo dejaría expuesto a solicitudes maliciosas o a la ejecución de código remoto no autorizado. Por otro lado, los plugins o aplicaciones que manejan grandes salidas del modelo de lenguaje de forma insegura (sin evaluarlas) podrían exponer a los sistemas backend a ser susceptibles de ataques XSS, CSRF y SSRF que ejecuten acciones no deseadas, así como a escaladas de privilegios no autorizadas y ejecución remota de código.
Y dado que los chatbots de IA son “actores” capaces de tomar e implementar decisiones, importa cuánta libertad de acción (es decir, agencia) se les da. Como explica OWASP, “La Agencia o Autonomía Excesiva es la vulnerabilidad que permite que se realicen acciones dañinas en respuesta a salidas inesperadas/ambiguas de un LLM (independientemente de lo que esté causando el mal funcionamiento del LLM; ya sea alucinación/confabulación, inyección directa/indirecta de avisos, plugin malicioso, avisos o indicaciones benignos mal diseñadas, o simplemente un modelo de bajo rendimiento)”.
Por ejemplo, un asistente de lectura de correo personal con capacidades de envío de mensajes podría ser explotado por un email malicioso para propagar spam desde la cuenta de un usuario.
En todos estos casos, el gran modelo de lenguaje se convierte en un conducto para que los malos actores se infiltren en los sistemas.
- Riesgos de la IA y los datos
Los datos de entrenamiento envenenados, las vulnerabilidades de la cadena de suministro, la revelación de información sensible, las vulnerabilidades de inyección puntual y las denegaciones de servicio son riesgos específicos de la IA relacionados con los datos.
Los datos pueden ser envenenados deliberadamente por agentes malintencionados o inadvertidamente cuando un sistema de IA aprende de fuentes poco fiables o no verificadas. Ambos tipos de envenenamiento pueden producirse dentro de una aplicación activa de chatbot de IA o surgir de la cadena de suministro de LLM, donde la dependencia de modelos entrenados previamente, datos obtenidos por crowdsourcing o colaboración colectiva y extensiones de plugins inseguros pueden producir resultados de datos sesgados, brechas de seguridad o fallos del sistema.
Los datos envenenados y la cadena de suministro son preocupaciones de entrada. Permitir la entrada de información privada, confidencial, de identificación personal y similar en los datos de entrenamiento de los modelos también puede dar lugar a revelaciones no deseadas de información sensible.
Con inyecciones puntuales, las entradas malintencionadas pueden hacer que un chatbot de IA con un gran modelo de lenguaje exponga datos que deberían mantenerse privados o realice otras acciones que lleven a comprometer los datos.
Los ataques de denegación de servicio de IA son similares a los ataques DOS clásicos. Pueden tener como objetivo saturar un modelo de lenguaje de gran tamaño y privar a los usuarios del acceso a datos y aplicaciones, o bien, dado que muchos chatbots de IA dependen de una infraestructura de TI de pago por uso, obligar al sistema a consumir recursos excesivos y acumular costes masivos.
- Riesgos reputacionales y empresariales asociados a la IA
Las dos vulnerabilidades finales de OWASP están relacionadas con el robo de modelos y la dependencia excesiva de la IA. La primera se aplica cuando una organización tiene su propio modelo LLM. Si usuarios no autorizados acceden a ese modelo, lo copian o lo filtran, podrían aprovecharse de él para perjudicar el rendimiento de una empresa, ponerla en desventaja competitiva y, potencialmente, provocar una fuga de información sensible.
La dependencia excesiva de la IA ya está teniendo consecuencias en todo el mundo. No faltan historias sobre grandes modelos de lenguaje que generan resultados falsos o inapropiados, desde menciones y precedentes legales inventados hasta lenguaje racista y sexista.
OWASP señala que depender de chatbots de IA sin la supervisión adecuada puede hacer que las organizaciones sean vulnerables a la publicación de información errónea o contenido ofensivo que derive en daños de reputación o incluso en acciones legales.
Dada toda esta diversidad de riesgos, la pregunta que conviene hacerse es: “¿Qué podemos hacer al respecto?”. Afortunadamente, hay algunas medidas de protección que las organizaciones pueden tomar.
Qué pueden hacer las empresas frente a las vulnerabilidades de la IA
Desde el punto de vista de Trend Micro, la defensa frente a los riesgos de acceso a la IA requiere una postura de seguridad zero-trust con una separación disciplinada de los sistemas (sandboxing). Aunque la IA generativa puede desafiar a las defensas de zero-trust de formas que otros sistemas informáticos no lo hacen -porque puede imitar a entidades de confianza-, una postura de confianza cero sigue añadiendo controles y equilibrios que facilitan la identificación y contención de la actividad no deseada. OWASP también aconseja que los grandes modelos de lenguaje “no se autovigilen” y pide que se incorporen controles en las interfaces de programación de aplicaciones (API).
El aislamiento también es clave para proteger la privacidad y la integridad de los datos: mantener la información confidencial totalmente separada de los datos compartibles y hacerla inaccesible a los chatbots de IA y otros sistemas de cara al público.
Una buena separación de los datos impide que los modelos de lenguaje de gran tamaño incluyan información privada o de identificación personal en los resultados públicos, y que se les incite públicamente a interactuar con aplicaciones seguras, como los sistemas de pago, de forma inadecuada.
Desde el punto de vista de la reputación, las soluciones más sencillas consisten en no confiar únicamente en los contenidos o códigos generados por IA, y no publicar ni utilizar nunca los resultados de la IA sin verificar antes su veracidad, precisión y fiabilidad.
Muchas de estas medidas defensivas pueden -y deben- incluirse en las políticas corporativas. Una vez establecida una base de políticas adecuada, pueden utilizarse tecnologías de seguridad como la detección y respuesta de endpoints (EDR), la detección y respuesta extendida (XDR) y la gestión de eventos e información de seguridad (SIEM) para hacer cumplir las políticas y supervisar las actividades potencialmente dañinas.
Los chatbots de IA con grandes modelos de lenguaje están aquí para quedarse
El catálogo de riesgos de la IA de OWASP demuestra que las preocupaciones sobre la prisa por adoptar la IA están bien justificadas. Al mismo tiempo, está claro que la IA no va a desaparecer, por lo que comprender los riesgos y tomar medidas responsables para mitigarlos es de vital importancia.
Establecer las políticas adecuadas para gestionar el uso de la IA y aplicarlas con la ayuda de soluciones de ciberseguridad es un buen primer paso. También lo es mantenerse informado. Tal y como lo vemos en Trend Micro, la lista Top 10 de riesgos de la IA de OWASP está destinada a convertirse en una lectura obligada anual como lo ha sido su lista original de seguridad de aplicaciones desde 2003.
