Usar la IA de forma segura

Autor: Ralph Moonen, Director Técnico de Bureau Veritas Cybersecurity

Con el enorme crecimiento de las capacidades de las IA, y en particular de los Grandes Modelos de Lenguaje (LLM), nuestros clientes piden cada vez más orientación sobre la seguridad de las IA. ¿Es posible utilizar la IA de forma segura? ¿Cuáles son los principales problemas de las IA en materia de seguridad? ¿Y cómo puede proteger a su organización contra estos riesgos?

Creo que la mayoría de las Personas estarán de acuerdo en que el nivel de utilidad de las IA y, en particular, de los LLM ha llegado a un punto en el que ya no se pueden ignorar. En las empresas, pueden ser grandes impulsores de la producción para tareas relacionadas con el texto, como traducciones o resúmenes.

Para el desarrollo de software, las IA también pueden proporcionar una excelente ayuda para la codificación y la depuración. Por ejemplo, puede pedir a ChatGPT o Claude 3 que generen código o ayuden a depurar. Es divertido volverse creativo y, si quiere ver lo que es posible, el hilo de https://twitter.com/javilopen/status/1719363262179938401 es un ejemplo asombroso. Otra forma de utilizar las IA en la codificación es para ayudar en la ingeniería inversa, la descompilación y otras tareas. Esto puede ser poderoso cuando se trata de averiguar la funcionalidad de cierto código.

Alucinación y problemas de derechos de autor

Por supuesto, las IA tienden a alucinar: compruebe y valide toda la salida o podría estar intentando utilizar construcciones de código o parámetros de command line que no tienen ninguna base en la realidad. Además: la salida de las IA públicas y generativas no tiene derechos de autor: puede utilizarla como le parezca (incluidas imágenes, textos, código fuente y software). Pero tampoco puede reclamar sus propios derechos de autor, por lo que venderla o utilizarla en productos podría ser problemático. Estos son los riesgos generales a los que se enfrenta cuando utiliza IA.

Los dos principales riesgos de seguridad de la IA

También existen riesgos de seguridad más específicos asociados al uso de la IA.

Riesgo 1: Filtración de información

El primer riesgo de seguridad al utilizar IA es que todo lo que cargue o copie o pegue en una IA significa esencialmente que está filtrando esa información. Independientemente de las características o interruptores o configuraciones del modelo de IA, si carga información sensible a un tercero, se ha filtrado.

Y debe ser consciente de que todo lo que entra en una IA también puede salir. Puede que haya que engatusarle un poco para que "suelte la lengua", pero ha sido posible extraer modelos, datos de entrenamiento y los prompt de otros usuarios. Un investigador de la Universidad Northwestern probó más de 200 GPT personalizadas y consiguió extraer información del 97 % de ellas utilizando sólo simples prompt. Así que no sólo los operadores de IA tienen información sobre lo que usted ha subido: los adversarios también pueden extraer datos de entrenamiento de las IA a través de la interacción con los prompt.

Esto significa que pedir a una IA que resuma un texto con secretos de empresa o información personal sensible no es una buena idea, ni siquiera cuando el aprendizaje reforzado no está activado. Sólo hay que alimentar a la IA con información que no sea sensible, como textos comerciales, contenido de páginas web o información disponible públicamente. Por supuesto, una posible solución para esto podría ser ejecutar su propio LLM en su nube privada o in situ. Aunque no es imposible, los costes de esto pueden ser prohibitivos a corto plazo.

Otra forma de abordar esto es instruir a su LLM personalizado para que advierta al usuario si detecta información sensible en los materiales cargados, e ignore esa entrada.

Riesgo 2: Manipulación de la salida de la IA

Un segundo riesgo para la IA es la manipulación, por ejemplo la manipulación de chatbots o potenciadores de la productividad como Microsoft Copilot. Se puede engatusar a las IA para que proporcionen resultados no deseados, como lenguaje ofensivo (convirtiendo a su amable chatbot de atención al cliente en un pirata que dice palabrotas), o ataques más graves en los que se puede atacar a otros componentes conectados. Si una IA está conectada a Internet, podría incluso ser manipulada para que realizara ataques contra otros sistemas. Existen varias formas de manipular IAs para que realicen actividades no deseadas o incluso maliciosas.

La mayoría de estas técnicas utilizan la inyección de prompt: Entradas maliciosas diseñadas para manipular el procesamiento o la salida de un sistema de IA, engañándolo para que realice acciones no deseadas o revele información sensible. La mayoría de las IA filtran tales prompt antes de pasarlos al LLM real. Sin embargo, se pueden utilizar formas ingeniosas de ofuscar, enmascarar, dividir o codificar las peticiones para eludir estos filtros. Un ejemplo reciente de ello fue la investigación que utilizó el arte ASCII para codificar las instrucciones y eludir los filtros: https: //arxiv.org/abs/2402.11753.

Otra forma de manipular las IA es utilizar la "virtualización" o el "juego de roles", en el que el atacante da instrucciones a la IA para que adopte una personalidad o un papel diferente y simplemente finja ser o hacer algo. Esto también puede eludir muchos filtros.

Aún es pronto y todavía no conocemos en detalle cuáles podrían ser las consecuencias de este tipo de manipulación. Puedo imaginar que podría dar lugar a nuevas formas de extorsión. O quizá un atacante podría manipular una herramienta como CoPilot para generar código vulnerable que luego se utilice en productos. O tal vez la IA podría utilizarse para realizar llamadas a la API o búsquedas en bases de datos de otros servicios restringidos.

Si quiere saber más sobre este tipo de técnicas de ataque, OWASP tiene un gran recurso en https://owaspai.org/ y, por supuesto, ya existe un Top10 de OWASP para LLM: https: //llmtop10.com/.

Asegurar los riesgos

Entonces, ¿cómo controlar los riesgos al utilizar IA? En términos de controles de seguridad, debería plantearse formular una Política de uso aceptable para las IA. Y también podría plantearse compilar un registro de IA de dónde se utilizan las IA en su organización y para qué tareas. Esto le ayudará a orientar a sus colaboradores y a concienciarlos de los riesgos. Como alternativa, podría ser necesario plantearse el uso de IA in situ, y por suerte existen LLM y otros modelos que lo permiten (aunque los recursos informáticos necesarios para ello no suelen ser triviales). Y por supuesto: probar, probar, probar.

Probar la seguridad de la IA

Recibimos bastantes preguntas de los clientes sobre la seguridad de la IA. Aunque es relativamente nuevo para nosotros (como para todo el mundo), estamos desarrollando capacidades sobre este tema. Podemos realizar pruebas de seguridad de la IA, en las que podemos comprobar la solidez y resistencia del LLM frente a ataques como la extracción de modelos, la inyección de prompt, la manipulación de la IA, la contaminación de modelos, la reutilización o la inferencia de miembros.

Por último, si tiene alguna pregunta sobre la seguridad de la IA, póngase en contacto con su gestor de cuentas o envíe un correo electrónico a cybersecurity@bureauveritas.com.

El mundo de la ciberseguridad está cambiando. Suscríbase a nuestro boletín Cyber Vision en LinkedIn para obtener más información sobre la naturaleza cambiante de la ciberseguridad y el futuro de la ciberresiliencia.