Hackear la IA - Comprender los riesgos cibernéticos en las aplicaciones impulsadas por la IA

SEMINARIO WEB A LA CARTA | CIBERSEGURIDAD

A medida que la IA se integra cada vez más en las operaciones críticas, es esencial comprender cómo los actores de amenazas pueden explotar estos sistemas. Si está involucrado en operaciones, desarrollo o ciberseguridad de la IA, esta sesión le proporcionará valiosas perspectivas.

Con el auge de la IA, las organizaciones se enfrentan a nuevas vulnerabilidades que difieren de las ciberamenazas tradicionales. Desde la fuga de datos hasta el acceso no autorizado, la IA puede abrir vías que son especialmente susceptibles de ser explotadas.

En esta sesión, Ralph Moonen, Director Técnico de Bureau Veritas Cybersecurity, explorará los posibles vectores de ataque en los sistemas de IA y hablará de mitigaciones prácticas para salvaguardar sus aplicaciones. Conozca los riesgos del mundo real asociados a las tecnologías basadas en IA y obtenga medidas prácticas para proteger su organización.

VER REPRODUCCIÓN

Puntos clave de este seminario web

Estos son los puntos clave del seminario web:

1. La IA como riesgo para la ciberseguridad: principales amenazas y vulnerabilidades

• Los modelos de IA pueden filtrar datos confidenciales si se entrenan con conjuntos de datos que contengan información sensible (por ejemplo, contraseñas o datos personales).
• La inyección de comandos es una técnica de ataque común en la que los sistemas de IA se manipulan para que muestren un comportamiento no deseado, como revelar datos confidenciales o realizar acciones maliciosas.
• Los actores de amenazas utilizan cada vez más la IA para realizar ataques, como generar deepfakes y llevar a cabo campañas de ingeniería social.

2. Reglamentos y normas sobre IA

• La Ley de IA (el mundo) clasifica los sistemas de IA en categorías de riesgo, como "sistemas prohibidos" y "sistemas de alto riesgo", que requieren una regulación estricta.
• La próxima norma ISO 42001 proporciona un marco para la gestión de la IA, que incluye la evaluación de riesgos, el uso ético y la garantía de calidad.
• Diferencias regionales: el mundo y China se centran en normativas más estrictas, mientras que EE.UU. se inclina por las directrices y la innovación.

3. Mejores prácticas para asegurar la IA

• Las organizaciones deben implantar una política de uso de la IA y formar a los usuarios para que reconozcan las amenazas relacionadas con la IA, como los deepfakes y los contenidos generados por la IA.
• Opte por soluciones de IA in situ siempre que sea posible, ya que la IA basada en la nube plantea riesgos de fuga de datos y menor control de la seguridad.
• Valide los resultados de la IA y utilice recursos como el LLM OWASP Top 10, que proporciona información sobre las principales amenazas y directrices de seguridad para los modelos de IA.

Destinatarios

Este seminario web está diseñado para profesionales implicados en el desarrollo, la implementación y la seguridad de los sistemas de IA, en particular para aquellos interesados en comprender los riesgos de ciberseguridad únicos de las aplicaciones basadas en IA. Entre los asistentes clave se incluyen:

• Operadores de IA que supervisan los despliegues de IA en sus organizaciones
• Desarrolladores y responsables de TI encargados de implantar soluciones de IA
• Pentesters centrados en la identificación de vulnerabilidades en tecnologías emergentes
• Profesionales de la seguridad interesados en mitigar las ciberamenazas específicas de la IA

Vea la repetición de este seminario web hoy mismo:

VER REPRODUCCIÓN

Preguntas y respuestas del seminario web

1. ¿Existen casos conocidos de filtración de datos relacionados con la IA?

Respuesta: Sí, ha habido casos documentados de fugas de datos relacionadas con la IA. Por ejemplo, Prompt Security enumera 8 ejemplos del mundo real de fugas de datos relacionadas con la IA.

2. ¿Existen herramientas para "humanizar" los resultados de la IA?

Respuesta: Sí, es posible humanizar la salida de la IA ordenando a la IA que adopte características específicas. Además, otros modelos de IA pueden procesar y refinar la salida para hacerla más natural. Por ejemplo, algunas herramientas de software utilizan la IA para añadir matices similares a los humanos, como en la producción musical, donde la humanización mejora la sensación de naturalidad de la salida

3. ¿Cómo se entrena a los usuarios para que reconozcan las deepfakes?

Respuesta: Formar a los usuarios para que reconozcan los deepfakes es un reto a medida que la tecnología se vuelve más avanzada. Un enfoque eficaz es utilizar palabras clave o preguntas únicas que sólo una persona real conocería. Por ejemplo, un ataque deepfake a un ejecutivo de Ferrari se frustró formulando preguntas que sólo el individuo real podía responder. Una mayor vigilancia es clave en este tipo de escenarios.

4. ¿Existen riesgos si se bloquean todas las IA y sólo se permite Microsoft Copilot?

Respuesta: Bloquear completamente todas las IAs es muy difícil debido a la amplia gama de versiones y métodos de acceso disponibles. Crear políticas de usuario y directrices de uso es un enfoque más práctico que intentar bloquear todas las IAs.

5. ¿Qué haría falta para que la IA se volviera sensible?

Respuesta: Se trata de una pregunta compleja. Aunque las IA pueden superar la prueba de Turing, esto no implica consciencia. La verdadera sintiencia requeriría una arquitectura significativamente más avanzada, pero el camino exacto para alcanzar la sintiencia sigue sin estar claro.

6. ¿Cómo utiliza Secura la IA para mejorar la productividad?

Respuesta: Un ejemplo es el de un "pen tester" que utilizó la IA para generar rápidamente scripts PowerShell para la escalada de privilegios durante una prueba interna. La IA puede ser especialmente útil para automatizar tareas repetitivas como la creación de scripts.

7. ¿Cuáles son los riesgos de utilizar Microsoft Copilot en el desarrollo de software?

Respuesta: Uno de los riesgos es que las entradas, como las claves API en el código fuente, podrían utilizarse involuntariamente para entrenar el modelo de IA, haciendo que esas claves sean accesibles a otros usuarios. Otro riesgo surge del entrenamiento de modelos en código de ejemplo de plataformas como StackOverflow, que pueden incluir vulnerabilidades, lo que daría lugar a un código inseguro generado por la IA. Desactivar la opción de entrenar el modelo sobre las entradas del usuario puede mitigar este riesgo.