Utiliser l'IA en toute sécurité

Auteur : Ralph Moonen, consultant principal chez Bureau Veritas Cybersecurity

Avec l'énorme croissance des capacités de l'IA, et en particulier des grands modèles de langage (LLM), nos clients demandent de plus en plus souvent des conseils sur la sécurité de l'IA. Est-il possible d'utiliser l'IA en toute sécurité ? Quels sont les principaux problèmes de l'IA en matière de sécurité ? Et comment pouvez-vous protéger votre organisation contre ces risques ?

Je pense que la plupart du Personnel sera d'accord pour dire que le niveau d'utilité des IA et en particulier des LLM est arrivé à un point tel que vous ne pouvez plus les ignorer. Dans le monde des affaires, elles peuvent être un formidable accélérateur de production pour les tâches liées au texte, telles que les traductions ou les résumés.

Pour le développement de logiciels, les IA peuvent également fournir une excellente assistance en matière de codage et de débogage. Par exemple, vous pourriez demander à ChatGPT ou à Claude 3 de générer du code ou de vous aider à déboguer. Il est agréable de devenir créatif et si vous voulez voir ce qui est possible, le fil de discussion sur https://twitter.com/javilopen/status/1719363262179938401 en est un exemple étonnant. Une autre façon d'utiliser les IA dans le codage est d'aider à la rétro-ingénierie, à la décompilation et à d'autres tâches. Cela peut s'avérer très utile pour comprendre la fonctionnalité d'un certain code.

Hallucination et droits d'auteur

Bien sûr, les IA ont tendance à halluciner : vérifiez et validez toutes les sorties ou vous pourriez essayer d'utiliser des constructions de code ou des paramètres de ligne de commande qui n'ont aucune base dans la réalité. Par ailleurs, les résultats des IA publiques et génératives ne sont pas protégés par des droits d'auteur : vous pouvez les utiliser comme bon vous semble (y compris les images, les textes, le code source et les logiciels). Mais vous ne pouvez pas non plus revendiquer vos propres droits d'auteur, de sorte que leur vente ou leur utilisation dans des produits peut poser problème. Il s'agit là de risques généraux auxquels vous êtes confronté lorsque vous utilisez l'IA.

Les deux principaux risques de sécurité liés à l'IA

Il existe également des risques de sécurité plus spécifiques liés à l'utilisation de l'IA.

Risque 1 : Fuite d'informations

Le premier risque de sécurité lié à l'utilisation de l'IA est que tout ce que vous téléchargez, copiez ou collez dans une IA signifie essentiellement que vous faites fuir ces informations. Indépendamment des fonctionnalités ou des commutateurs ou des configurations du modèle d'IA, si vous téléchargez des informations sensibles vers un tiers, il y a eu fuite.

Et vous devez être conscient que tout ce qui entre dans une IA peut également en sortir. Il peut être nécessaire d'user d'un peu de persuasion pour "vendre la mèche", mais il a été possible d'extraire des modèles, des données d'entraînement et des messages d'autres utilisateurs. Un chercheur de l'université Northwestern a testé plus de 200 TPG personnalisés et a réussi à extraire des informations de 97 % d'entre eux en utilisant uniquement des invites simples. Les opérateurs d'IA ne sont donc pas les seuls à avoir un aperçu de ce que vous avez téléchargé : les adversaires peuvent également extraire des données d'entraînement des IA par le biais de l'interaction avec les invites.

Cela signifie que demander à une IA de résumer un texte contenant des secrets d'entreprise ou des informations personnelles sensibles n'est pas une bonne idée, même lorsque l'apprentissage renforcé n'est pas activé. Ne donnez à l'IA que des informations qui ne sont pas sensibles, comme des textes commerciaux, du contenu de site web ou des informations accessibles au public. Bien sûr, une solution possible pour cela pourrait être d'exécuter votre propre LLM dans votre cloud privé ou sur site. Bien que cela ne soit pas impossible, les coûts de cette solution peuvent être prohibitifs à court terme.

Une autre solution consiste à demander à votre LLM personnalisé d'avertir l'utilisateur s'il détecte des informations sensibles dans les documents téléchargés, et d'ignorer ces données.

Risque 2 : Manipulation des résultats de l'IA

Un deuxième risque pour l'IA est la manipulation, par exemple la manipulation de chatbots ou d'améliorateurs de productivité tels que Microsoft Copilot. Les IA peuvent être incitées à fournir des résultats indésirables, tels qu'un langage offensant (transformant votre sympathique chatbot de service client en un pirate jurant), ou des attaques plus graves où d'autres composants connectés peuvent être ciblés. Si une IA est connectée à internet, elle pourrait même être manipulée pour exécuter des attaques sur d'autres systèmes. Il existe plusieurs façons de manipuler les IA pour qu'elles exécutent des activités indésirables, voire malveillantes.

La plupart de ces techniques utilisent l'injection d'invites : Entrées malveillantes conçues pour manipuler le traitement ou les résultats d'un système d'IA, en l'incitant par la ruse à effectuer des actions non souhaitées ou à divulguer des informations sensibles. La plupart des IA filtrent ces invites avant de les transmettre au LLM proprement dit. Toutefois, il est possible de contourner ces filtres en recourant à des méthodes astucieuses d'obscurcissement, de masquage, de fractionnement ou d'encodage des requêtes. Un exemple récent est la recherche qui a utilisé l'art ASCII pour coder les instructions et contourner les filtres : https://arxiv.org/abs/2402.11753.

Une autre façon de manipuler les IA consiste à utiliser la "virtualisation" ou le "jeu de rôle" : l'attaquant demande à l'IA d'adopter une personnalité ou un rôle différent et de faire semblant d'être ou de faire quelque chose. Cela permet également de contourner de nombreux filtres.

Nous n'en sommes qu'au début et nous ne connaissons pas encore en détail les conséquences de ce type de manipulation. J'imagine que cela pourrait conduire à de nouvelles formes d'extorsion. Ou peut-être qu'un attaquant pourrait manipuler un outil comme CoPilot pour générer un code vulnérable qui serait ensuite utilisé dans des produits. Ou peut-être que l'IA pourrait être utilisée pour effectuer des appels API ou des recherches dans des bases de données sur d'autres services restreints.

Si vous souhaitez en savoir plus sur ces types de techniques d'attaque, l'OWASP dispose d'une excellente ressource à l'adresse https://owaspai.org/ et, bien sûr, il existe déjà un Top10 de l'OWASP pour les étudiants en master en droit : https://llmtop10.com/.

Sécuriser les risques

Alors, comment contrôler les risques lors de l'utilisation de l'IA ? En termes de contrôles de sécurité, vous devriez envisager de formuler une politique d'utilisation acceptable pour les IA. À considérer également la compilation d'un registre de l'IA indiquant où les IA sont utilisées dans votre organisation et pour quelles tâches. Cela permettra d'orienter vos collaborateurs et de les sensibiliser aux risques. Par ailleurs, il peut être nécessaire d'envisager l'utilisation d'IA sur site, et il existe heureusement des LLM et d'autres modèles qui le permettent (bien que les ressources informatiques requises pour cela soient souvent non triviales). Et bien sûr : testez, testez, testez.

Tests de sécurité IA

Nous recevons pas mal de questions de clients sur la sécurité de l'IA. Bien qu'il s'agisse d'un sujet relativement nouveau pour nous (comme pour tout le monde), nous développons des capacités dans ce domaine. Nous pouvons effectuer des tests de sécurité de l'IA, où nous pouvons tester la robustesse et la résilience du LLM contre des attaques telles que l'extraction de modèle, l'injection d'invite, la manipulation de l'IA, l'entachage de modèle, la réutilisation ou l'inférence d'appartenance.

Enfin, si vous avez des questions sur la sécurité de l'IA, veuillez contacter votre gestionnaire de compte ou envoyer un courriel à cybersecurity@bureauveritas.com.

Le monde de la cybersécurité est en pleine évolution. Abonnez-vous à notre lettre d'information Cyber Vision sur LinkedIn pour en savoir plus sur la nature changeante de la cybersécurité, et sur l'avenir de la cyber-résilience.