Utiliser l'IA en toute sécurité

Auteur : Ralph Moonen, Directeur technique chez Bureau Veritas Cybersecurity

Avec l'énorme croissance des capacités de l'IA, et en particulier des grands modèles de langage (LLM), nos clients demandent de plus en plus souvent des conseils sur la sécurité de l'IA. Est-il possible d'utiliser l'IA en toute sécurité ? Quels sont les principaux problèmes de sécurité posés par l'IA ? Et comment pouvez-vous protéger votre organisation contre ces risques ?

Je pense que la plupart des gens conviendront que le niveau d'utilité de l'IA, et en particulier des LLM, est tel qu'il n'est plus possible de l'ignorer. Dans le monde des affaires, elles peuvent être un formidable accélérateur de production pour les tâches liées au texte, telles que les traductions ou les résumés.

Pour le développement de logiciels, les IA peuvent également fournir une excellente assistance en matière de codage et de débogage. Par exemple, vous pourriez demander à ChatGPT ou à Claude 3 de générer du code ou de vous aider à déboguer. Il est agréable de devenir créatif et si vous voulez voir ce qui est possible, le fil de discussion sur https://twitter.com/javilopen/status/1719363262179938401 en est un exemple étonnant. Une autre façon d'utiliser les IA dans le codage est d'aider à la rétro-ingénierie, à la décompilation et à d'autres tâches. Cela peut s'avérer très utile pour comprendre la fonctionnalité d'un certain code.

Hallucination et droits d'auteur

Bien sûr, les IA ont tendance à halluciner : vérifiez et validez toutes les sorties ou vous pourriez essayer d'utiliser des constructions de code ou des paramètres de ligne de commande qui n'ont aucun fondement dans la réalité. Par ailleurs, les résultats des IA publiques et génératives ne sont pas protégés par des droits d'auteur : vous pouvez les utiliser comme bon vous semble (y compris les images, les textes, le code source et les logiciels). Mais vous ne pouvez pas non plus revendiquer vos propres droits d'auteur, de sorte que leur vente ou leur utilisation dans des produits peut poser problème. Il s'agit là de risques généraux auxquels vous êtes confronté lorsque vous utilisez l'IA.

Les deux principaux risques de sécurité liés à l'IA

Il existe également des risques de sécurité plus spécifiques liés à l'utilisation de l'IA.

Risque 1 : Fuite d'informations

Le premier risque de sécurité lié à l'utilisation de l'IA est que tout ce que vous téléchargez, copiez ou collez dans une IA signifie essentiellement que vous divulguez ces informations. Quelles que soient les fonctionnalités, les commutateurs ou les configurations du modèle d'IA, si vous téléchargez des informations sensibles vers un tiers, il y a eu fuite.

Et vous devez être conscient que tout ce qui entre dans une IA peut également en sortir. Il peut être nécessaire d'user d'un peu de persuasion pour "vendre la mèche", mais il a été possible d'extraire des modèles, des données d'entraînement et des messages d'autres utilisateurs. Un chercheur de l'université Northwestern a testé plus de 200 GPT personnalisés et a réussi à extraire des informations de 97 % d'entre eux à l'aide de simples invites. Les opérateurs d'IA ne sont donc pas les seuls à avoir une idée de ce que vous avez téléchargé : les adversaires peuvent également extraire des données d'entraînement des IA par le biais de l'interaction avec les invites.

Cela signifie que demander à une IA de résumer un texte contenant des secrets d'entreprise ou des informations personnelles sensibles n'est pas une bonne idée, même si l'apprentissage renforcé n'est pas activé. Ne fournissez à l'IA que des informations qui ne sont pas sensibles, telles que des textes commerciaux, le contenu d'un site web ou des informations accessibles au public. Bien sûr, une solution possible pour cela pourrait être d'exécuter votre propre LLM dans votre cloud privé ou sur site. Bien que cela ne soit pas impossible, les coûts de cette solution peuvent être prohibitifs à court terme.

Une autre solution consiste à demander à votre LLM personnalisé d'avertir l'utilisateur s'il détecte des informations sensibles dans les documents téléchargés, et d'ignorer ces données.

Risque 2 : Manipulation des résultats de l'IA

Un deuxième risque pour l'IA est la manipulation, par exemple la manipulation de chatbots ou d'outils d'amélioration de la productivité tels que Microsoft Copilot. Les IA peuvent être incitées à fournir des résultats indésirables, tels qu'un langage offensant (transformant votre sympathique chatbot de service à la clientèle en un pirate jurant), ou des attaques plus graves dans lesquelles d'autres composants connectés peuvent être ciblés. Si une IA est connectée à l'internet, elle peut même être manipulée pour mener des attaques contre d'autres systèmes. Il existe plusieurs façons de manipuler les IA pour qu'elles effectuent des activités indésirables, voire malveillantes.

La plupart de ces techniques utilisent l'injection d'invites : Entrées malveillantes conçues pour manipuler le traitement ou les résultats d'un système d'IA, en l'incitant à effectuer des actions involontaires ou à divulguer des informations sensibles. La plupart des IA filtrent ces invites avant de les transmettre au LLM proprement dit. Toutefois, il est possible de contourner ces filtres en recourant à des méthodes astucieuses d'obscurcissement, de masquage, de fractionnement ou d'encodage des demandes. Un exemple récent est la recherche qui a utilisé l'art ASCII pour coder les instructions et contourner les filtres : https://arxiv.org/abs/2402.11753.

Une autre façon de manipuler les IA consiste à utiliser la "virtualisation" ou le "jeu de rôle" : l'attaquant demande à l'IA d'endosser une personnalité ou un rôle différent et de faire semblant d'être ou de faire quelque chose. Cela permet également de contourner de nombreux filtres.

Nous n'en sommes qu'au début et nous ne connaissons pas encore en détail les conséquences de ce type de manipulation. J'imagine que cela pourrait conduire à de nouvelles formes d'extorsion. Ou peut-être qu'un attaquant pourrait manipuler un outil comme CoPilot pour générer un code vulnérable qui serait ensuite utilisé dans des produits. Ou encore, l'IA pourrait être utilisée pour effectuer des appels API ou des recherches dans des bases de données sur d'autres services restreints.

Si vous souhaitez en savoir plus sur ces types de techniques d'attaque, l'OWASP propose une excellente ressource à l'adresse https://owaspai.org/ et, bien sûr, il existe déjà un Top10 de l'OWASP pour les étudiants en master de droit : https://llmtop10.com/.

Sécuriser les risques

Comment contrôler les risques liés à l'utilisation de l'IA ? En termes de contrôles de sécurité, vous devriez envisager de formuler une politique d'utilisation acceptable pour les IA. Vous pourriez également envisager de compiler un registre de l'IA indiquant où les IA sont utilisées dans votre organisation et pour quelles tâches. Cela permettra d'orienter vos collaborateurs et de les sensibiliser aux risques. Par ailleurs, il peut être nécessaire d'envisager l'utilisation d'IA sur site, et il existe heureusement des LLM et d'autres modèles qui le permettent (bien que les ressources informatiques requises pour cela soient souvent non triviales). Et bien sûr : testez, testez, testez.

Testing security de l'IA

Nos clients nous posent souvent des questions sur la sécurité de l'IA. Bien qu'il s'agisse d'un sujet relativement nouveau pour nous (comme pour tout le monde), nous développons des capacités dans ce domaine. Nous pouvons effectuer des tests de sécurité de l'IA, où nous pouvons tester la robustesse et la résilience du LLM contre des attaques telles que l'extraction de modèle, l'injection d'invite, la manipulation de l'IA, l'entachage de modèle, la réutilisation ou l'inférence d'appartenance.

Enfin, si vous avez des questions sur la sécurité de l'IA, veuillez contacter votre gestionnaire de compte ou envoyer un courriel à cybersecurity@bureauveritas.com.

Le monde de la cybersécurité est en pleine évolution. Abonnez-vous à notre lettre d'information Cyber Vision sur LinkedIn pour en savoir plus sur la nature changeante de la cybersécurité, et sur l'avenir de la résilience Cyber.