AI veilig gebruiken

Auteur: Ralph Moonen, Principal consultant bij Bureau Veritas Cybersecurity

Met de enorme groei in mogelijkheden van AI's, en in het bijzonder Large Language Models (LLM's), vragen onze klanten steeds vaker om advies over de beveiliging van AI's. Is het mogelijk om AI veilig te gebruiken? Wat zijn de belangrijkste problemen van AI op het gebied van beveiliging? En hoe kunt u uw organisatie tegen deze risico's beschermen?

Ik denk dat de meeste mensen het ermee eens zullen zijn dat het nut van AI's en in het bijzonder LLM's zo groot is geworden dat u ze niet langer kunt negeren. In het bedrijfsleven kunnen ze geweldige productieverhogers zijn voor tekstgerelateerde taken zoals vertalingen of samenvattingen.

Voor softwareontwikkeling kunnen AI's ook uitstekende hulp bieden bij het coderen en debuggen. U kunt bijvoorbeeld ChatGPT of Claude 3 vragen om code te genereren of te helpen bij het debuggen. Het is leuk om creatief te worden en als u wilt zien wat er allemaal mogelijk is, dan is de thread op https://twitter.com/javilopen/status/1719363262179938401 een geweldig voorbeeld. Een andere manier om AI's te gebruiken bij het coderen is als hulp bij Reverse-engineering, decompilatie en andere taken. Dit kan krachtig zijn wanneer u de functionaliteit van bepaalde code probeert te achterhalen.

Hallucinatie en auteursrecht

Natuurlijk hebben AI's de neiging om te hallucineren: controleer en valideer alle uitvoer, anders probeert u misschien codeconstructies of command line parameters te gebruiken die geen basis hebben in de werkelijkheid. Ook: uitvoer van openbare en generatieve AI's heeft geen auteursrecht: u kunt het naar eigen inzicht gebruiken (inclusief afbeeldingen, teksten, broncode en software). Maar u kunt ook geen aanspraak maken op uw eigen auteursrecht, dus het verkopen of gebruiken in producten kan problematisch zijn. Dit zijn algemene risico's die u loopt als u AI gebruikt.

De twee belangrijkste beveiligingsrisico's van AI

Er zijn ook meer specifieke beveiligingsrisico's verbonden aan het gebruik van AI's.

Risk 1: Lekken van informatie

Het eerste beveiligingsrisico bij het gebruik van AI's is dat alles wat u uploadt, kopieert of plakt in een AI in wezen betekent dat u die informatie lekt. Ongeacht de functies of schakelaars of configuraties van het AI-model, als u gevoelige informatie uploadt naar een derde partij, is deze gelekt.

En u moet zich ervan bewust zijn dat alles wat in een AI gaat, er ook weer uit kan komen. Er is misschien wat overredingskracht voor nodig om "de bonen te morsen", maar het is mogelijk om modellen, traininggegevens en aanwijzingen van andere gebruikers te extraheren. Een onderzoeker van de Northwestern University testte meer dan 200 aangepaste GPT's en slaagde erin om uit 97% hiervan informatie te halen met slechts eenvoudige prompts. Het zijn dus niet alleen de AI-operators die inzicht hebben in wat u geüpload hebt: tegenstanders kunnen ook traininggegevens uit AI's halen via promptinteractie.

Dit betekent dat een AI vragen om een tekst met bedrijfsgeheimen of gevoelige persoonlijke informatie samen te vatten geen goed idee is, zelfs als versterkt leren niet is ingeschakeld. Geef de AI alleen informatie die niet gevoelig is, zoals commerciële teksten, inhoud van websites of openbaar beschikbare informatie. Een mogelijke oplossing hiervoor zou natuurlijk kunnen zijn om uw eigen LLM in uw privécloud of on-premise uit te voeren. Hoewel dit niet onmogelijk is, kunnen de kosten hiervan op korte termijn onbetaalbaar zijn.

Een andere manier om dit aan te pakken is om uw aangepaste LLM te instrueren om de gebruiker te waarschuwen als het gevoelige informatie detecteert in het geüploade materiaal, en die invoer te negeren.

Risk 2: AI-uitvoer manipuleren

Een tweede risico voor AI is manipulatie, bijvoorbeeld manipulatie van chatbots of productiviteitsverhogende middelen zoals Microsoft Copilot. AI's kunnen worden overgehaald om ongewenste uitvoer te leveren, zoals beledigend taalgebruik (waardoor uw vriendelijke chatbot voor de klantenservice verandert in een scheldende piraat), of ernstiger aanvallen waarbij andere verbonden componenten het doelwit kunnen zijn. Als een AI met het internet verbonden is, kan hij zelfs gemanipuleerd worden om aanvallen op andere systemen uit te voeren. Er zijn verschillende manieren om AI's te manipuleren om ongewenste of zelfs kwaadaardige activiteiten uit te voeren.

De meeste van deze technieken maken gebruik van Prompt injection: Kwaadaardige invoer die is ontworpen om de verwerking of uitvoer van een AI-systeem te manipuleren, zodat het systeem onbedoelde acties uitvoert of gevoelige informatie vrijgeeft. De meeste AI's filteren dergelijke prompts voordat ze worden doorgegeven aan de eigenlijke LLM. Er kunnen echter slimme manieren worden gebruikt om verzoeken te verdoezelen, af te schermen, op te splitsen of te coderen om deze filters te omzeilen. Een recent voorbeeld hiervan was het onderzoek waarbij ASCII-kunst werd gebruikt om instructies te coderen en filters te omzeilen: https: //arxiv.org/abs/2402.11753.

Een andere manier om AI's te manipuleren is door gebruik te maken van "virtualisatie" of "rollenspellen", waarbij de aanvaller de AI instrueert om een andere persoonlijkheid of rol aan te nemen, en eenvoudigweg doet alsof hij iets is of doet. Dit kan ook veel filters omzeilen.

Het is nog vroeg en we weten nog niet in detail wat de gevolgen van dit soort manipulatie zouden kunnen zijn. Ik kan me voorstellen dat het zou kunnen leiden tot nieuwe vormen van afpersing. Of misschien kan een aanvaller een tool als CoPilot manipuleren om kwetsbare code te genereren die vervolgens in producten wordt gebruikt. Of misschien kan de AI gebruikt worden om API-oproepen of databaseopzoekingen uit te voeren op andere beperkte diensten.

Als u meer wilt weten over dit soort aanvalstechnieken, heeft OWASP een geweldige bron op https://owaspai.org/ en natuurlijk is er al een OWASP Top10 voor LLM's: https: //llmtop10.com/.

De risico's beveiligen

Dus, hoe beheerst u de risico's bij het gebruik van AI's? Op het gebied van beveiligingscontroles moet u overwegen om een beleid voor acceptabel gebruik van AI's op te stellen. En u kunt ook overwegen om een AI-register op te stellen van waar AI's in uw organisatie worden gebruikt en voor welke taken. Dit zal helpen om uw collega's te begeleiden en hen bewust te maken van de risico's. Als alternatief kan het nodig zijn om het gebruik van on-premise AI's te overwegen, en gelukkig zijn er LLM's en andere modellen die dat mogelijk maken (hoewel de hiervoor benodigde rekenkracht vaak niet-triviaal is). En natuurlijk: testen, testen, testen.

AI-beveiliging testen

Wij krijgen nogal wat vragen van klanten over AI-beveiliging. Hoewel het voor ons relatief nieuw is (zoals voor iedereen), zijn we bezig met het ontwikkelen van mogelijkheden over dit onderwerp. We kunnen AI security tests uitvoeren, waarbij we de robuustheid en veerkracht van de LLM kunnen testen tegen aanvallen zoals modelextractie, promptinjectie, AI-manipulatie, modelbederf, hergebruik of membership inference.

Tot slot, als u vragen hebt over AI-beveiliging, neem dan contact op met uw Account Manager of stuur een e-mail naar cybersecurity@bureauveritas.com.

De wereld van cybersecurity verandert. Abonneer u op onze Cyber Vision Newsletter op LinkedIn voor meer informatie over de veranderende aard van cybersecurity en de toekomst van cyberweerbaarheid.