KI sicher nutzen

Autor: Ralph Moonen, leitender Berater bei Bureau Veritas Cybersecurity

Mit der enormen Zunahme der Fähigkeiten von KI und insbesondere von Large Language Models (LLMs) fragen unsere Kunden zunehmend nach Ratschlägen zur Sicherheit von KI. Ist es möglich, KI sicher zu nutzen? Was sind die Hauptprobleme der KI in Bezug auf die Sicherheit? Und wie können Sie Ihre Organisation vor diesen Risiken schützen?

Ich denke, die meisten Menschen werden mir zustimmen, dass der Nutzen von KI und insbesondere von LLM so groß geworden ist, dass man sie nicht mehr ignorieren kann. Im Geschäftsleben können sie bei textbezogenen Aufgaben wie Übersetzungen oder Zusammenfassungen die Produktion erheblich steigern.

Bei der Softwareentwicklung kann KI auch hervorragende Unterstützung bei der Codierung und Fehlersuche bieten. Sie könnten zum Beispiel ChatGPT oder Claude 3 bitten, Code zu generieren oder bei der Fehlersuche zu helfen. Es macht Spaß, kreativ zu werden, und wenn Sie sehen wollen, was alles möglich ist, dann ist der Thread auf https://twitter.com/javilopen/status/1719363262179938401 ein tolles Beispiel. Eine weitere Möglichkeit, KI bei der Programmierung einzusetzen, ist die Unterstützung beim Reverse Engineering, der Dekompilierung und anderen Aufgaben. Dies kann sehr hilfreich sein, wenn Sie versuchen, die Funktionalität eines bestimmten Codes herauszufinden.

Halluzinationen und Copyright-Probleme

Natürlich neigt die KI zu Halluzinationen: Überprüfen und validieren Sie alle Ausgaben, sonst könnten Sie versuchen, Codekonstrukte oder Befehlszeilenparameter zu verwenden, die keine Grundlage in der Realität haben. Außerdem: Die Ausgaben von öffentlichen und generativen KIs haben kein Urheberrecht: Sie können sie nach Belieben verwenden (einschließlich Bilder, Texte, Quellcode und Software). Aber Sie können auch kein eigenes Urheberrecht beanspruchen, so dass der Verkauf oder die Verwendung in Produkten problematisch sein könnte. Dies sind die allgemeinen Risiken, denen Sie bei der Verwendung von KI ausgesetzt sind.

Die zwei wichtigsten Sicherheitsrisiken der KI

Es gibt auch spezifischere Sicherheitsrisiken im Zusammenhang mit der Verwendung von KI.

Risiko 1: Durchsickern von Informationen

Das erste Sicherheitsrisiko bei der Verwendung von KI besteht darin, dass alles, was Sie hochladen, kopieren oder in eine KI einfügen, im Grunde bedeutet, dass Sie diese Informationen weitergeben. Unabhängig von den Funktionen, Schaltern oder Konfigurationen des KI-Modells, wenn Sie sensible Informationen an einen Dritten hochladen, sind diese Informationen durchgesickert.

Und Sie sollten sich bewusst sein, dass alles, was in eine KI hineingeht, auch wieder herauskommen kann. Es mag ein wenig Überredungskunst erfordern, aber es war schon möglich, Modelle, Trainingsdaten und die Eingabeaufforderungen anderer Benutzer zu extrahieren. Ein Forscher der Northwestern University hat mehr als 200 benutzerdefinierte GPTs getestet und es geschafft, aus 97 % von ihnen Informationen zu extrahieren, indem er nur einfache Eingabeaufforderungen verwendete. Es sind also nicht nur die KI-Betreiber, die Einblick in das haben, was Sie hochgeladen haben: Auch Gegner können durch die Interaktion mit Prompts Trainingsdaten aus KIs extrahieren.

Das bedeutet, dass es keine gute Idee ist, eine KI zu bitten, einen Text mit Firmengeheimnissen oder sensiblen persönlichen Informationen zusammenzufassen, selbst wenn verstärktes Lernen nicht aktiviert ist. Füttern Sie die KI nur mit Informationen, die nicht sensibel sind, wie z.B. kommerzielle Texte, Website-Inhalte oder öffentlich zugängliche Informationen. Eine mögliche Lösung könnte natürlich sein, dass Sie Ihr eigenes LLM in Ihrer privaten Cloud oder vor Ort betreiben. Das ist zwar nicht unmöglich, aber die Kosten dafür können kurzfristig unerschwinglich sein.

Eine andere Möglichkeit, dieses Problem zu lösen, besteht darin, Ihren benutzerdefinierten LLM anzuweisen, den Benutzer zu warnen, wenn er sensible Informationen in den hochgeladenen Materialien entdeckt, und diese Eingaben zu ignorieren.

Risiko 2: Manipulation der KI-Ausgabe

Ein zweites Risiko für KI ist die Manipulation, z.B. von Chatbots oder Produktivitätsverbesserern wie Microsoft Copilot. KIs können dazu gebracht werden, unerwünschte Ausgaben zu machen, wie z.B. beleidigende Sprache (wodurch Ihr freundlicher Kundendienst-Chatbot zu einem fluchenden Piraten wird), oder ernsthaftere Angriffe, bei denen andere verbundene Komponenten angegriffen werden können. Wenn eine KI mit dem Internet verbunden ist, kann sie sogar so manipuliert werden, dass sie Angriffe auf andere Systeme ausführt. Es gibt verschiedene Möglichkeiten, KIs so zu manipulieren, dass sie unerwünschte oder sogar bösartige Aktivitäten ausführen.

Die meisten dieser Techniken verwenden Prompt Injection: Böswillige Eingaben, die darauf abzielen, die Verarbeitung oder Ausgabe eines KI-Systems zu manipulieren und es dazu zu bringen, unbeabsichtigte Aktionen auszuführen oder sensible Informationen preiszugeben. Die meisten KIs filtern solche Eingabeaufforderungen, bevor sie an den eigentlichen LLM weitergeleitet werden. Durch geschickte Methoden der Verschleierung, Maskierung, Aufteilung oder Verschlüsselung von Anfragen können diese Filter jedoch umgangen werden. Ein aktuelles Beispiel hierfür ist die Forschung, die ASCII-Kunst zur Kodierung von Anweisungen und zur Umgehung von Filtern verwendet: https: //arxiv.org/abs/2402.11753.

Eine andere Möglichkeit, KIs zu manipulieren, ist die "Virtualisierung" oder das "Rollenspiel", bei dem der Angreifer die KI anweist, eine andere Persönlichkeit oder Rolle anzunehmen und einfach so zu tun, als ob er etwas wäre oder täte. So können auch viele Filter umgangen werden.

Wir befinden uns noch im Anfangsstadium und wissen noch nicht im Detail, welche Folgen diese Art der Manipulation haben könnte. Ich kann mir vorstellen, dass dies zu neuen Formen der Erpressung führen könnte. Oder vielleicht könnte ein Angreifer ein Tool wie CoPilot so manipulieren, dass es anfälligen Code erzeugt, der dann in Produkten verwendet wird. Oder vielleicht könnte die KI dazu benutzt werden, API-Aufrufe oder Datenbankabfragen bei anderen eingeschränkten Leistungen durchzuführen.

Wenn Sie mehr über diese Arten von Angriffstechniken wissen möchten, bietet OWASP eine großartige Ressource unter https://owaspai.org/ und natürlich gibt es bereits eine OWASP Top10 für LLMs: https: //llmtop10.com/.

Absicherung der Risiken

Wie lassen sich also die Risiken beim Einsatz von KI kontrollieren? Was die Sicherheitskontrollen anbelangt, sollten Sie die Formulierung einer Acceptable Use Policy für KI in Betracht ziehen. Außerdem sollten Sie in Erwägung ziehen, ein KI-Register zu erstellen, in dem festgehalten wird, wo in Ihrer Organisation KI eingesetzt wird und für welche Aufgaben. Dies wird dazu beitragen, Ihren Mitarbeitern Orientierung zu geben und sie für die Risiken zu sensibilisieren. Alternativ kann es notwendig sein, den Einsatz von KI vor Ort in Betracht zu ziehen. Glücklicherweise gibt es LLMs und andere Modelle, die dies ermöglichen (obwohl die dafür erforderlichen Rechenressourcen oft nicht trivial sind). Und natürlich: Testen, testen, testen.

Testen der KI-Sicherheit

Wir erhalten ziemlich viele Fragen von Kunden zur KI-Sicherheit. Obwohl das Thema für uns relativ neu ist (wie für jeden anderen auch), entwickeln wir Fähigkeiten zu diesem Thema. Wir können KI-Sicherheitstests durchführen, bei denen wir die Robustheit und Resilienz des LLM gegen Angriffe wie Modellextraktion, Prompt Injection, KI-Manipulation, Modellverfälschung, Wiederverwendung oder Membership Inference testen können.

Wenn Sie Fragen zur KI-Sicherheit haben, wenden Sie sich bitte an Ihren Account Manager oder senden Sie eine E-Mail an cybersecurity@bureauveritas.com.

Die Welt der Cybersecurity ist in Bewegung. Abonnieren Sie unseren Cyber Vision Newsletter auf LinkedIn, um mehr über den Wandel in der Cybersecurity und die Zukunft der Cyber-Resilienz zu erfahren.