3 Tipps für den sicheren Einsatz von Agentic KI
Wo auch immer Sie auf Ihrer Reise sind

Autor: Jair Santanna
Datum: 18/09/2025

Erfundene Songtexte zu berühmten Liedern, wissenschaftliche Abhandlungen, die es nicht gibt: Es gibt zahlreiche Beispiele für berühmte LLM-Halluzinationen. Diese sind kein Fehler, sondern ein Merkmal. Diese Modelle wurden entwickelt, um flüssige, plausibel klingende Texte zu erzeugen, nicht um die Wahrheit zu überprüfen.

Das bedeutet, dass sie getrost Details erfinden, den Kontext falsch interpretieren oder Lücken mit erfundenen Informationen füllen können. Wenn Halluzinationen in einer "agentischen Schleife" auftreten, in der die KI nicht nur spricht, sondern auch handelt, vervielfachen sich die Folgen.

Ein erfundenes Zitat mag in einer lockeren Unterhaltung harmlos sein, aber in einem Live-System mit Zugang zum Internet, zu Unternehmensdaten oder zu ausführbarem Code kann dieselbe Erfindung kostspielige, gefährliche oder sogar katastrophale Aktionen auslösen. In diesem Blog gibt unser KI-Sicherheitsexperte Jair Santanna 3 Tipps, um dies zu verhindern.

Jair, unser wichtigster KI-Cybersecurity-Spezialist, entwickelt und leitet die Cybersecurity-Leistungen und KI-gestützten Innovationen bei Bureau Veritas in Europa. Er ist außerdem Assistenzprofessor an der Universität Twente und Mitglied der EUROPOL EC3-Beratungsgruppe für Forschung und Entwicklung. Er kombiniert anerkannte Expertise mit einem praktischen, innovativen Ansatz.

Chatbots: die erste Welle von KI-Anwendungen

Erinnern Sie sich an den November 2022? Die Einführung von ChatGPT machte künstliche Intelligenz (KI) über Nacht zum Mainstream. Innerhalb weniger Wochen nutzten Millionen von Menschen einen KI-Assistenten in ihrem Alltag, um E-Mails zu verfassen, Ideen zu sammeln und sogar Gedichte zu schreiben. Es fühlte sich an wie ein Science-Fiction-Moment, der sich plötzlich in einen Browser-Tab verwandelte.

Seitdem hat sich der Wandel sehr intensiv vollzogen. Microsoft integrierte Copilot in viele seiner Tools, Google brachte Gemini auf den Markt, Anthropic stellte Claude vor, und unzählige Unternehmen folgten mit ihren eigenen KI-gesteuerten Chatbots. Was einst ein Experiment war, wurde schnell zur Standardschnittstelle für die Interaktion mit KI. Nur zu Ihrer Information: Wie oft haben Sie in der letzten Woche mit einem KI-Chatbot interagiert?

Hier, Ende 2025, sind Chatbots immer noch die häufigste Form der KI im Einsatz. Als wir im letzten Quartal Penetrationstests oder Red Teaming für KI durchführten, baten uns die meisten Unternehmen, ihre maßgeschneiderten KI-Chatbot-Systeme zu bewerten, die oft mit sensiblen internen Tools oder Datensätzen verbunden sind. Die drei häufigsten Funktionalitäten, die wir in den Chatbots fanden, waren:

1. Internetzugang: Chatbots, die in Echtzeit browsen, um neue Informationen einzuholen.
2. Datenintegration: Systeme, die mit Unternehmensdatenbanken, CRMs, der Google Suite und Wissensdatenbanken verbunden sind.
3. Implementierung von Code: Assistenten, die Skripts ausführen und funktionierende Programme erstellen können.

Von LLMs über Chatbots und KI-Agenten bis hin zur agentenbasierten KI

Was als "reine Textvorhersage" mit Large Language Models (LLMs) begann, hat sich zu "digitalen Mitarbeitern" entwickelt. An dieser Stelle kann die Terminologie etwas verwirrend sein. LLMs sind "das Gehirn" der meisten generativen KI-Anwendungen. Chatbots sind die KI-Anwendungen, die es den Endnutzern erleichtern, in schriftlicher und/oder mündlicher Form mit LLMs zu kommunizieren. Chatbots verfügen über immer mehr Funktionen und können in einigen Fällen auch als KI-Agenten betrachtet werden.

Forscher der Cornell University definieren KI-Agenten als "autonome Software-Programme, die bestimmte Aufgaben erfüllen". In der gleichen Arbeit definieren sie KI als "Systeme aus mehreren KI-Agenten, die zusammenarbeiten, um komplexe Ziele zu erreichen". Sie verwenden eine sehr anschauliche Analogie von zwei Systemen, die die Temperatur einer Umgebung kontrollieren, wie in der folgenden Abbildung dargestellt.

Seit Ende 2025 dreht sich die Diskussion um KI häufig um Tools, die für die Automatisierung und Integration von KI-Workflows entwickelt wurden (z.B. n8n, Dify) oder um allgemeine SaaS-Automatisierungsplattformen (z.B. Zapier, Make, Microsoft Power Automate). Sowohl KI-spezifische als auch allgemeine Workflow-Automatisierungsplattformen ermöglichen es LLMs, echte Aktionen auszulösen.

Das Spannendste ist, dass sich jede Organisation jetzt praktische, hochwertige Agenten vorstellen kann, die auf ihre täglichen Abläufe zugeschnitten sind. Zum Beispiel:

1. Unternehmen können Research-Agenten einsetzen, die Nachrichten aus der Branche scannen, die Strategien der Wettbewerber zusammenfassen und ausgefeilte Berichte liefern, die internen Vorlagen folgen.
2. Vertriebsteams profitieren von Outreach-Agenten, die Leads qualifizieren, personalisierte E-Mails verfassen und das CRM automatisch aktualisieren.
3. Personalabteilungen können Onboarding-Agenten einsetzen, die personalisierte Begrüßungspakete vorbereiten, Schulungen planen und die erforderlichen Dokumente sammeln.
4. Finanzteams können Compliance-Agenten einsetzen, die Transaktionen abgleichen, Anomalien markieren und auditfähige Zusammenfassungen erstellen.
5. Sogar Produktteams können Agenten für das Kundenfeedback einsetzen, die soziale Kanäle überwachen, Erkenntnisse sammeln und priorisierte Verbesserungen empfehlen.

Die Möglichkeiten sind endlos. Das eigentliche Hindernis ist NICHT mehr die Technologie, sondern unsere Kreativität.

Die KI-Fallen

Das Herzstück von Chatbots und agentenbasierter KI sind die großen Sprachmodelle (LLMs). Sie sind erstaunlich fähig, Text zu synthetisieren, über Anweisungen nachzudenken und sogar funktionierenden Code zu erzeugen. Aber lassen Sie mich eines klarstellen: LLMs sind leistungsstark, aber auch sehr anfällig. Ihre Stärken verbergen tiefe Fallstricke, grenzenlose Autonomie, versteckte Schwachstellen und kaskadenartige Risiken in digitalen Lieferketten. Wie in den vorangegangenen Abschnitten beschrieben, sind die Vorteile immer noch größer als die Risiken, wenn sie gut durchdacht und angegangen werden.

Betrachten Sie vier gängige Funktionalitäten, die KI-Agenten attraktiv machen, und die damit verbundenen Risiken:

1. Internetzugang → Fehlinformationsrisiken. Ein kundenorientierter Chatbot für ein Reisebüro könnte die Visabestimmungen von einer unzuverlässigen Website abrufen. Wenn diese Angaben veraltet oder falsch sind, könnte ein Reisender unvorbereitet an der Grenze ankommen, was zu persönlichen Beeinträchtigungen und einem dauerhaften Imageschaden für das Reisebüro führt.
2. Datenintegration → Gefährdung von Sicherheit und Datenschutz. Wenn ein KI-Assistent mit sensiblen Unternehmenssystemen, wie der Patientendatenbank eines Krankenhauses, verbunden ist, steigt der Einsatz dramatisch. Eine schlecht konzipierte Eingabeaufforderung oder ein böswilliger Insider könnte das Modell dazu bringen, private Gesundheitsdaten preiszugeben, was Klagen und behördliche Strafen nach sich ziehen könnte.
3. Code-Implementierung → Unbeabsichtigte Folgen. KI-generierte Skripte können korrekt aussehen, aber subtile Schwächen verbergen. Ein Marketingteam, das sich auf einen solchen Code verlässt, könnte versehentlich E-Mails verschicken, ohne Abmeldeanfragen zu berücksichtigen, und damit Tausende von Benutzern mit Spam überhäufen und gegen Compliance-Vorschriften verstoßen, was Geldstrafen von bis zu 43.280 Dollar pro E-Mail nach sich ziehen könnte.
4. Entscheider für kritische assets oder Geschäftsabläufe → verletzen Geschäftsregeln oder sogar Gesetze. Der berüchtigte Chevrolet-Vorfall veranschaulicht dieses Risiko. Der Chatbot eines Autohauses, der sich nicht an die Preislogik hielt, "verkaufte" einen Chevy Tahoe, der ursprünglich zwischen 60.000 und 80.000 US-Dollar gekostet hatte, für 1 US-Dollar. Ohne eine strikte Integration mit offiziellen Systemen kann KI Ergebnisse erzeugen, die gegen Geschäftsregeln, Verträge oder sogar Gesetze verstoßen.

Diese Links zu Fällen unterstreichen, wie wichtig es ist, beim Einsatz von KI-Agenten in geschäftskritischen Umgebungen angemessene Leitplanken, menschliche Aufsicht und Systemintegration zu implementieren. Jeder Vorfall stellt nicht nur ein technisches Versagen dar, sondern auch ein Versagen des Risikomanagements, das mit geeigneten Schutzmaßnahmen hätte verhindert werden können.

Unsere 3 Tipps und eine Liste von Standards, um Ihre KI-Anwendung sicherer zu machen

Unabhängig davon, wo Ihr Unternehmen auf dem Weg zur KI steht, wenn es eine Anwendung mit LLM-Aufrufen (API), einen Chatbot, einen KI-Agenten oder eine agentenbasierte KI-Anwendung hat, sind dies die drei wichtigsten Ratschläge, die wir unseren Kunden geben.

1. Leitplanken. Sie sollten Guardrails vor und nach dem LLM-Aufruf implementieren. So können Sie Eingaben bereinigen, bevor sie das Modell erreichen, und Ausgaben filtern, bevor sie den Benutzer oder ein anderes System erreichen. Guardrails sind keine Schadensbegrenzung, sondern eher eine erste Verteidigungslinie oder grundlegende Hygiene. In der Regel ist es sinnvoll, direkt beim Anbieter des KI-Modells/der KI-Ressource anzufangen. AWS Bedrock beispielsweise verfügt über mehrere Leitplanken, die einfach implementiert werden können, vor allem, wenn Sie LLMs oder von ihnen bereitgestellte Ressourcen verwenden.
2. Beachten Sie das "KI-Dreieck der Risiken". Eine KI-Lösung sollte niemals diese Aspekte gleichzeitig kombinieren: (1) nicht vertrauenswürdige Eingaben, (2) Zugriff auf sensible Daten oder (3) ausgehender Netzwerkzugriff. Es hat sich gezeigt, dass die gleichzeitige Kombination von zwei oder mehr dieser Aspekte ein Rezept für eine Katastrophe ist. Weitere Einzelheiten zu diesem KI-Risikodreieck finden Sie im Webinar Wie Sie KI sicher einsetzen.
3. security testing. Sie sollten regelmäßig Penetrationstests und/oder Red Teaming für KI-Systeme durchführen. Vorzugsweise durch Drittanbieter, die bei der Implementierung Ihres KI-Systems nicht voreingenommen sind. Stellen Sie sicher, dass sich die Tests auf die von der Branche aufgelisteten Risiken beziehen, z.B. auf die Wissensdatenbank MITRE ATLAS (Taktiken, Techniken und Fallstudien von Angreifern speziell für KI-Systeme ) und die Top 10 GenAI Security Risks der OWASP Community.

Zusätzlich zu diesen 3 Tipps und anderen Ratschlägen raten wir unseren Kunden dringend, Frameworks und Standards zu kennen und einzuhalten. Frameworks und Standards sind die Grundlage für den Aufbau sicherer, vertrauenswürdiger und zukunftsfähiger KI-Systeme.

Sie bieten strukturierte Methoden zur Identifizierung und Minderung von Risiken, geben Unternehmen die Möglichkeit, gegenüber Kunden, Aufsichtsbehörden und der Öffentlichkeit Rechenschaft abzulegen und reduzieren langfristig die Kosten für Compliance, wenn Vorschriften wie das EU-KI-Gesetz in Kraft treten.

Kurz gesagt, die Beachtung von Frameworks hilft Organisationen heute, kostspielige Fehler zu vermeiden, das Vertrauen der Stakeholder zu stärken und sowohl Angreifern als auch Aufsichtsbehörden einen Schritt voraus zu sein. Hier finden Sie eine Liste einiger wichtiger Rahmenwerke, Standards und Vorschriften im Zusammenhang mit KI.