88% der Unternehmen nutzen inzwischen regelmäßig künstliche Intelligenz (KI) in mindestens einer Geschäftsfunktion. Während sich die Einführung von KI-Technologien schnell beschleunigt hat, hinken die Sicherheitsmaßnahmen oft hinterher. Die Eile bei der Einführung von KI hat in vielen Fällen wesentliche Test- und Sicherheitsprotokolle in den Schatten gestellt. Dies ist besonders besorgniserregend, wenn KI und große Sprachmodelle (Large Language Models, LLMs) so tief in die Arbeitsabläufe und Systeme von Unternehmen eingebettet werden, wie es bei der meisten Software nicht der Fall ist.

Diese Systeme interagieren häufig mit sensiblen Daten, haben umfassenden Zugriff auf interne Tools und Wissensdatenbanken und generieren Ergebnisse, auf die sich die Mitarbeiter bei ihren Entscheidungen verlassen. Einmal eingesetzt, werden sie durch routinemäßige Eingaben der Mitarbeiter schnell zu einem zentralen Speicher für Unternehmensdaten, was ihren Wert als Ziel für Angreifer erhöht.

Ein kürzlich durchgeführter Hackerangriff auf die interne KI-Plattform von McKinsey & Company, Lilli, hat gezeigt, wie schnell diese Umgebungen kompromittiert werden können. Die Forscher von CodeWall nutzten einen KI-Agenten, um in nur zwei Stunden auf große Mengen sensibler Daten zuzugreifen, darunter auch geschützte Forschungsergebnisse und Abfragen auf Systemebene. In einem realen Szenario mit Bedrohungsakteuren sind die Einsätze viel höher.

Diese Risiken sind zu groß, um sie allein mit herkömmlichen Sicherheitstools zu bewältigen. Laut dem IBM-Bericht „2025 Cost of a Data Breach Report“ verfügten 63 % der Unternehmen über keinerlei KI-Governance-Richtlinien und 97 % der Unternehmen, in denen es zu einem KI-bezogenen Sicherheitsvorfall kam, hatten keine angemessenen Zugangskontrollen eingerichtet. Die Sicherung von KI-Systemen erfordert eine andere Art des Denkens und eine andere Art des Testens.

Was sind KI-Penetrationstests?

Bei KI-Penetrationstests werden KI- und LLM-Systeme auf Sicherheitsschwachstellen untersucht. Wie bei herkömmlichen Penetrationstests besteht das Ziel darin, Schwachstellen zu erkennen, bevor ein Angreifer sie findet. Der Unterschied liegt darin, was getestet wird und wie sich diese Systeme verhalten.

Bei KI liegt der Schwerpunkt nicht mehr auf Fehlkonfigurationen oder ungepatchter Software. Stattdessen wird getestet, wie ein Modell auf Eingaben reagiert, auf welche Daten es zugreifen kann und ob es so manipuliert werden kann, dass es außerhalb seiner vorgesehenen Grenzen agiert.

Diese Unterscheidung ist von entscheidender Bedeutung und der Grund, warum ein typischer Penetrationstest für Webanwendungen die KI-spezifischen Risiken nicht vollständig abdeckt. Bei Tests, die für Webanwendungen entwickelt wurden, werden wahrscheinlich Vektoren wie Prompt-Injection-Angriffe und Retrieval-Augmented Generation (RAG) Pipeline Poisoning übersehen.

Dennoch werden Penetrationstests für Webanwendungen nicht ersetzt. Jeder Test zielt auf bestimmte Bereiche ab und erfordert seine eigene Methodik und Expertise. Zusammengenommen bieten sie eine breitere Abdeckung und helfen sicherzustellen, dass der gesamte Anwendungsstapel gegen moderne Bedrohungen gewappnet ist.

Es lohnt sich auch, zwischen KI-Systemen und LLMs zu unterscheiden, da sie unterschiedliche Testansätze erfordern:

• KI bezieht sich auf die End-to-End-Lösung: Dazu gehören Modelle, Daten, Integrationen und automatisierte Arbeitsabläufe. Sicherheitsbedenken ergeben sich aus dem Systemverhalten, bei dem Angreifer ausnutzen oder manipulieren, wie die Lösung mit Daten und externen Systemen interagiert.
• LLMs sind die zentrale Entscheidungskomponente: Das LLM ist für die Erzeugung sprachbasierter Ergebnisse verantwortlich. Daher werden bei den Tests diese Antworten geprüft, einschließlich der Genauigkeit, der Datenexposition und der Einhaltung der Richtlinien.

Die wichtigsten Schwachstellen in KI- und LLM-Systemen

Anstatt sich nur auf Code oder Infrastruktur zu konzentrieren, können Angreifer darauf abzielen, wie ein KI-System Eingaben interpretiert und darauf reagiert. Dies führt zu einer Reihe neuer potenzieller Angriffe, wie in den OWASP Top 10 für LLM-Anwendungen 2025 beschrieben. Im Folgenden finden Sie drei Bereiche, denen Sicherheitsteams bei der Bewertung von KI-Systemen Priorität einräumen sollten.

1. Prompte Injektion

Bei Prompt-Injection-Angriffen geht es darum, Eingaben zu manipulieren, die ein LLM dazu bringen, sich auf unbeabsichtigte oder unsichere Weise zu verhalten. Ein Angreifer könnte Systemanweisungen außer Kraft setzen, versteckte Eingabeaufforderungen extrahieren oder das Modell dazu bringen, anderweitig eingeschränkte Aktionen auszuführen.

Die Herausforderung besteht darin, dass LLMs so konzipiert sind, dass sie hilfreich und anpassungsfähig sind. Diese Flexibilität macht es schwierig, vertrauenswürdige Anweisungen vollständig von nicht vertrauenswürdigen Eingaben zu trennen, insbesondere in Systemen, die Benutzeraufforderungen mit Systemaufforderungen, Plugins oder externen Datenquellen kombinieren.

2. Offenlegung sensibler Informationen

LLMs können versehentlich sensible Daten preisgeben, selbst wenn sie nicht explizit für deren Speicherung vorgesehen sind. Dies geschieht in der Regel auf drei Arten:

• Persönlich identifizierbare Informationen, die während der Interaktion mit dem LLM offengelegt werden.
• Schlecht konfigurierte Modellausgaben, die Trainingsdaten oder proprietäre Algorithmen offenbaren.
• Sensible Geschäftsdaten wurden versehentlich in die Antworten aufgenommen.

Für Unternehmen, die LLMs mit geschützten oder regulierten Daten verwenden, wird dies zu einem ernsten Problem. Eine einzige schlecht gehandhabte Abfrage könnte dazu führen, dass vertrauliche Informationen an einen unbefugten Benutzer weitergegeben werden.

3. Daten- und Modellvergiftung

Data Poisoning zielt auf die Integrität des Modells selbst ab. Indem sie bösartige oder manipulierte Daten in die Trainings- oder Feinabstimmungs-Pipelines einbringen, können Angreifer das Verhalten des Modells beeinflussen. Das Einbetten von schädlichen Informationen in Trainingsdatensätze könnte beispielsweise zu verzerrten Ergebnissen führen.

Die Schwachstelle kann verborgen bleiben, da ein vergiftetes Modell scheinbar normal funktioniert, aber in bestimmten Szenarien falsche Ergebnisse liefert. Deshalb brauchen Unternehmen robuste Validierungsprozesse.

Was Sie von einem KI-Penetrationstest erwarten können

KI-Penetrationstests folgen klaren Richtlinien, Regeln und Phasen, um sicherzustellen, dass ethische Hacker einen genauen und gründlichen Test durchführen. Bei Outpost24 werden unsere Penetrationstests von Menschen durchgeführt, wobei zertifizierte Experten KI-spezifische Angriffstechniken und keine automatisierten Scanner verwenden. Unser Prozess folgt fünf Schritten:

1. Systemerkennung und -zuordnung

Wie bei jedem Projekt ist der erste Schritt das Scoping, um sich ein klares Bild von der Angriffsfläche zu machen. Bei KI bedeutet dies, dass die Komponenten, Schnittstellen, Datenflüsse, Tool-Integrationen und Vertrauensgrenzen aufgezählt werden müssen.

2. Schwachstellenbewertung und gegnerische Tests

Die Tester versuchen zunächst aktiv, das Verhalten des Modells zu manipulieren. Sie testen eine Reihe von Schwachstellen, darunter direkte und indirekte Prompt Injection, Jailbreaking, Ausgabemanipulation und RAG-Poisoning-Versuche. Das Ziel ist es, herauszufinden, wie sich das Modell verhält, wenn es außerhalb seiner erwarteten Verwendung eingesetzt wird. Können Schutzmechanismen umgangen werden? Kann das Modell so beeinflusst werden, dass es sich entgegen seinem eigentlichen Zweck verhält?

3. Testen von KI-Rollen und Zugriffskontext

KI-Systeme verlassen sich nicht auf Zugriffskontrollen in der gleichen Weise wie Standardanwendungen. Rollen und Berechtigungen werden oft implizit durch Eingabeaufforderungen und den umgebenden Kontext definiert. In dieser Phase geht es darum, ob diese Grenzen auch unter Druck Bestand haben. Die Tester bewerten Probleme wie die Offenlegung von Systemaufforderungen, die auf Aufforderungen basierende Ausweitung von Berechtigungen und den unbeabsichtigten kontextübergreifenden Datenzugriff und suchen nach Möglichkeiten, wie ein Angreifer die Grenzen, die das System erzwingen soll, überschreiten könnte.

4. Unterstützung von Schnittstellentests

Selbst das sicherste Modell kann durch eine schwache Infrastruktur unterminiert werden. Die Tester konzentrieren sich auf die API-Sicherheit und die Authentifizierungskontrollen sowie auf die Ratenbegrenzung (die das KI-System vor Überlastung schützt) und die Webschnittstellen oder Chat-Frontends, die zur Interaktion mit dem Modell verwendet werden. So wird sichergestellt, dass der breitere Anwendungsstapel keine vermeidbaren Risiken rund um die KI-Komponente birgt.

5. Analyse und Berichterstattung

Im letzten Schritt analysieren die Tester die Daten. Im Bericht werden die Ergebnisse mit den OWASP LLM Top 10 verglichen, und die Ergebnisse werden nach ihrer potenziellen Auswirkung auf das Geschäft priorisiert, damit sich die Teams auf das Wesentliche konzentrieren können. Jedes Problem wird durch klare, praktische Anleitungen zur Behebung der Schwachstellen unterstützt, damit diese effizient behoben werden können.

Braucht Ihr Unternehmen einen KI-Penetrationstest?

Da Unternehmen immer mehr KI-Funktionen entwickeln, spielen Tests eine wichtige Rolle bei der Aufrechterhaltung einer starken Sicherheitslage und dem Schutz kritischer Vermögenswerte. Der KI-Penetrationstestservice von Outpost24 wurde entwickelt, um diese Investitionen zu sichern:

• CREST-zertifizierte Tests, durchgeführt von Spezialisten mit Erfahrung in KI- und LLM-Systemen.
• Umfassende Abdeckung der KI-Angriffsoberfläche: die Modellschicht, die Prompt-Schicht, RAG-Pipelines, Agenten-Workflows und unterstützende APIs.
• Klare, revisionssichere Berichte, die sich an den neuesten Industriestandards orientieren und deren Ergebnisse nach geschäftlichen Auswirkungen geordnet sind.

Wenn Sie KI- oder LLM-Systeme einsetzen, ist es wichtig zu verstehen, wie sie sich bei Angriffen verhalten. Setzen Sie sich mit uns in Verbindung, um zu erfahren, wie die KI-Penetrationstests von Outpost24 helfen können, diese Risiken zu erkennen und zu verringern.