Schulungsübersicht
Modul 1 – KI-Systeme für Sicherheitsteams
Übung: Übung 01 – Einführung
Verständnis der Architektur.
Themen:
- LLMs im Vergleich zu herkömmlichen Anwendungen
- Inferenz-Pipelines bei KI-Systemen
- Ablauf von Prompts in KI-Prozessen
- RAG-Architekturen
- Vektor-Datenbanken und Embeddings
- Agentische Arbeitsabläufe
- Nutzung externer Werkzeuge durch KI-Agenten
- Funktion von KI-Gateways
- KI-Assistenten (Copilots)
- MCP-Protokolle und weitere Agentenstandards
- Sichtbarkeit der WAF im Netzwerkverkehr
- Wo diese Sichtbarkeit endet
Wichtigster Erkenntnispunkt: Herkömmliche WAFs verlieren meist die Übersicht, sobald der Prompt das KI-Modell erreicht.
Modul 2 – OWASP GenAI Top 10
Übung: keine – interaktive Zusammenfassung und Diskussion
Hauptkategorien von KI-Angriffen.
Themen:
- Prompt Injection
- Falsche Verarbeitung von Ausgaben durch die Anwendung
- Vergiftung der Trainingsdaten
- Dienstausfall durch Fehlbedienung des Modells
- Schwachstellen in der Wertschöpfungskette von KI-Modellen
- Offenlegung vertraulicher Informationen
- Übermäßige Autonomie von Modellen
- Schwachstellen bei der Verarbeitung von Vektoren und Embeddings
- Verbreitung falscher Informationen
- Unbegrenzter Verbrauch von Rechenressourcen
Inhaltliche Vertiefung:
- Unterschiede zur klassischen OWASP-Liste
- Zuordnung der Abwehrmaßnahmen (WAF, Gateway, Anwendungsebene)
- Einsatzmöglichkeiten jeder Schutzschicht
- Grenzen dieser Schutzmechanismen
Modul 3 – Erkennung von Prompt Injection
Übung: Übung 02 – Prompt-Injection
Das „SQL-Injection-Äquivalent“ im KI-Bereich.
Themen:
- Direkte Prompt Injection
- Indirekte Prompt Injection
- Versteckte Anweisungen in Eingaben
- Angriffe über Dokumenteninhalte
- Injection von HTML oder Markdown
- Muster zur Umgehung der KI-Sicherheitsregeln
- Ausnutzung fehlerhafter Kontextübernahme durch das Modell
- Verwirrung bezüglich Rollenzuteilungen in der Kommunikation
Erkennungsstrategien:
- Heuristiken auf Basis von Schlüsselwörtern
- Semantische Klassifizierung des Inhalts
- Linting-Verfahren für Prompt-Strukturen
- Einhaltung definierter Grenzen für Anweisungen
- Erlaubnis- bzw. Verbotspolitiken
- Reguläre Ausdrücke speziell für KI-Eingaben
Praktische Übungen:
- Angriff auf einen Chatbot
- Umgehung einfacher Filtersysteme
- Aufbau mehrschichtiger Erkennungssysteme
Modul 4 – WAF-Regeln für KI-Umgebungen
Übung: Übung 03 – Grundlagen des WAF-Einsatzes
Wie müssen WAF-Regeln an moderne KI-Systeme angepasst werden?
- Themen:
- Schutz von LLM-Endpunkten
- Sicherung der Inferenz-APIs
- Geschwindigkeitsbegrenzungen, berücksichtigt Token-Zahl
- Überprüfung der Prompt-Länge und Struktur
- Erkennung KI-spezifischer Attackeigenschaften
- Auffindung ungewöhnlicher Verhaltensmuster in Gesprächen
- Identifikation mehrstufiger Missbrauchsmuster durch Agenten
- Erkennung von Versuchen, Modellidentitäten herauszufinden
- Abwehr gegen Datenabgriffe über Inferenzanfragen
- Schutz vor finanziellem Missbrauch durch falsch gerichtete Abrufe
Beispiele:
- Absicherung von Endpunkten wie /v1/chat/completions
- Sicherung von Streaming-APIs
- Verhindern rekursiver Aufrufe durch autonome Agenten
Modul 5 – Absicherung von RAG-Pipelines
Übung: Übung 04 – Sicherheit bei RAG-Systemen
Ein besonders anfälliger Angriffspunkt.
Themen:
- Gefahren für Vektor-Datenbanken
- Vergiftung von Embedding-Strukturen
- Böswillig erstellte PDFs oder Dokumente
- Manipulation der Datenabrufprozesse
- Semantische Verzerrungen in den eingespeicherten Inhalten
- Versteckte Anweisungen innerhalb von Textdokumenten
- Gefahr der Übertragung toxischer Informationen zwischen Dokumenten
- Datenexfiltration durch Abfragen des Vektor-Speichers
Abwehrmaßnahmen:
- Vorbehandlung eingespeister Daten
- Einschätzung des Vertrauenswerts der Informationsquellen
- Trennung verschiedener Datentypen und Quellen
- Nachverfolgbarkeit der Dokumente bis zur Erstellung
- Definierte Regeln für Abfrageauswahl und Verarbeitung
- Ausnutzung getrennter Speichersegmente zur Sicherheitstrennung
Fallstudie: „Eine manipulierte PDF hochladen – wie gelingt die Kontrolleübernahme am KI-Assistenten?“
Modul 6 – Sicherheit agentischen KI-Verhaltens
Übung: Übung 05 – Agenten-Sicherheit
Hier treten besonders komplexe Risiken auf.
Themen:
- Übermäßige Autonomie von KI-Agenten
- Missbrauch externer Werkzeuge durch Agenten
- Aneinanderreihung mehrerer API-Aufrufe durch einzelne Agentenaktionen
- Autonome Kreisläufe ohne menschliche Einmischung
- Erweiterte Berechtigungen unbeabsichtigt übertragen an die Agenten
- Beschädigung gespeicherter Kontextinformationen durch falsche Nutzung
- Indirekte Ausführung von Befehlen ohne direkte Autorisierung des Benutzers
- Täuschung der KI durch die Angabe fremder Identitäten als eigenständige Entitäten
- Verlust sensibler Zugangsdaten durch fehlende Isolation<
- Angriffe ausgehend von mehreren miteinander verbundenen Agenten gleichzeitig
Schutzmaßnahmen:
- Nur minimale Rechte den Agenten zuweisen
- Einführung von Freigabeprozessen für kritische Aktionen vor der Ausführung
- Nutzung zeitabhängiger Richtlinien zur Laufzeitsteuerung<
- Trennung der Agentenumgebungen durch Sandboxing<
- Granulare Berechtigungszuweisungen spezifisch pro Agent <
- Einschränkung der verwendbaren Werkzeuge auf bestimmte Auswahl<
- Verpflichtung zur manuellen Genehmigung wichtiger Aktionen durch Fachpersonal<
Dieser Abschnitt ist für Manager besonders relevant, da solche Risiken unmittelbare Auswirkungen auf die Betriebsabläufe und Geschäftsergebnisse haben können.
Modul 7 – API-Sicherheit im Kontext von KI<
Übung: Übung 06 – Abrechnungsmissbrauch verhindern<
KI-Systeme setzen stark auf APIs.
Themen:
- Funktionen von API-Gateways<
- Risiken für GraphQL in Verbindung mit KI<
- Missbrauch der MCP-Protokolle sowie anderer APIs durch Angreifer <
- Gewährleistung sicherer JWT-Vorgänge<
- Sicherheit von KI-Plugins<
- Authentifizierung autonomer Agenten<
- Festlegung delegierter Berechtigungsmodelle <
- Gewährleistung der Geheimhaltung kritischer Schlüssel <
- Datenintegrität durch digitale Signierung von Prompts <
- Katalogisierung aller KI-relevanten API-Schnittstellen<
Ausrichtung an: OWASP API Security Top 10<
Modul 8 – Erkennungstechnik und Integration in SOC-Umgebungen<
Übung: Übung 07 – Angriffserkennung <
Praktische Betreuung der Abwehrmaßnahmen.
Themen:
- Erfassung von Telemetriedaten im KI-Bereich<
- Protokollierung und Überwachung eingehender Prompts <
- Auswertung der Token-Verteilungsmuster<
- Identifikation ungewöhnlicher Ereignismuster im Datenverkehr<
- Einsatz semantischer Suchfunktionen in SIEM-Systemen<
- Sichtbare Anzeichen von KI-basierten Angriffen<
- Methoden zum Aufspüren unerlauchter Verwendungen von LLMs<
- Beobachtung des Laufzeitverhaltens der KI-Systeme<
Beispiele:<
- Eingrenzung systematischer Jailbreak-Versuche<
- Aufdeckung automatisierter Agenten-Missbrauchsmuster<
- Erkennung von gezieltem Abgriff von Modell-Informationen<
Modul 9 – Cloud-basierte WAFs und KI-Sicherheit<
Übung: keine – interaktive Zusammenfassung und Diskussion<
Implementierungsansätze der verschiedenen Anbieter.
Themen:<
- AWS WAF im Einsatz für KI-APIs<
- Azure WAF-Optionen<
- Cloudflare AI Gateway-Lösungen<
- Funktionen gängiger API-Gateways<
- Möglichkeiten der Filterung von KI-Verkehr durch Envoy<
- Ansätze des Kong AI Gateways<
- Bekannte Sicherheitsmethoden bei NGINX für den KI-Schutz<
Vergleich:<
- Traditionelle WAF-Systeme im Gegensatz zu spezialisierten KI-Gateways und Anwendungsschutzschichten<
- Nutzung reiner Proxy-Mechanismen versus semantische Filteransätze<
Modul 10 – Aufbau einer mehrschichtigen KI-Abwehrstrategie<
Übung: Übung 08 – Gestaltung eines mehrstufigen Schutzsystems<
Eine zentrale Erkenntnis des Kurses:<
Keine einzelne Schutzschicht kann allein für KI-Systeme ausreichend sein – WAFs stellen in diesem Kontext noch die geringste Komponente dar.
Die Teilnehmer erarbeiten sich nun ein mehrschichtiges Modell:<
- WAF-Schutzmechanismen<
- API-Gateway-Einsatz<
- KI-spezifisches Gateway<
- Sicherheitsrichtlinien (Guardrails)<
- Laufzeit-Überwachung und Reaktion<
- Identitätsmanagement und Berechtigungskontrolle<
- Ausführung in Sandbox-Umgebungen<
- Erforderliche manuelle Genehmigung bei kritischen Vorgängen<
- Lückenlose Beobachtbarkeit aller KI-Aktivitäten<
- Gefahrreaktionsplanung im Ernstfall<
Dies entspricht exakt dem bewährten „Mehrschichten-Sicherheitsmodell“.
Zuordnung von Modulen zu Übungen<
Die einzelnen Übungen erfolgen in der Reihenfolge, die auch den Modulen entspricht.
Dieser Kurs umfasst insgesamt zehn Modulkategorien, doch ausschließlich acht praktische Übungen; Module 2 und 9 dienen als interaktive Ergänzung ohne eigene Übungseinheit.
Jede Übung trägt stets ein Kürzel zu ihrem zugehörigen Modul:<
- Übung 01 (Modul 1)<
- Ordner: 01-Introduction<
- Titel: Erkundung eines KI-Systems – was findet im Datenverkehr statt?<
- Übung 02 (Modul 3)<
- Ordner: 02-Prompt-Injection<
- Titel: Angriff auf einen Chatbot und Umgehung gängiger Filtermechanismen<
- Übung 03 (Modul 4)<
- Ordner: 03-WAF-Basics<
- Titel: Erstellung von WAF-Regeln speziell für KI-Anwendungen<
- Übung 04 (Modul 5)<
- Ordner: 04-RAG-Security<
- Titel: Veränderung von RAG-Systemstrukturen durch manipulierte Daten<
- Übung 05 (Modul 6)<
- Ordner: 05-Agent-Security<
- Titel: Sicherstellung der Integrität autonomer KI-Agenten<
- Übung 06 (Modul 7)<
- Ordner: 06-Denial-of-Wallet<
- Titel: Erkennung von Versuchen, die Kosten durch missbräuchliche API-Nutzung in die Höhe zu treiben<
- Übung 07 (Modul 8)<
- Ordner: 07-Detection<
- Titel: Erkennung verdächtiger Muster im Logverkehr von KI-Systemen<
- Übung 08 (Modul 10)<
- Ordner: 08-Layered-Defense<
- Titel: Konzeption einer mehrstufigen Sicherheitsarchitektur für KI-Umgebungen<
Abschlussprojekt<
Dabei verteidigen die Teilnehmer ein simuliertes unternehmenseigenes KI-Assistenzsystem.
Angreifer versuchen dazu:<
- Prompt Injection durchzuführen<
- Falsche Verwendung der bereitgestellten Werkzeuge seitens der KI<
- Datenauslesen unter Umgehung der Zugangsschutzmechanismen<
- Vergiftung des Abfrageverhaltens durch falsche Dokumentendaten<
- Überlastung der Ressourcen durch massenhafte Anfragen <
- Ausweitung von Aktionen über die erlaubten Grenzen hinaus durch Agenten<
Für ihre Sicherheitskonzepte entwickeln die Gruppen folgende Elemente:<
- WAF-Regeln für den KI-Bereich<
- Richtlinien der KI-Gateway-Konfiguration<
- Laufzeitüberwachungsmechanismen <
- Sicherheitsrichtlinien (Guardrails) zur Eingabebegrenzung<
- Notfallreaktionsprozesse im Vorfeld festgelegt<
Voraussetzungen
- Die Teilnehmer sollten Grundkenntnisse in HTTP- und API-Sicherheit, Proxy- bzw. Reverse-Proxy-Verfahren, Authentifizierung, der OWASP Top 10, REST-APIs sowie grundlegenden Cloud-Netzwerkkonzepten mitbringen.
Zielgruppe
- Sicherheitsingenieure und AppSec-Experten
- SOC-Analysten sowie Erkennungsspezialisten
- API-Sicherheitsexperten
- Fachkräfte für Cloud-, API- und Plattform-Sicherheit
- DevSecOps-Ingenieure
- Sicherheitsarchitekten
- WAF- bzw. Netzwerksicherheitsspezialisten
- KI-Plattformingenieure
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung