Schulungsübersicht
Modul 1 — KI-Systeme für Sicherheitsingenieure
Lab: Labor 01 — 01-Einführung
Verständnis der Architektur.
Themen:
- LLMs im Vergleich zu normalen Anwendungen
- KI-Inferenz-Pipelines
- Prompt-Fluss
- RAG-Architektur
- Embeddings / Vektordatenbanken
- Agentische Arbeitsabläufe
- Tool-Calls
- KI-Gateways
- Copilots
- MCP und Agenten-Protokolle
- Wo WAF-Sichtbarkeit existiert
- Wo WAF-Sichtbarkeit endet
Wichtige Erkenntnis: Traditionelle WAFs verlieren oft die Sichtbarkeit, nachdem das Prompt das Modell erreicht hat.
Modul 2 — OWASP GenAI Top 10
Lab: keins — interaktive Zusammenfassung / Diskussion
Kern-KI-Angriffskategorien.
Themen:
- Prompt-Injection
- Sichere Verarbeitung von Ausgaben
- Poisoning der Trainingsdaten
- Model DoS
- Lieferketten-Schwachstellen
- Offenlegung sensibler Informationen
- Zu viel Agency
- Schwachstellen bei Vektoren / Embeddings
- Fehlinformation
- Unbegrenzter Verbrauch
Einschließlich:
- Unterschiede zu klassischen OWASP-Listen
- Zuordnung zu defensiven Kontrollen (WAF, Gateway, Anwendungsschicht)
- Wo jede Kontrolle hilft
- Wo jede Kontrolle versagt
Modul 3 — Erkennung von Prompt-Injection
Lab: Labor 02 — 02-Prompt-Injection
Der „SQL-Injection-Moment“ für KI.
Themen:
- Direkte Prompt-Injection
- Indirekte Prompt-Injection
- Verborgene Anweisungen
- Dokumentbasierte Angriffe
- HTML-/Markdown-Injection
- Jailbreak-Muster
- Kontext-Überschreibungsangriffe
- Rollenverwechslungsangriffe
Erkennungsstrategien:
- Schlüsselwort-Heuristiken
- Semantische Klassifizierung
- Prompt-Linting
- Durchsetzung von Anweisungsgrenzen
- Allow-/Deny-Policies
- KI-bewusste Regex-Muster
Praktische Labore:
- Einen Chatbot angreifen
- Niveaus einfache Filter umgehen
- Mehrschichtige Erkennung aufbauen
Modul 4 — KI-bewusste WAF-Regeln
Lab: Labor 03 — 03-WAF-Basics
Wie sich WAF-Regeln für KI-Systeme entwickeln.
- Themen:
- Schutz von LLM-Endpunkten
- Schutz von Inferenz-APIs
- Token-bewusste Ratenbegrenzung
- Inspektion der Prompt-Größe
- KIspezifische Signaturen
- Erkennung von Gesprächs-Anomalien
- Mehrfachnutzungsmuster
- Versuche der Modell-Enumeration
- Inferenz-Scraping
- Schutz vor Denial-of-Wallet
Beispiele:
- Schutz von /v1/chat/completions
- Verteidigung von Streaming-APIs
- Blockierung rekursiver Agenten-Aufrufe
Modul 5 — Sicherung von RAG-Pipelines
Lab: Labor 04 — 04-RAG-Sicherheit
Eine der größten neuen Angriffsflächen.
Themen:
- Gefahren für Vektordatenbanken
- Poisoning von Embeddings
- Bösartige PDFs/Dokumente
- Manipulation der Abrufvorgänge (Retrieval Manipulation)
- Semantisches Poisoning
- Verborgene Anweisungen in Dokumenten
- Kreuzdokumenten-Kontamination
- Datenexfiltration via Retrieval
Abwehrmaßnahmen:
- Sanitization bei der Aufnahme
- Vertrauenswürdigkeitsbewertung
- Isolierung von Metadaten
- Dokument-Protokollnachweis (Provenance)
- Retrieval-Policies
- Segmentierung
Fallstudie: „Laden Sie ein poisoned PDF hoch und übernehmen Sie die KI-Assistenten.“
Modul 6 — Sicherheit von Agentic AI
Lab: Labor 05 — 05-Agent-Sicherheit
An dem Punkt, an dem es gefährlich wird.
Themen:
- Zu viel Agency
- Missbrauch von Tools
- API-Kettenbildung
- Autonome Schleifen
- Berechtigungssteigerung (Permission Escalation)
- Poisoning des Speichers
- Indirekte Tool-Ausführung
- Agenten-Impersonation
- Leckage von Anmeldeinformationen
- Mult-Agenten-Angriffe
Abwehrmaßnahmen:
- Least Privilege für Agenten
- Zustimmungsschwellen (Approval Gates)
- Laufzeit-Policy-Engines
- Sandboxing
- Eingeschränkte Anmeldeinformationen
- Tool-Whitelisting
- Mensch im Loop
Dies ist der Abschnitt, den Manager normalerweise am meisten interessiert, da das Risiko operativ und geschäftsbeeinträchtigend wird.
Modul 7 — API-Sicherheit für KI
Lab: Labor 06 — 06-Denial-of-Wallet
KI-Systeme sind stark API-lastig.
Themen:
- API-Gateways
- GraphQL-KIschwachstellen
- MCP-API-Missbrauch
- JWT-Schutz
- KI-Plugin-Sicherheit
- Agenten-Authentifizierung
- Delegierte Autorisierung
- Schlüsselverwaltung
- Signierte Prompts
- API-Inventar für KI
Bezug nehmen auf: OWASP API Security Top 10
Modul 8 — Detection Engineering & SOC-Integration
Lab: Labor 07 — 07-Erkennung
Operative Verteidigung.
Themen:
- KI-Telometrie
- Prompt-Logging
- Token-Analytik
- Anomalieerkennung
- Semantische SIEM-Pipelines
- KI-Angriffsindikatoren
- Threat Hunting auf LLM-Missbrauch
- L KI-Laufzeit-Beobachtbarkeit
Beispiele:
- Erkennung von Jailbreak-Kampagnen
- Aufspüren von automatisiertem Agenten-Missbrauch
- Identifizierung von Modell-Scraping
Modul 9 — Cloud-WAFs und KI-Sicherheit
Lab: keins — interaktive Zusammenfassung / Diskussion
Anbieterspezifische Implementierungen.
Themen:
- AWS WAF für KI-APIs
- Azure WAF
- Cloudflare AI Gateway
- API-Gateways
- Envoy-KI-Filterung
- Kong AI Gateway
- NGINX-KIsicherheitsmuster
Vergleich:
- Traditionelle WAF vs. KI-Gateway vs. Anwendungsschicht-Guardrail
- Proxy-basiert vs. semantische Filterung
Modul 10 — Aufbau einer mehrschichtigen KI-Abwehr
Lab: Labor 08 — 08-Mehrschichtige-Verteidigung
Wichtige philosophische Schlussfolgerung:
Keine einzelne Schicht kann KI sicher schützen (eine WAF ist am wenigsten dazu in der Lage, wenn sie allein steht).
Die Teilnehmer bauen ein mehrschichtiges Modell auf:
- WAF
- API-Gateway
- KI-Gateway
- Guardrails
- L Laufzeitüberwachung
- Identität / Autorisierung
- Sandbox
- Menschliche Zustimmung
- Beobachtbarkeit (Observability)
- Incident Response
Dies steht in starkem Einklang mit dem Modell der „mehrschichtigen Sicherheit“.
Modul ↔ Labor-Karte
Die Labore laufen in Labor-Reihenfolge ab, die der Modulreihenfolge folgt.
Der Kurs hat 10 Module, aber nur 8 Labore: Die Module 2 und 9 sind interaktive Zusammenfassungen / Diskussionen und haben kein Labor.
Jedes Labor ist durchgehend in dieser Übersicht mit seinem Modul verknüpft.
- Labor 01 (Modul 1)
- Ordner: 01-Einführung
- Title: Ein KI-System erkunden — was im Draht liegt
- Labor 02 (Modul 3)
- Ordner: 02-Prompt-Injection
- Title: Einen Chatbot angreifen & einfache Filter umgehen
- Labor 03 (Modul 4)
- Ordner: 03-WAF-Basics
- Title: KI-bewusste WAF-Regeln erstellen
- Labor 04 (Modul 5)
- Ordner: 04-RAG-Sicherheit
- Title: Eine RAG-Pipeline poisonieren
- Labor 05 (Modul 6)
- Ordner: 05-Agent-Sicherheit
- Title: Einen autonomen Agenten sichern
- Labor 06 (Modul 7)
- Ordner: 06-Denial-of-Wallet
- Title: Denial-of-Wallet-Angriffe erkennen
- Labor 07 (Modul 8)
- Ordner: 07-Erkennung
- Title: KI-Missbrauchsmuster in Logs überwachen
- Labor 08 (Modul 10)
- Ordner: 08-Mehrschichtige-Verteidigung
- Title: Eine mehrschichtige KI-Abwehrarchitektur aufbauen
Kapstone-Projekt
Die Teilnehmer verteidigen einen simulierten Unternehmens-KI-Assistenten.
Angriffe der Angreifer:
- Prompt-Injection
- Missbrauch von Tools
- Diebstahl von Anmeldeinformationen
- Poisoning von Retrieval-Vorgängen
- Übermäßiger API-Verbrauch
- Agenten-Eskalation
Die Teams bauen auf:
- WAF-Regeln
- KI-Gateway-Policies
- Laufzeiterkennung
- Guardrails
- Incident Response
Voraussetzungen
- Die Teilnehmer sollten bereits Verständnis für HTTP/API-Sicherheit, Proxies/Reverse-Proxies, Authentifizierung, OWASP Top 10, REST-APIs und grundlegende Cloud-Netzwerktechnik haben
Zielgruppe
- Sicherheitsingenieure & AppSec
- SOC-Analysten & Detection Engineers
- API-Sicherheitsingenieure
- Cloud- / API- / Plattform-Sicherheit
- DevSecOps-Ingenieure
- Sicherheitsarchitekten
- WAF- / Netzwerksicherheitspezialisten
- KI-Plattform-Ingenieure
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung