Kontakt aufnehmen

Schulungsübersicht

Modul 1 – KI-Systeme für Sicherheitsteams

Übung: Übung 01 – Einführung

Verständnis der Architektur.

Themen:

  • LLMs im Vergleich zu herkömmlichen Anwendungen
  • Inferenz-Pipelines bei KI-Systemen
  • Ablauf von Prompts in KI-Prozessen
  • RAG-Architekturen
  • Vektor-Datenbanken und Embeddings
  • Agentische Arbeitsabläufe
  • Nutzung externer Werkzeuge durch KI-Agenten
  • Funktion von KI-Gateways
  • KI-Assistenten (Copilots)
  • MCP-Protokolle und weitere Agentenstandards
  • Sichtbarkeit der WAF im Netzwerkverkehr
  • Wo diese Sichtbarkeit endet

Wichtigster Erkenntnispunkt: Herkömmliche WAFs verlieren meist die Übersicht, sobald der Prompt das KI-Modell erreicht.

Modul 2 – OWASP GenAI Top 10

Übung: keine – interaktive Zusammenfassung und Diskussion

Hauptkategorien von KI-Angriffen.

Themen: 

  • Prompt Injection
  • Falsche Verarbeitung von Ausgaben durch die Anwendung
  • Vergiftung der Trainingsdaten
  • Dienstausfall durch Fehlbedienung des Modells
  • Schwachstellen in der Wertschöpfungskette von KI-Modellen
  • Offenlegung vertraulicher Informationen
  • Übermäßige Autonomie von Modellen
  • Schwachstellen bei der Verarbeitung von Vektoren und Embeddings
  • Verbreitung falscher Informationen
  • Unbegrenzter Verbrauch von Rechenressourcen

Inhaltliche Vertiefung:

  • Unterschiede zur klassischen OWASP-Liste
  • Zuordnung der Abwehrmaßnahmen (WAF, Gateway, Anwendungsebene)
  • Einsatzmöglichkeiten jeder Schutzschicht
  • Grenzen dieser Schutzmechanismen

Modul 3 – Erkennung von Prompt Injection

Übung: Übung 02 – Prompt-Injection

Das „SQL-Injection-Äquivalent“ im KI-Bereich.

Themen:

  • Direkte Prompt Injection
  • Indirekte Prompt Injection
  • Versteckte Anweisungen in Eingaben
  • Angriffe über Dokumenteninhalte
  • Injection von HTML oder Markdown
  • Muster zur Umgehung der KI-Sicherheitsregeln
  • Ausnutzung fehlerhafter Kontextübernahme durch das Modell
  • Verwirrung bezüglich Rollenzuteilungen in der Kommunikation

Erkennungsstrategien:

  • Heuristiken auf Basis von Schlüsselwörtern
  • Semantische Klassifizierung des Inhalts
  • Linting-Verfahren für Prompt-Strukturen
  • Einhaltung definierter Grenzen für Anweisungen
  • Erlaubnis- bzw. Verbotspolitiken
  • Reguläre Ausdrücke speziell für KI-Eingaben

Praktische Übungen:

  • Angriff auf einen Chatbot
  • Umgehung einfacher Filtersysteme
  • Aufbau mehrschichtiger Erkennungssysteme

Modul 4 – WAF-Regeln für KI-Umgebungen

Übung: Übung 03 – Grundlagen des WAF-Einsatzes

Wie müssen WAF-Regeln an moderne KI-Systeme angepasst werden?

  • Themen:
  • Schutz von LLM-Endpunkten
  • Sicherung der Inferenz-APIs
  • Geschwindigkeitsbegrenzungen, berücksichtigt Token-Zahl
  • Überprüfung der Prompt-Länge und Struktur
  • Erkennung KI-spezifischer Attackeigenschaften
  • Auffindung ungewöhnlicher Verhaltensmuster in Gesprächen
  • Identifikation mehrstufiger Missbrauchsmuster durch Agenten
  • Erkennung von Versuchen, Modellidentitäten herauszufinden
  • Abwehr gegen Datenabgriffe über Inferenzanfragen
  • Schutz vor finanziellem Missbrauch durch falsch gerichtete Abrufe

Beispiele:

  • Absicherung von Endpunkten wie /v1/chat/completions
  • Sicherung von Streaming-APIs
  • Verhindern rekursiver Aufrufe durch autonome Agenten

Modul 5 – Absicherung von RAG-Pipelines

Übung: Übung 04 – Sicherheit bei RAG-Systemen

Ein besonders anfälliger Angriffspunkt.

Themen:

  • Gefahren für Vektor-Datenbanken
  • Vergiftung von Embedding-Strukturen
  • Böswillig erstellte PDFs oder Dokumente
  • Manipulation der Datenabrufprozesse
  • Semantische Verzerrungen in den eingespeicherten Inhalten
  • Versteckte Anweisungen innerhalb von Textdokumenten
  • Gefahr der Übertragung toxischer Informationen zwischen Dokumenten
  • Datenexfiltration durch Abfragen des Vektor-Speichers

Abwehrmaßnahmen:

  • Vorbehandlung eingespeister Daten
  • Einschätzung des Vertrauenswerts der Informationsquellen
  • Trennung verschiedener Datentypen und Quellen
  • Nachverfolgbarkeit der Dokumente bis zur Erstellung
  • Definierte Regeln für Abfrageauswahl und Verarbeitung
  • Ausnutzung getrennter Speichersegmente zur Sicherheitstrennung

Fallstudie: „Eine manipulierte PDF hochladen – wie gelingt die Kontrolleübernahme am KI-Assistenten?“

Modul 6 – Sicherheit agentischen KI-Verhaltens

Übung: Übung 05 – Agenten-Sicherheit

Hier treten besonders komplexe Risiken auf.

Themen:

  • Übermäßige Autonomie von KI-Agenten
  • Missbrauch externer Werkzeuge durch Agenten
  • Aneinanderreihung mehrerer API-Aufrufe durch einzelne Agentenaktionen
  • Autonome Kreisläufe ohne menschliche Einmischung
  • Erweiterte Berechtigungen unbeabsichtigt übertragen an die Agenten
  • Beschädigung gespeicherter Kontextinformationen durch falsche Nutzung
  • Indirekte Ausführung von Befehlen ohne direkte Autorisierung des Benutzers
  • Täuschung der KI durch die Angabe fremder Identitäten als eigenständige Entitäten
  • Verlust sensibler Zugangsdaten durch fehlende Isolation<
  • Angriffe ausgehend von mehreren miteinander verbundenen Agenten gleichzeitig

Schutzmaßnahmen:

  • Nur minimale Rechte den Agenten zuweisen
  • Einführung von Freigabeprozessen für kritische Aktionen vor der Ausführung
  • Nutzung zeitabhängiger Richtlinien zur Laufzeitsteuerung<
  • Trennung der Agentenumgebungen durch Sandboxing<
  • Granulare Berechtigungszuweisungen spezifisch pro Agent <
  • Einschränkung der verwendbaren Werkzeuge auf bestimmte Auswahl<
  • Verpflichtung zur manuellen Genehmigung wichtiger Aktionen durch Fachpersonal<

Dieser Abschnitt ist für Manager besonders relevant, da solche Risiken unmittelbare Auswirkungen auf die Betriebsabläufe und Geschäftsergebnisse haben können.

Modul 7 – API-Sicherheit im Kontext von KI<

Übung: Übung 06 – Abrechnungsmissbrauch verhindern<

KI-Systeme setzen stark auf APIs.

Themen:

  • Funktionen von API-Gateways<
  • Risiken für GraphQL in Verbindung mit KI<
  • Missbrauch der MCP-Protokolle sowie anderer APIs durch Angreifer <
  • Gewährleistung sicherer JWT-Vorgänge<
  • Sicherheit von KI-Plugins<
  • Authentifizierung autonomer Agenten<
  • Festlegung delegierter Berechtigungsmodelle <
  • Gewährleistung der Geheimhaltung kritischer Schlüssel <
  • Datenintegrität durch digitale Signierung von Prompts <
  • Katalogisierung aller KI-relevanten API-Schnittstellen<

Ausrichtung an: OWASP API Security Top 10<

Modul 8 – Erkennungstechnik und Integration in SOC-Umgebungen<

Übung: Übung 07 – Angriffserkennung <

Praktische Betreuung der Abwehrmaßnahmen.

Themen:

  • Erfassung von Telemetriedaten im KI-Bereich<
  • Protokollierung und Überwachung eingehender Prompts <
  • Auswertung der Token-Verteilungsmuster<
  • Identifikation ungewöhnlicher Ereignismuster im Datenverkehr<
  • Einsatz semantischer Suchfunktionen in SIEM-Systemen<
  • Sichtbare Anzeichen von KI-basierten Angriffen<
  • Methoden zum Aufspüren unerlauchter Verwendungen von LLMs<
  • Beobachtung des Laufzeitverhaltens der KI-Systeme<

Beispiele:<

  • Eingrenzung systematischer Jailbreak-Versuche<
  • Aufdeckung automatisierter Agenten-Missbrauchsmuster<
  • Erkennung von gezieltem Abgriff von Modell-Informationen<

Modul 9 – Cloud-basierte WAFs und KI-Sicherheit<

Übung: keine – interaktive Zusammenfassung und Diskussion<

Implementierungsansätze der verschiedenen Anbieter.

Themen:<

  • AWS WAF im Einsatz für KI-APIs<
  • Azure WAF-Optionen<
  • Cloudflare AI Gateway-Lösungen<
  • Funktionen gängiger API-Gateways<
  • Möglichkeiten der Filterung von KI-Verkehr durch Envoy<
  • Ansätze des Kong AI Gateways<
  • Bekannte Sicherheitsmethoden bei NGINX für den KI-Schutz<

Vergleich:<

  • Traditionelle WAF-Systeme im Gegensatz zu spezialisierten KI-Gateways und Anwendungsschutzschichten<
  • Nutzung reiner Proxy-Mechanismen versus semantische Filteransätze<

Modul 10 – Aufbau einer mehrschichtigen KI-Abwehrstrategie<

Übung: Übung 08 – Gestaltung eines mehrstufigen Schutzsystems<

Eine zentrale Erkenntnis des Kurses:<

Keine einzelne Schutzschicht kann allein für KI-Systeme ausreichend sein – WAFs stellen in diesem Kontext noch die geringste Komponente dar.

Die Teilnehmer erarbeiten sich nun ein mehrschichtiges Modell:<

  1. WAF-Schutzmechanismen<
  2. API-Gateway-Einsatz<
  3. KI-spezifisches Gateway<
  4. Sicherheitsrichtlinien (Guardrails)<
  5. Laufzeit-Überwachung und Reaktion<
  6. Identitätsmanagement und Berechtigungskontrolle<
  7. Ausführung in Sandbox-Umgebungen<
  8. Erforderliche manuelle Genehmigung bei kritischen Vorgängen<
  9. Lückenlose Beobachtbarkeit aller KI-Aktivitäten<
  10. Gefahrreaktionsplanung im Ernstfall<

Dies entspricht exakt dem bewährten „Mehrschichten-Sicherheitsmodell“.

Zuordnung von Modulen zu Übungen<

Die einzelnen Übungen erfolgen in der Reihenfolge, die auch den Modulen entspricht.

Dieser Kurs umfasst insgesamt zehn Modulkategorien, doch ausschließlich acht praktische Übungen; Module 2 und 9 dienen als interaktive Ergänzung ohne eigene Übungseinheit.

Jede Übung trägt stets ein Kürzel zu ihrem zugehörigen Modul:<

  • Übung 01 (Modul 1)<
    • Ordner: 01-Introduction<
    • Titel: Erkundung eines KI-Systems – was findet im Datenverkehr statt?<
  • Übung 02 (Modul 3)<
    • Ordner: 02-Prompt-Injection<
    • Titel: Angriff auf einen Chatbot und Umgehung gängiger Filtermechanismen<
  • Übung 03 (Modul 4)<
    • Ordner: 03-WAF-Basics<
    • Titel: Erstellung von WAF-Regeln speziell für KI-Anwendungen<
  • Übung 04 (Modul 5)<
    • Ordner: 04-RAG-Security<
    • Titel: Veränderung von RAG-Systemstrukturen durch manipulierte Daten<
  • Übung 05 (Modul 6)<
    • Ordner: 05-Agent-Security<
    • Titel: Sicherstellung der Integrität autonomer KI-Agenten<
  • Übung 06 (Modul 7)<
    • Ordner: 06-Denial-of-Wallet<
    • Titel: Erkennung von Versuchen, die Kosten durch missbräuchliche API-Nutzung in die Höhe zu treiben<
  • Übung 07 (Modul 8)<
    • Ordner: 07-Detection<
    • Titel: Erkennung verdächtiger Muster im Logverkehr von KI-Systemen<
  • Übung 08 (Modul 10)<
    • Ordner: 08-Layered-Defense<
    • Titel: Konzeption einer mehrstufigen Sicherheitsarchitektur für KI-Umgebungen<

Abschlussprojekt<

Dabei verteidigen die Teilnehmer ein simuliertes unternehmenseigenes KI-Assistenzsystem.

Angreifer versuchen dazu:<

  1. Prompt Injection durchzuführen<
  2. Falsche Verwendung der bereitgestellten Werkzeuge seitens der KI<
  3. Datenauslesen unter Umgehung der Zugangsschutzmechanismen<
  4. Vergiftung des Abfrageverhaltens durch falsche Dokumentendaten<
  5. Überlastung der Ressourcen durch massenhafte Anfragen <
  6. Ausweitung von Aktionen über die erlaubten Grenzen hinaus durch Agenten<

Für ihre Sicherheitskonzepte entwickeln die Gruppen folgende Elemente:<

  • WAF-Regeln für den KI-Bereich<
  • Richtlinien der KI-Gateway-Konfiguration<
  • Laufzeitüberwachungsmechanismen <
  • Sicherheitsrichtlinien (Guardrails) zur Eingabebegrenzung<
  • Notfallreaktionsprozesse im Vorfeld festgelegt<

Voraussetzungen

  • Die Teilnehmer sollten Grundkenntnisse in HTTP- und API-Sicherheit, Proxy- bzw. Reverse-Proxy-Verfahren, Authentifizierung, der OWASP Top 10, REST-APIs sowie grundlegenden Cloud-Netzwerkkonzepten mitbringen.

Zielgruppe

  • Sicherheitsingenieure und AppSec-Experten
  • SOC-Analysten sowie Erkennungsspezialisten
  • API-Sicherheitsexperten
  • Fachkräfte für Cloud-, API- und Plattform-Sicherheit
  • DevSecOps-Ingenieure
  • Sicherheitsarchitekten
  • WAF- bzw. Netzwerksicherheitsspezialisten
  • KI-Plattformingenieure
 35 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (2)

Kommende Kurse

Verwandte Kategorien