OWASP GenAI Security Schulung

Tag 1: Grundlagen und Kernbedrohungen

Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)

Lernziele:

• Das Übergreifen von der OWASP Top 10 auf GenAI-spezifische Sicherheitsherausforderungen verstehen
• Das Ökosystem und die Ressourcen des OWASP GenAI Security Projekts erkunden
• Die wichtigsten Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit identifizieren

Abgedeckte Themen:

• Überblick über Mission und Umfang des OWASP GenAI Security Projekts
• Einführung in den Threat Defense COMPASS-Rahmen
• Verständnis der KI-Sicherheitslandschaft und regulatorischer Anforderungen
• KI-Angriffsflächen im Vergleich zu Verwundbarkeiten traditioneller Web-Anwendungen

Praktische Übung: Einrichtung des OWASP Threat Defense COMPASS Tools und Durchführung einer ersten Bedrohungsanalyse

Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)

Lernziele:

• Die ersten fünf kritischen LLM-Verwundbarkeiten beherrschen
• Angriffsvektoren und Ausnutzungstechniken verstehen
• Praktische Minderungsstrategien anwenden

Abgedeckte Themen:

LLM01: Prompt Injection

• Techniken für direkte und indirekte Prompt Injection
• Angriffe durch versteckte Anweisungen und Cross-Prompt-Kontamination
• Praktische Beispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmaßnahmen
• Abwehrstrategien: Eingabe-Sanitization, Prompt-Filterung, differenzielle Privatsphäre

LLM02: Offenlegung sensibler Informationen

• Extraktion von Trainingsdaten und Leaks von System-Prompts
• Modellverhaltensanalyse zur Exposition sensibler Informationen
• Datenschutzimplikationen und Überlegungen zur regulatorischen Konformität
• Minderung: Ausgabe-Filterung, Zugriffssteuerung, Datenanonymisierung

LLM03: Schwachstellen in der Lieferkette

• Drittanbieter-Modellabhängigkeiten und Plugin-Sicherheit
• Kompromittierte Datensätze und Modell-Vergiftung
• Risikobewertung von Lieferanten für KI-Komponenten
• Sichere Modellbereitstellung und Verifikationspraktiken

Praktische Übung: Hands-on-Labor zur Demonstration von Prompt-Injection-Angriffen gegen verwundbare LLM-Anwendungen und Umsetzung von Schutzmaßnahmen

Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)

Abgedeckte Themen:

LLM04: Daten- und Modell-Vergiftung

• Techniken zur Manipulation von Trainingsdaten
• Modifikation des Moderverhaltens durch vergiftete Eingaben
• Backdoor-Angriffe und Verifikation der Datenintegrität
• Prävention: Datenerfassungspipelines, Herkunftsverfolgung

LLM05: Unzureichende Verarbeitung von Ausgaben

• Unsichere Verarbeitung von LLM-generierten Inhalten
• Code-Injection durch KI-generierte Ausgaben
• Cross-Site-Scripting über KI-Antworten
• Ausgabevalidierung und Sanitization-Rahmenwerke

Praktische Übung: Simulation von Datenvergiftungsangriffen und Implementierung robuster Ausgabevalidierungsmechanismen

Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)

Abgedeckte Themen:

LLM06: Übermäßige Autonomie (Excessive Agency)

• Risiken der autonomen Entscheidungsfindung und Verletzung von Grenzen
• Agentenbefugnisse und Berechtigungsmanagement
• Ungewollte Systeminteraktionen und Berechtigungserweiterung
• Implementierung von Leitplanken (Guardrails) und menschlichen Kontrollen

LLM07: Leaks von System-Prompts

• Schwachstellen der Exposition von Systemanweisungen
• Offenlegung von Zugangsdaten und Logik durch Prompts
• Angriffstechniken zur Extraktion von System-Prompts
• Sicherung von Systemanweisungen und externer Konfiguration

Praktische Übung: Entwurf sicherer Agentenarchitekturen mit geeigneten Zugriffssteuerungen und Überwachung

Tag 2: Fortgeschrittene Bedrohungen und Implementierung

Modul 5: Emergierende KI-Bedrohungen (2 Stunden)

Lernziele:

• Verständnis von zukunftsweisenden KI-Sicherheitsbedrohungen
• Implementierung fortgeschrittener Erkennungs- und Präventionstechniken
• Entwurf robuster KI-Systeme gegen ausgefeilte Angriffe

Abgedeckte Themen:

LLM08: Schwächen bei Vektoren und Embeddings

• Schwachstellen in RAG-Systemen und Sicherheit von Vektordatenbanken
• Embedding-Vergiftung und Angriffe durch Manipulation der Ähnlichkeit
• Adversarische Beispiele in der semantischen Suche
• Sicherung von Vektorspeichern und Implementierung von Anomalie-Erkennung

LLM09: Fehlinformation und Modellzuverlässigkeit

• Erkennung und Minderung von Halluzinationen
• Verstärkung von Bias und Fairness-Überlegungen
• Faktenprüfung und Quellenverifizierungsmechanismen
• Inhaltsvalidierung und Integration menschlicher Aufsicht

LLM10: Unbegrenzter Konsum

• Resource-Erschöpfung und Denial-of-Service-Angriffe
• Rate-Limiting und Strategien zum Ressourcenmanagement
• Kostenoptimierung und Budgetkontrollen
• Leistungsüberwachung und Alarmsysteme

Praktische Übung: Aufbau einer sicheren RAG-Pipeline mit Vektordatenbank-Schutz und Halluzinationserkennung

Modul 6: Agentic AI Security (2 Stunden)

Lernziele:

• Verständnis der einzigartigen Sicherheitsherausforderungen autonomer KI-Agenten
• Anwendung der OWASP Agentic AI-Taxonomie auf reale Systeme
• Implementierung von Sicherheitskontrollen für Multi-Agenten-Umgebungen

Abgedeckte Themen:

• Einführung in Agentic AI und autonome Systeme
• OWASP Agentic AI Threat Taxonomy: Agentendesign, Speicher, Planung, Werkzeugnutzung, Bereitstellung
• Sicherheit und Koordinationsrisiken in Multi-Agenten-Systemen
• Missbrauch von Werkzeugen, Speicher-Vergiftung und Angriffe zur Übernahme von Zielen (Goal Hijacking)
• Sicherung der Agentenkommunikation und Entscheidungsprozesse

Praktische Übung: Threat Modeling-Übung unter Verwendung der OWASP Agentic AI-Taxonomie auf einem Multi-Agenten-Kundenservice-System

Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)

Lernziele:

• Beherrschung der praktischen Anwendung von Threat Defense COMPASS
• Integration der KI-Bedrohungsanalyse in organisationale Sicherheitsprogramme
• Entwicklung umfassender KI-Risikomanagementstrategien

Abgedeckte Themen:

• Vertiefung in die Threat Defense COMPASS-Methodik
• Integration der OODA-Schleife: Beobachten, Orientieren, Entscheiden, Handeln
• Zuordnung von Bedrohungen zu MITRE ATT&CK und ATLAS-Rahmenwerken
• Aufbau von Dashboards für Strategien der KI-Bedrohungsresilienz
• Integration in bestehende Sicherheitstools und Prozesse

Praktische Übung: Vollständige Bedrohungsanalyse unter Verwendung von COMPASS für ein Microsoft Copilot-Bereitstellungsszenario

Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)

Lernziele:

• Entwurf sicherer KI-Architekturen von Grund auf
• Implementierung von Überwachung und Incident Response für KI-Systeme
• Erstellung von Governance-Rahmenwerken für KI-Sicherheit

Abgedeckte Themen:

Sicherer KI-Entwicklungslebenszyklus:

• Security-by-Design-Prinzipien für KI-Anwendungen
• Code-Review-Praktiken für LLM-Integrationen
• Testmethoden und Verwundbarkeits-Scanning
• Bereitstellungssicherheit und Härtung der Produktionsumgebung

Überwachung und Erkennung:

• KI-spezifische Anforderungen an Logging und Überwachung
• Anomalie-Erkennung für KI-Systeme
• Incident Response-Verfahren für KI-Sicherheitsevorfälle
• Forensik und Untersuchungstechniken

Governance und Compliance:

• KI-Risikomanagementrahmenwerke und -richtlinien
• Überlegungen zur regulatorischen Konformität (DSGVO, AI Act, etc.)
• Risikobewertung Dritter für KI-Anbieter
• Sicherheitsbewusstseinstraining für KI-Entwicklungsteams

Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für einen Enterprise-KI-Chatbot, einschließlich Überwachung, Governance und Incident Response-Verfahren

Modul 9: Tools und Technologien (1 Stunde)

Lernziele:

• Evaluierung und Implementierung von KI-Sicherheitstools
• Verständnis der aktuellen Landschaft der KI-Sicherheitslösungen
• Aufbau praktischer Erkennungs- und Präventionsfähigkeiten

Abgedeckte Themen:

• Ökosystem und Anbieterlandschaft von KI-Sicherheitstools
• Open-Source-Sicherheitstools: Garak, PyRIT, Giskard
• Kommerzielle Lösungen für KI-Sicherheit und Überwachung
• Integrationsmuster und Bereitstellungsstrategien
• Kriterien für die Toolauswahl und Evaluierungsrahmenwerke

Praktische Übung: Hands-on-Demonstration von KI-Sicherheitstesttools und Planungen zur Implementierung

Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)

Lernziele:

• Verständnis von aufkommenden Bedrohungen und zukünftigen Sicherheitsherausforderungen
• Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung
• Erstellung von Aktionsplänen für organisationale KI-Sicherheitsprogramme

Abgedeckte Themen:

• Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt Injection, Modellinversion
• Zukünftige Entwicklungen und Roadmap des OWASP GenAI Projekts
• Aufbau von KI-Sicherheitscommunities und Wissensaustausch
• Kontinuierliche Verbesserung und Integration von Bedrohungsinformationen

Aktionsplanungsübung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer