OWASP GenAI-Sicherheit Schulung

Tag 1: Grundlagen und Kernbedrohungen

Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)

Lernziele:

• Verstehen der Entwicklung von den OWASP Top 10 hin zu spezifischen KI-Sicherheitsherausforderungen
• Erkundung des Ökosystems und der Ressourcen des OWASP GenAI Security Project
• Identifikation der wichtigsten Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit

Behandelte Themen:

• Überblick über die Mission und den Umfang des OWASP GenAI Security Project
• Einführung in das COMPASS-Rahmenwerk zur Bedrohungsabwehr
• Verständnis der KI-Sicherheitslandschaft und regulatorischer Anforderungen
• KI-Angriffsflächen im Vergleich zu traditionellen Webanwendungsverwundbarkeiten

Praktische Übung: Einrichtung des OWASP Threat Defense COMPASS-Tools und Durchführung einer ersten Bedrohungsbewertung

Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)

Lernziele:

• Durchdringung der ersten fünf kritischen LLM-Verwundbarkeiten
• Verständnis von Angriffsvektoren und Exploitation-Techniken
• Anwendung praktischer Abmilderungsstrategien

Behandelte Themen:

LLM01: Prompt-Injection

• Techniken für direkte und indirekte Prompt-Injection
• Angriffe mit versteckten Anweisungen und Quer-Contamination von Prompts
• Praktische Beispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmaßnahmen
• Abwehrstrategien: Eingangsentschärfung, Prompt-Filterung, differentielle Privatsphäre

LLM02: Offenlegung sensibler Informationen

• Extrahieren von Trainingsdaten und Leckage von System-Prompts
• Analyse des Modellverhaltens zur Freilegung sensibler Informationen
• Datenschutzimplikationen und Aspekte der regulatorischen Konformität
• Abmilderung: Ausgabe-Filterung, Zugriffskontrollen, Datenanonymisierung

LLM03: Verwundbarkeiten in der Lieferkette

• Abhängigkeiten von Drittanbietermodellen und Pluginsicherheit
• Kompromittierte Trainingsdatensätze und Model-Poisoning
• Bewertung des Vendor-Risikos für KI-Komponenten
• Sichere Modellbereitstellung und Praktiken zur Verifizierung

Praktische Übung: Praktisches Labor, das Prompt-Injection-Angriffe gegen verwundbare LLM-Anwendungen demonstriert und Abwehrmaßnahmen implementiert

Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)

Behandelte Themen:

LLM04: Daten- und Model-Poisoning

• Techniken zur Manipulation von Trainingsdaten
• Veränderung des Modellverhaltens durch vergiftete Eingaben
• Schlafwinkelanfälle (Backdoor) und Verifizierung der Datenintegrität
• Vorbeugung: Validierungs-Pipelines für Daten, Rückverfolgbarkeit (Provenance)

LLM05: Unsachgemäße Verarbeitung von Ausgaben

• Unsichere Verarbeitung KI-generierter Inhalte
• Code-Injection durch KI-generierte Ausgaben
• Cross-Site-Scripting (XSS) über KI-Antworten
• Rahmenwerke zur Validierung und Entschärfung von Ausgaben

Praktische Übung: Simulation von Data-Poisoning-Angriffen und Implementierung robuster Mechanismen zur Ausgabevalidierung

Modul 4: Erweiterte LLM-Bedrohungen (1,5 Stunden)

Behandelte Themen:

LLM06: Übermäßige Agentur

• Risiken autonomer Entscheidungsfindung und Grenzverletzungen
• Agent-Autorität und Berechtigungsmanagement
• Unbeabsichtigte Systeminteraktionen und Privilegienescalation
• Implementierung von Schutzmechanismen (Guardrails) und menschlicher Aufsicht

LLM07: Leckage von System-Prompts

• Schwachstellen bei der Offenlegung von Systemanweisungen
• Offenlegung von Zugangsdaten und Logik durch Prompts
• Angriffstechniken zum Extrahieren von System-Prompts
• Sichern von Systemanweisungen und externer Konfiguration

Praktische Übung: Entwurf sicherer Agent-Architekturen mit angemessenen Zugriffskontrollen und Überwachung

Tag 2: Erweiterte Bedrohungen und Implementierung

Modul 5: Aufkommende KI-Bedrohungen (2 Stunden)

Lernziele:

• Verständnis modernster KI-Sicherheitsbedrohungen
• Implementierung fortschrittlicher Erkennungs- und Präventionstechniken
• Entwurf widerstandsfähiger KI-Systeme gegen ausgefeilte Angriffe

Behandelte Themen:

LLM08: Schwächen in Vektoren und Embeddings

• Schwachstellen in RAG-Systemen (Retrieval-Augmented Generation) und Sicherheit von Vektor-Datenbanken
• Poisoning von Embeddings und Angriffe zur Manipulation der Ähnlichkeit
• Adversariale Beispiele bei der semantischen Suche
• Sichern von Vektorspeichern und Implementierung der Anomalie-Erkennung

LLM09: Desinformation und Modellzuverlässigkeit

• Erkennung und Abmilderung von Halluzinationen
• Verstärkung von Bias und Aspekte der Fairness
• Mechanismen zur Faktenprüfung und Quellenverifizierung
• Inhaltsvalidierung und Integration menschlicher Aufsicht

LLM10: Unbegrenzter Verbrauch

• Ressourcenerschöpfung und Denial-of-Service-Angriffe (DoS)
• Strategien zur Ratenbegrenzung und Ressourcenverwaltung
• Kostenoptimierung und Budgetkontrollen
• Leistungsüberwachung und Alarmsysteme

Praktische Übung: Aufbau eines sicheren RAG-Pipelines mit Vektor-Datenbankschutz und Halluzinations-Erkennung

Modul 6: Sicherheit von Agentic KI (2 Stunden)

Lernziele:

• Verständnis der einzigartigen Sicherheitsherausforderungen autonomer KI-Agenten
• Anwendung der OWASP-Agentic-KI-Taxonomie auf reale Systeme
• Implementierung von Sicherheitskontrollen für Multi-Agent-Umgebungen

Behandelte Themen:

• Einführung in Agentic KI und autonome Systeme
• OWASP Taxonomie der Bedrohungen für Agentic KI: Agent-Design, Speicher, Planung, Werkzeugnutzung, Bereitstellung
• Sicherheit von Multi-Agent-Systemen und Risiken der Koordination
• Angriffe durch Missbrauch von Tools, Vergiftung des Speichers und Zweckentfremdung von Zielen (Goal Hijacking)
• Sichern von Agent-Kommunikation und Entscheidungsprozessen

Praktische Übung: Bedrohungsmodellierungsübung unter Verwendung der OWASP Taxonomie für Agentic KI auf einem Multi-Agent-Kundendienstsystem

Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)

Lernziele:

• Durchdringung der praktischen Anwendung von Threat Defense COMPASS
• Integration der KI-Bedrohungsbewertung in die Sicherheitsprogramme der Organisation
• Entwicklung umfassender Strategien zum Management von KI-Risiken

Behandelte Themen:

• Tiefgehende Auseinandersetzung mit der COMPASS-Methodologie
• Integration des OODA-Loops: Observe, Orient, Decide, Act (Beobachten, Einordnen, Entscheiden, Handeln)
• Abbildung von Bedrohungen auf die Frameworks MITRE ATT&CK und ATLAS
• Aufbau von Dashboards für die KI-Bedrohungserhaltung (Resilience)
• Integration mit bestehenden Sicherheitstools und -prozessen

Praktische Übung: Vollständige Bedrohungsbewertung mittels COMPASS für ein Szenario der Microsoft Copilot-Bereitstellung

Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)

Lernziele:

• Entwurf sicherer KI-Architekturen von Grund auf
• Implementierung von Überwachung und Incident Response für KI-Systeme
• Erstellung von Governance-Rahmenwerken für KI-Sicherheit

Behandelte Themen:

Sicherer Lebenszyklus der KI-Entwicklung:

• Prinzipien von Security-by-Design für KI-Anwendungen
• Praktiken zur Code-Überprüfung für LLM-Integrationen
• Testmethoden und Scannen auf Verwundbarkeiten
• Sicherheit bei der Bereitstellung und Härtung in der Produktion

Überwachung und Erkennung:

• Anforderungen an das Logging und die Überwachung für KI-spezifische Systeme
• Anomalie-Erkennung für KI-Systeme
• Vorgehensweisen zur Incident Response bei KI-Sicherheitsvorfällen
• Forensik und Untersuchungstechniken

Governance und Compliance:

• Rahmenwerke und Richtlinien zum KI-Risikomanagement
• Aspekte der regulatorischen Konformität (DSGVO, AI Act usw.)
• Bewertung des Vendor-Risikos für KI-Anbieter
• Sicherheitsschulungen für KI-Entwicklungsteams

Praktische Übung: Entwurf einer kompletten Sicherheitsarchitektur für einen KI-Chatbot im Unternehmen, einschließlich Überwachung, Governance und Verfahren zur Incident Response

Modul 9: Tools und Technologien (1 Stunde)

Lernziele:

• Bewertung und Implementierung von KI-Sicherheitstools
• Verständnis der aktuellen Landschaft der KI-Sicherheitslösungen
• Aufbau praktischer Fähigkeiten zur Erkennung und Prävention

Behandelte Themen:

• KI-Sicherheitstool-Ökosystem und Vendor-Landschaft
• Open-Source-Sicherheitstools: Garak, PyRIT, Giskard
• Kommerzielle Lösungen für KI-Sicherheit und Überwachung
• Muster zur Integration und Bereitstellungsstrategien
• Kriterien zur Werkzeugauswahl und Bewertungsrahmenwerke

Praktische Übung: Praktische Demonstration von KI-Sicherheitstests und Planung der Implementierung

Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)

Lernziele:

• Verständnis aufkommender Bedrohungen und zukünftiger Sicherheitsherausforderungen
• Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung
• Erstellung von Aktionsplänen für die KI-Sicherheitsprogramme der Organisation

Behandelte Themen:

• Aufkommende Bedrohungen: Deepfakes, fortschrittliche Prompt-Injection, Model Inversion
• Zukünftige Entwicklungen des OWASP GenAI Project und Roadmap
• Aufbau von KI-Sicherheitsgemeinschaften und Wissensaustausch
• Kontinuierliche Verbesserung und Integration von Threat Intelligence

Übung zur Aktionsplanung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer