Schulungsübersicht
Tag 1: Grundlagen und Kernbedrohungen
Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)
Lernziele:
- Verstehen der Entwicklung von den OWASP Top 10 zu KI-spezifischen Sicherheitsausforderungen.
- Erforschung des OWASP GenAI Security Project Ökosystems und Ressourcen.
- Identifizieren der wesentlichen Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit.
Behandelte Themen:
- Überblick über das OWASP GenAI Security Project und seine Mission.
- Einführung in das Threat Defense COMPASS-Framework.
- Verstehen der KI-Sicherheitslandschaft und regulatorischen Anforderungen.
- Vergleich von KI-Angriffsflächen mit traditionellen Webanwendungsverletzbarkeiten.
Praktische Übung: Einrichten des OWASP Threat Defense COMPASS-Tools und Durchführung einer ersten Bedrohungsbewertung
Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)
Lernziele:
- Beherrschung der ersten fünf kritischen LLM-Verletzbarkeiten.
- Verstehen von Angriffspfaden und Exploit-Techniken.
- Praktische Implementierung von Abmilderungsstrategien.
Behandelte Themen:
LLM01: Prompt Injection
- Direkte und indirekte Prompt-Injection-Techniken.
- Versteckte Angriffe und cross-prompt-Kontamination.
- Praktische Beispiele: Jailbreaking von Chatbots und Umgehen von Sicherheitsmaßnahmen.
- Abwehrstrategien: Eingabevalidierung, Prompt-Filterung, differentielle Privatsphäre.
LLM02: Offenlegung sensibler Informationen
- Extraktion von Trainingsdaten und System-Prompt-Lecks.
- Analyse des Modellverhaltens auf die Offenlegung sensibler Informationen.
- Datenschutzimplikationen und regulatorische Compliance-Überlegungen.
- Abmilderungsstrategien: Ausgabevalidierung, Zugangskontrolle, Datanonymisierung.
LLM03: Lieferkettenschwächen
- Sicherheit von Drittanbieter-Modellen und Plugin-Sicherheit.
- Kompromittierte Trainingsdatensätze und Model-Poisoning.
- Risikobewertung von Drittanbietern für AI-Komponenten.
- Sicherheitspraktiken für die Bereitstellung und Verifizierung von Modellen.
Praktische Übung: Hands-on Labor zur Demonstration von Prompt-Injection-Angriffen gegen verletzbare LLM-Anwendungen und Implementierung von Abwehrmaßnahmen
Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)
Behandelte Themen:
LLM04: Daten- und Modellvergiftung
- Techniken zur Manipulation von Trainingsdaten.
- Änderung des Modellverhaltens durch vergiftete Eingaben.
- Backdoor-Angriffe und Datenintegritätsprüfung.
- Präventionsstrategien: Datenvalidierungspipelines, Herkunftsnachverfolgung.
LLM05: Fehlende Ausgabebehandlung
- Unsichere Verarbeitung von LLM-generierten Inhalten.
- Codeinjektion durch KI-generierte Ausgaben.
- Cross-Site Scripting über KI-Antworten.
- Validierungs- und Sanierungsframeworks für Ausgaben.
Praktische Übung: Simulation von Datenvergiftungsangriffen und Implementierung robuster Ausgabevalidierungsmechanismen
Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)
Behandelte Themen:
LLM06: Überschreitung der Agentenbefugnis
- Risiken autonomer Entscheidungen und Verletzung von Grenzen.
- Management der Agentenbefugnis und Berechtigungen.
- Unerwünschte Systeminteraktionen und Privileg-Eskalation.
- Implementierung von Schutzmaßnahmen und menschlicher Überwachungskontrolle.
LLM07: System-Prompt-Lecks
- Verletzbarkeiten der Offenlegung von Systemanweisungen.
- Offenlegung von Anmeldeinformationen und Logik durch Prompts.
- Angriffstechniken zur Extraktion von Systemprompts.
- Sichere Systemanweisungen und externe Konfiguration.
Praktische Übung: Entwurf sicherer Agentenarchitekturen mit angemessenen Zugangskontrollen und Monitoring
Tag 2: Fortgeschrittene Bedrohungen und Implementierung
Modul 5: Emerging AI-Threats (2 Stunden)
Lernziele:
- Verstehen von neuesten KI-Sicherheitsbedrohungen.
- Implementierung fortgeschrittener Erkennungs- und Präventionsmethoden.
- Entwurf widerstandsfähiger KI-Systeme gegen sofistizierte Angriffe.
Behandelte Themen:
LLM08: Vector and Embedding Weaknesses
- Schwachstellen von RAG-Systemen und Sicherheit von Vektordatenbanken.
- Vergiftungsangriffe auf Embeddings und Similarity-Manipulation-Angriffe.
- Adversariale Beispiele in semantischer Suche.
- Sichere Vektorspeicher und Implementierung von Anomaliedetektion.
LLM09: Falschinformationen und Modellzuverlässigkeit
- Erkennung und Abmilderung von Halluzinationen.
- Verstärkung von Vorurteilen und Fairness-Überlegungen.
- Fact-Checking und Quellenverifikationsmechanismen.
- Content-Validierung und Integration menschlicher Überwachung.
LLM10: Unbounded Consumption
- Ressourcenverbrauch und Denial-of-Service-Angriffe.
- Rate-Limiting und Ressourcenmanagementstrategien.
- Kostenoptimierung und Budgetkontrolle.
- Leistungsüberwachung und Alerting-Systeme.
Praktische Übung: Erstellung einer sicheren RAG-Pipeline mit Vektordatenbankschutz und Halluzinationserkennung
Modul 6: Agentic AI Security (2 Stunden)
Lernziele:
- Verstehen der einzigartigen Sicherheitsausforderungen autonomer KI-Agenten.
- Anwendung des OWASP Agentic AI-Taxonomie auf realweltliche Systeme.
- Implementierung von Sicherheitskontrollen für Multi-Agenten-Umgebungen.
Behandelte Themen:
- Einführung in Agentic AI und autonome Systeme.
- OWASP Agentic AI-Threat-Taxonomie: Agent Design, Memory, Planning, Tool Use, Deployment.
- Sicherheit von Multi-Agenten-Systemen und Koordinationsrisiken.
- Missbrauch von Tools, Vergiftung des Speichers und Entführung von Zielen.
- Sichere Kommunikation und Entscheidungsfindungsprozesse der Agenten.
Praktische Übung: Bedrohungsmodellierungsübung unter Verwendung der OWASP Agentic AI-Taxonomie an einem Multi-Agenten-Kundendienstsystem
Modul 7: OWASP Threat Defense COMPASS-Implementierung (2 Stunden)
Lernziele:
- Beherrschung der praktischen Anwendung des Threat Defense COMPASS.
- Integration von KI-Bedrohungsbewertungen in unternehmensweite Sicherheitsprogramme.
- Entwicklung umfassender KI-Risikomanagementstrategien.
Behandelte Themen:
- Tiefgang in die Threat Defense COMPASS-Methodik.
- Integration des OODA-Schleifen: Beobachten, Orientieren, Entscheiden, Handeln.
- Zuordnung von Bedrohungen zu den MITRE ATT&CK- und ATLAS-Frameworks.
- Erstellung von Dashboards zur KI-Bedrohungsrückgewinnung.
- Integration in bestehende Sicherheitstools und -prozesse.
Praktische Übung: Durchführung einer Bedrohungsbewertung unter Verwendung von COMPASS für ein Microsoft Copilot-Bereitstellungsszenario
Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)
Lernziele:
- Entwurf sicherer KI-Architekturen von Grund auf.
- Implementierung von Monitoring und Vorfallmanagement für KI-Systeme.
- Erstellung von Governance-Frameworks für KI-Sicherheit.
Behandelte Themen:
Sichere AI-Entwicklungslebenszyklen:
- Sicherheitsprinzipien für KI-Anwendungen im Design.
- Code-Review-Praktiken für LLM-Integrationen.
- Testmethodologien und Verletzbarkeitsscanning.
- Bereitstellungssicherheit und Produktionsverfestigung.
Monitoring und Erkennung:
- KI-spezifische Anforderungen für Logging und Monitoring.
- Anomaliedetektion für KI-Systeme.
- Vorfallmanagement-Prozeduren für KI-Sicherheitsereignisse.
- Forensik und Untersuchungstechniken.
Governance und Compliance:
- KI-Risikomanagement-Frameworks und -richtlinien.
- Regulatorische Compliance-Überlegungen (GDPR, AI Act usw.).
- Drittanbieter-Risikobewertung für KI-Anbieter.
- Sicherheitsbewusstseinstraining für KI-Entwicklerteams.
Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für ein Unternehmens-KI-Chatbot, einschließlich Monitoring, Governance und Vorfallmanagementprozeduren
Modul 9: Tools und Technologien (1 Stunde)
Lernziele:
- Auswählen und Implementieren von KI-Sicherheitstools.
- Verständnis der aktuellen KI-Sicherheitslösungslandschaft.
- Aufbau praktischer Erkennungs- und Präventionsfähigkeiten.
Behandelte Themen:
- KI-Sicherheitstools und -Landschaft von Anbietern.
- Open-Source-Sicherheitstools: Garak, PyRIT, Giskard.
- Kommerzielle Lösungen für KI-Sicherheit und -Monitoring.
- Integrationsmuster und Bereitstellungsstrategien.
- Auswahlkriterien für Tools und Bewertungsframeworks.
Praktische Übung: Hands-on Demonstration von KI-Sicherheitstests und Implementierungsplanung
Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)
Lernziele:
- Verstehen von aufkommenden Bedrohungen und zukünftigen Sicherheitsausforderungen.
- Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung.
- Erstellung von Aktionsplänen für unternehmensweite KI-Sicherheitsprogramme.
Behandelte Themen:
- Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt-Injection, Modellinversion.
- Zukünftige OWASP GenAI-Projektentwicklungen und -Roadmaps.
- Aufbau von KI-Sicherheitsgemeinschaften und Wissensaustausch.
- Kontinuierliche Verbesserung und Integration von Bedrohungsinformationen.
Aktionsplanungsübung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer
Voraussetzungen
- Allgemeine Kenntnisse der Sicherheitsprinzipien von Webanwendungen.
- Grundkenntnisse in KI/ML-Konzepten.
- Erfahrung mit Sicherheitsrahmen oder Risikobewertungsmethodiken ist erwünscht.
Zielgruppe
- Cybersecurity-Professionals
- KI-Entwickler
- Systemarchitekten
- Compliance-Officer
- Sicherheitspraktiker
Erfahrungsberichte (1)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
