Schulungsübersicht

Tag 1: Grundlagen und Kernbedrohungen

Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)

Lernziele:

  • Verstehen der Entwicklung von den OWASP Top 10 zu KI-spezifischen Sicherheitsausforderungen.
  • Erforschung des OWASP GenAI Security Project Ökosystems und Ressourcen.
  • Identifizieren der wesentlichen Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit.

Behandelte Themen:

  • Überblick über das OWASP GenAI Security Project und seine Mission.
  • Einführung in das Threat Defense COMPASS-Framework.
  • Verstehen der KI-Sicherheitslandschaft und regulatorischen Anforderungen.
  • Vergleich von KI-Angriffsflächen mit traditionellen Webanwendungsverletzbarkeiten.

Praktische Übung: Einrichten des OWASP Threat Defense COMPASS-Tools und Durchführung einer ersten Bedrohungsbewertung

Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)

Lernziele:

  • Beherrschung der ersten fünf kritischen LLM-Verletzbarkeiten.
  • Verstehen von Angriffspfaden und Exploit-Techniken.
  • Praktische Implementierung von Abmilderungsstrategien.

Behandelte Themen:

LLM01: Prompt Injection

  • Direkte und indirekte Prompt-Injection-Techniken.
  • Versteckte Angriffe und cross-prompt-Kontamination.
  • Praktische Beispiele: Jailbreaking von Chatbots und Umgehen von Sicherheitsmaßnahmen.
  • Abwehrstrategien: Eingabevalidierung, Prompt-Filterung, differentielle Privatsphäre.

LLM02: Offenlegung sensibler Informationen

  • Extraktion von Trainingsdaten und System-Prompt-Lecks.
  • Analyse des Modellverhaltens auf die Offenlegung sensibler Informationen.
  • Datenschutzimplikationen und regulatorische Compliance-Überlegungen.
  • Abmilderungsstrategien: Ausgabevalidierung, Zugangskontrolle, Datanonymisierung.

LLM03: Lieferkettenschwächen

  • Sicherheit von Drittanbieter-Modellen und Plugin-Sicherheit.
  • Kompromittierte Trainingsdatensätze und Model-Poisoning.
  • Risikobewertung von Drittanbietern für AI-Komponenten.
  • Sicherheitspraktiken für die Bereitstellung und Verifizierung von Modellen.

Praktische Übung: Hands-on Labor zur Demonstration von Prompt-Injection-Angriffen gegen verletzbare LLM-Anwendungen und Implementierung von Abwehrmaßnahmen

Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)

Behandelte Themen:

LLM04: Daten- und Modellvergiftung

  • Techniken zur Manipulation von Trainingsdaten.
  • Änderung des Modellverhaltens durch vergiftete Eingaben.
  • Backdoor-Angriffe und Datenintegritätsprüfung.
  • Präventionsstrategien: Datenvalidierungspipelines, Herkunftsnachverfolgung.

LLM05: Fehlende Ausgabebehandlung

  • Unsichere Verarbeitung von LLM-generierten Inhalten.
  • Codeinjektion durch KI-generierte Ausgaben.
  • Cross-Site Scripting über KI-Antworten.
  • Validierungs- und Sanierungsframeworks für Ausgaben.

Praktische Übung: Simulation von Datenvergiftungsangriffen und Implementierung robuster Ausgabevalidierungsmechanismen

Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)

Behandelte Themen:

LLM06: Überschreitung der Agentenbefugnis

  • Risiken autonomer Entscheidungen und Verletzung von Grenzen.
  • Management der Agentenbefugnis und Berechtigungen.
  • Unerwünschte Systeminteraktionen und Privileg-Eskalation.
  • Implementierung von Schutzmaßnahmen und menschlicher Überwachungskontrolle.

LLM07: System-Prompt-Lecks

  • Verletzbarkeiten der Offenlegung von Systemanweisungen.
  • Offenlegung von Anmeldeinformationen und Logik durch Prompts.
  • Angriffstechniken zur Extraktion von Systemprompts.
  • Sichere Systemanweisungen und externe Konfiguration.

Praktische Übung: Entwurf sicherer Agentenarchitekturen mit angemessenen Zugangskontrollen und Monitoring

Tag 2: Fortgeschrittene Bedrohungen und Implementierung

Modul 5: Emerging AI-Threats (2 Stunden)

Lernziele:

  • Verstehen von neuesten KI-Sicherheitsbedrohungen.
  • Implementierung fortgeschrittener Erkennungs- und Präventionsmethoden.
  • Entwurf widerstandsfähiger KI-Systeme gegen sofistizierte Angriffe.

Behandelte Themen:

LLM08: Vector and Embedding Weaknesses

  • Schwachstellen von RAG-Systemen und Sicherheit von Vektordatenbanken.
  • Vergiftungsangriffe auf Embeddings und Similarity-Manipulation-Angriffe.
  • Adversariale Beispiele in semantischer Suche.
  • Sichere Vektorspeicher und Implementierung von Anomaliedetektion.

LLM09: Falschinformationen und Modellzuverlässigkeit

  • Erkennung und Abmilderung von Halluzinationen.
  • Verstärkung von Vorurteilen und Fairness-Überlegungen.
  • Fact-Checking und Quellenverifikationsmechanismen.
  • Content-Validierung und Integration menschlicher Überwachung.

LLM10: Unbounded Consumption

  • Ressourcenverbrauch und Denial-of-Service-Angriffe.
  • Rate-Limiting und Ressourcenmanagementstrategien.
  • Kostenoptimierung und Budgetkontrolle.
  • Leistungsüberwachung und Alerting-Systeme.

Praktische Übung: Erstellung einer sicheren RAG-Pipeline mit Vektordatenbankschutz und Halluzinationserkennung

Modul 6: Agentic AI Security (2 Stunden)

Lernziele:

  • Verstehen der einzigartigen Sicherheitsausforderungen autonomer KI-Agenten.
  • Anwendung des OWASP Agentic AI-Taxonomie auf realweltliche Systeme.
  • Implementierung von Sicherheitskontrollen für Multi-Agenten-Umgebungen.

Behandelte Themen:

  • Einführung in Agentic AI und autonome Systeme.
  • OWASP Agentic AI-Threat-Taxonomie: Agent Design, Memory, Planning, Tool Use, Deployment.
  • Sicherheit von Multi-Agenten-Systemen und Koordinationsrisiken.
  • Missbrauch von Tools, Vergiftung des Speichers und Entführung von Zielen.
  • Sichere Kommunikation und Entscheidungsfindungsprozesse der Agenten.

Praktische Übung: Bedrohungsmodellierungsübung unter Verwendung der OWASP Agentic AI-Taxonomie an einem Multi-Agenten-Kundendienstsystem

Modul 7: OWASP Threat Defense COMPASS-Implementierung (2 Stunden)

Lernziele:

  • Beherrschung der praktischen Anwendung des Threat Defense COMPASS.
  • Integration von KI-Bedrohungsbewertungen in unternehmensweite Sicherheitsprogramme.
  • Entwicklung umfassender KI-Risikomanagementstrategien.

Behandelte Themen:

  • Tiefgang in die Threat Defense COMPASS-Methodik.
  • Integration des OODA-Schleifen: Beobachten, Orientieren, Entscheiden, Handeln.
  • Zuordnung von Bedrohungen zu den MITRE ATT&CK- und ATLAS-Frameworks.
  • Erstellung von Dashboards zur KI-Bedrohungsrückgewinnung.
  • Integration in bestehende Sicherheitstools und -prozesse.

Praktische Übung: Durchführung einer Bedrohungsbewertung unter Verwendung von COMPASS für ein Microsoft Copilot-Bereitstellungsszenario

Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)

Lernziele:

  • Entwurf sicherer KI-Architekturen von Grund auf.
  • Implementierung von Monitoring und Vorfallmanagement für KI-Systeme.
  • Erstellung von Governance-Frameworks für KI-Sicherheit.

Behandelte Themen:

Sichere AI-Entwicklungslebenszyklen:

  • Sicherheitsprinzipien für KI-Anwendungen im Design.
  • Code-Review-Praktiken für LLM-Integrationen.
  • Testmethodologien und Verletzbarkeitsscanning.
  • Bereitstellungssicherheit und Produktionsverfestigung.

Monitoring und Erkennung:

  • KI-spezifische Anforderungen für Logging und Monitoring.
  • Anomaliedetektion für KI-Systeme.
  • Vorfallmanagement-Prozeduren für KI-Sicherheitsereignisse.
  • Forensik und Untersuchungstechniken.

Governance und Compliance:

  • KI-Risikomanagement-Frameworks und -richtlinien.
  • Regulatorische Compliance-Überlegungen (GDPR, AI Act usw.).
  • Drittanbieter-Risikobewertung für KI-Anbieter.
  • Sicherheitsbewusstseinstraining für KI-Entwicklerteams.

Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für ein Unternehmens-KI-Chatbot, einschließlich Monitoring, Governance und Vorfallmanagementprozeduren

Modul 9: Tools und Technologien (1 Stunde)

Lernziele:

  • Auswählen und Implementieren von KI-Sicherheitstools.
  • Verständnis der aktuellen KI-Sicherheitslösungslandschaft.
  • Aufbau praktischer Erkennungs- und Präventionsfähigkeiten.

Behandelte Themen:

  • KI-Sicherheitstools und -Landschaft von Anbietern.
  • Open-Source-Sicherheitstools: Garak, PyRIT, Giskard.
  • Kommerzielle Lösungen für KI-Sicherheit und -Monitoring.
  • Integrationsmuster und Bereitstellungsstrategien.
  • Auswahlkriterien für Tools und Bewertungsframeworks.

Praktische Übung: Hands-on Demonstration von KI-Sicherheitstests und Implementierungsplanung

Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)

Lernziele:

  • Verstehen von aufkommenden Bedrohungen und zukünftigen Sicherheitsausforderungen.
  • Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung.
  • Erstellung von Aktionsplänen für unternehmensweite KI-Sicherheitsprogramme.

Behandelte Themen:

  • Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt-Injection, Modellinversion.
  • Zukünftige OWASP GenAI-Projektentwicklungen und -Roadmaps.
  • Aufbau von KI-Sicherheitsgemeinschaften und Wissensaustausch.
  • Kontinuierliche Verbesserung und Integration von Bedrohungsinformationen.

Aktionsplanungsübung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer

Voraussetzungen

  • Allgemeine Kenntnisse der Sicherheitsprinzipien von Webanwendungen.
  • Grundkenntnisse in KI/ML-Konzepten.
  • Erfahrung mit Sicherheitsrahmen oder Risikobewertungsmethodiken ist erwünscht.

Zielgruppe

  • Cybersecurity-Professionals
  • KI-Entwickler
  • Systemarchitekten
  • Compliance-Officer
  • Sicherheitspraktiker
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien