Kontakt aufnehmen

Schulungsübersicht

Das Bedrohungsumfeld in der KI

  • Warum sich KI-Sicherheit von herkömmlicher Sicherheit unterscheidet: Nicht-Determinismus, intransparente Entscheidungsprozesse sowie Prompts als Angriffsfläche
  • Einteilung der Angriffe: Training, Inferenz und Lieferkette
  • Der KI-Angreifer: Wer greift KI-Systeme an und aus welchen Gründen

OWASP Top 10 für LLM-Anwendungen

  • Prompt-Injection: Direkte sowie indirekte Angriffsvektoren
  • Insecure Output Handling und Cross-Plugin Request Forgery
  • Datenvergiftung im Trainingsprozess sowie Schwachstellen in der Lieferkette
  • Modell-Denial-of-Service, Offenlegung sensibler Informationen und übermäßige Autonomie der Modelle
  • Praktisches Labor: Ausnutzung jeder einzelnen OWASP-Kategorie anhand einer Testanwendung

Prompt-Injection und Jailbreak-Red-Teaming

  • Einteilung der Injektionstechniken: Direkt, indirekt, mehrstufig sowie multimodal
  • Automatisiertes Red-Teaming mit Tools wie Giskard, Garak und individuellen Fuzzing-Werkzeugen
  • Klassifizierung von Jailbreak-Versuchen sowie Bewertung möglicher Abwehrmaßnahmen
  • Erarbeitung eines Red-Team-Frameworks zur kontinuierlichen Sicherheitsprüfung von LLMs

Angriffe und Verteidigungsstrategien auf Modell-Ebene

  • Modellextraktion: Abgreifen der Gewichte sowie Funktionen eines Modells über API-Abfragen
  • Mitgliedschaftsschlussfolgerung: Bestimmung, ob bestimmte Daten Teil des Trainingsdatensatzes waren
  • Adversarial-Beispiele: kleine Eingabeveränderungen, die zu falschen Klassifizierungen führen können
  • Datenvergiftung: Manipulation von Trainingsdaten zur Einrichtung von „Hintertüren“ oder zur Verschlechterung der Modellleistung

Sicherheitskontrollen für Eingaben und Ausgaben

  • Eingabeverifizierung über herkömmliche Web-Sicherheitsmaßnahmen hinaus
  • Ausgabefilterung: Vermeidung toxischer Inhalte, PII-Leckage sowie fehlerhafter Code-Generierungen
  • Schutzmechanismen als zentrale Sicherheitskomponenten: NeMo, Guardrails AI und individuelle Richtlinien
  • Gewährleistung strukturierter Ausgaben als Schutzschranke für Systeme

Sicherheit der KI-Lieferkette

  • Modellherkunft: Verifizierung von Authentizität und Integrität eines Modells
  • Scannen der Abhängigkeiten auf Schwachstellen in ML-Frameworks sowie Modellformaten
  • Sicheres Bereitstellen von Modellen: Sandboxing, Netzwerkisolierung und striktes Rechtemanagement
  • Überprüfung feinabgestimmter sowie Community-basierter Modelle auf versteckte Malware

Betriebsweise Sicherheit für KI-Systeme

  • Zugriffskontrolle zu Modellendpunkten, Vektor-Datenbanken sowie Agentur-Tools
  • Audit-Protokollierung jeder Interaktion und Entscheidungsfindung des Modells
  • Incident-Response bei KI-spezifischen Sicherheitsvorfällen: Was zu tun ist, wenn das Modell kompromittiert wurde
  • Kontinuierliche Sicherheitstests im Rahmen von CI/CD-Pipelines für ML-Projekte

Aufbau eines KI-Sicherheitsprogramms

  • Entwicklung eines Reifegradmodells sowie eines konkreten Fahrplans für KI-Sicherheit
  • Eingliederung der KI-Sicherheit in bestehende AppSec- und Cloud-Sicherheitsstrategien
  • Governance-Rahmenwerke sowie neue rechtliche Regelungen im Bereich KI
  • Erarbeitung und Pflege eines unternehmensweiten Leitfadens zur KI-Sicherheit

Voraussetzungen

  • Erfahrung im Produktivbetrieb von ML-Modellen oder LLM-Anwendungen.
  • Grundsätzliche Kenntnisse zu Sicherheitskonzepten wie Authentifizierung, Autorisierung und Bedrohungsmodellierung.
  • Python-Kenntnisse zur Durchführung von Tests im Bereich Adversarial Security.

Zielgruppe

  • Sicherheitsingenieure, die ihr Wissen auf KI- und ML-Bedrohungsflächen ausweiten möchten.
  • ML-Ingenieure, deren Aufgabe es ist, die Sicherheit sowie Robustheit von Modellen sicherzustellen.
  • Mitglieder von Red-Teams, die KI-Systeme in ihre Teststrategien integrieren wollen.
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien