Schulungsübersicht
Einführung ins Red Teaming für KI
- Das Bedrohungsszenario im Bereich KI verstehen
- Die Rolle von Red Teams in der KI-Sicherheit
- Ethische und rechtliche Aspekte
Adversarische Methoden im Maschinellen Lernen
- Arten von Angriffen: Umgehung, Vergiftung, Extraktion und Inferenz
- Erstellung adversarischer Beispiele (etwa mittels FGSM oder PGD)
- Zielgerichtete vs. nicht zielgerichtete Angriffe sowie Erfolgskriterien
Tests zur Robustheit von Modellen
- Bewertung der Robustheit unter Störfaktoren
- Untersuchung versteckter Schwachstellen und Fehlverhalten der Modelle
- Belastungstests für Klassifikations-, Bildverarbeitungs- sowie NLP-Modelle
Red Teaming von KI-Bereitstellungsprozessen
- Angriffsfläche der KI-Workflows: Daten, Modelle und Bereitstellung
- Ausnutzen unsicherer Modell-APIs sowie Endpunkte
- Reverse Engineering des Verhaltens sowie der Ausgaben von Modellen
Simulationen und Tools
- Nutzung der Adversarial Robustness Toolbox (ART)
- Red Teaming mit Werkzeugen wie TextAttack und IBM ART
- Einsatz von Sandboxing, Monitoring- sowie Beobachtungstools
Red Teaming-Strategie für KI und Zusammenarbeit mit Verteidigungsteams
- Entwicklung von Übungen und Zielen im Rahmen des Red Teamings
- Übermitteln der Ergebnisse an Verteidigungsteams
- Integration des Red Teamings in das Risikomanagement für KI-Systeme
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundkenntnisse in Maschinellem Lernen sowie Deep-Learning-Architekturen
- Erfahrung mit Python und KI-Frameworks wie TensorFlow oder PyTorch
- Vertrautheit mit Konzepten der Cybersicherheit bzw. Techniken des Offensiven Sicherheitsmanagements
Zielgruppe
- Sicherheitsforscher
- Teams für offensive Sicherheit
- Fachkräfte im Bereich KI-Qualitätssicherung und Red Teaming
Erfahrungsberichte (3)
Erfassung und Identifizierung der verschiedenen Risikobereiche im Zusammenhang mit KI
Gary Cook - Cybersecurity and Information Technology Risk Division
Kurs - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
Maschinelle Übersetzung
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung