Schulungsübersicht
Modul 1 – Wie scheitern KI-Anwendungen?
Kein Labor: Diskussion sowie Überblick über die Architektur
Eine konzeptionelle Betrachtung der Angriffsflächen aus Sicht des Entwicklers.
Inhaltliches Schwerpunkte:
- Architekturen von LLM, RAG und Agenten – gesehen durch die Augen des Programmierers
- Zyklus aus Anfrage und Antwort bei KI-basierten Funktionen
- Ablauf von Prompts: System-, Entwickler- sowie Benutzeranweisungen, auch Mitteilungen der Werkzeuge
- Stellen, an denen unsichere Daten das Modell erstmals oder erneut erreichen
- Vertrauensgrenzen: Was fällt in die Zuständigkeit des Entwicklers und was ist extern vorgegeben?
- Warum KI-Angriffe semantisch ausgerichtet sind, statt syntaktisch begründet zu sein
- Abbildung der OWASP LLM Top 10 Risiken auf den jeweiligen Codeabschnitten
Zentrale Erkenntnis: Jede Stelle, an der unverlässlicher Text das Modell bzw. dessen Antwort Ihren Programmcode erreicht, stellt eine für den Entwickler verantwortliche Grenze dar.
Modul 2 – Prompt-Injection aus Sicht von Entwicklern
Labor: Übung 01 – 01-Prompt-Injection
Ähnlich dem klassischen „SQL Injection-Moment“ in der IT; diesmal bleibt aber keine völlig sichere Lösung möglich.
Inhaltliches Schwerpunkte:
- Unterschiede zwischen direkter und indirekter Prompt-Injection
- Versteckte Anweisungen in Dokumenten, Webseiten sowie Werkzeugausgaben
- Bypassing von Sicherheitsmechanismen sowie Rollenumwandlungen des Modells
- Weshalb die Trennung von Instruktionen und Daten wesentlich ist
- Sichere Gestaltung von Prompts: Verwendung geeigneter Trennzeichen, strukturierte Aufbauweise sowie Beschränkung der Autorität des Modells
- Warum eine vollständige Vermeidung kaum gelingt – daher liegt die Lösung in einer gezielten Eindämmung des Schadenspotenzials
Praktische Übungen:
- Attacke gegen den eigenen Chatbot durchführen
- Einfache Filter umgehen
- Prompt-Struktur neu anlegen, um die Angriffsbreite einzuschränken
Modul 3 – Modellausgaben stets als unsicher betrachten
Labor: Übung 02 – 02-Output-Handling
Dieser Fehlertyp wird von Entwicklern häufig unterschätzt.
Inhaltliches Schwerpunkte:
- Modellausgaben als unverlässliche Eingabeinformationen für den Rest der Anwendung
- Nachgeschaltete Sicherheitslücken bei unsicherem Umgang mit Ausgaben (LLM02): XSS-, SSRF- oder SQL-Angriffe, verursacht durch nachfolgende Komponenten
- Kategorisch verboten: Unmittelbare Ausführung von Rohdaten des Modells mittels eval, exec oder ähnlicher Methoden
- Strukturierte Ausgabedaten sowie Validierung nach vorgegebenem Schema
- Codierung der Daten und Einsatz von Whitelists zur Filterung
- Verarbeitung in Web- bzw. GUI-Umgebungen, dabei besondere Vorsicht geboten
Praktische Übungen:
- Aufspüren und Korrigieren einer Sicherheitslücke in der Ausgabeverarbeitung
- Einsatz von JSON-Schemavalidierung bei den Antworten des Modells erzwingen
Modul 4 – Sicherheit bei RAG-Systemen
Labor: Übung 03 – 03-RAG-Security
Dies ist eine völlig neue Angriffsfläche, die der Entwickler selber konstruieren muss.
Inhaltliches Schwerpunkte:
- Gefahrenquellen in Vektordatenbanken und beim Abruf von Informationen
- Erforderliche Reinigung sowie Überprüfung beim Datenerfassungsprozess
- Herkunftsnachweis und Vertrauensbewertung von Dokumenten
- Grenzen bei der Informationssuche: Einschränkung des Abrufbereichs sowie Metadatentrennung
- Versteckte Instruktionen in abgerufenen Textabschnitten – eine Form indirekter Prompt-Injection
- Möglichkeiten unsicherer Datenabfluss durch den Abrufprozess selbst
Praktische Übungen:
– Einfügen einer manipulierten Datei, um die RAG-Pipeline zu beeinflussen; anschließend Durchsetzen von Reinigungsmechanismen sowie Abgrenzung des Abrufbereichs.
Modul 5 – Sicherheit für Agenten und Werkzeuge
Labor: Übung 04 – 04-Agent-Safety
Ein einzelner Fehler führt nun direkt zu konkreten Aktionen.
Inhaltliches Schwerpunkte:
- Übermäßige Handlungsfreiheit (LLM06) und damit verbundener Missbrauch der Werkzeuge durch das Modell
- Einsatz des Konzepts Mindestprivilegien für Agenten
- Whitelists sowie strenge Validierung sämtlicher Werkzeugargumente
- Autorisierungsprozesse inkl. menschlicher Bestätigung bei riskanten Aktionen
- Gefahrenisolierung der auszuführenden Funktionen durch Sandboxing<
- Nutzung nur zeitlich begrenzt gültiger und auf das Nötigste beschränkter Zugangsdaten für Agenten
- Begrenzung von autonomen Iterations- bzw. Verknüpfungsabläufen<
Praktische Übungen:
- Sicherheitseinstellungen bei einem ursprünglich zu stark befugten Agenten erhöhen
- Einrichtung einer Whitelist plus Freigabeprozess für ein gefährliches Werkzeug<
Modul 6 – Geheimnisse, Authentifizierung und Kostenkontrolle
Labor: Übung 05 – 05-Secrets-and-Cost
Fehler im operativen Bereich lösen häufig gravierende Folgen aus.
Inhaltliches Schwerpunkte:
- Richtige Handhabung von API-Schlüsseln und sonstigen sensiblen Informationen – keinesfalls in Prompts, Quellcode oder Protokollen nennen!
- Nutzerbezogene Authentifizierung sowie Zugriffskontrolle für KI-Funktionen<
- Weitergabe der jeweiligen Identität an Werkzeuge und Datensuchmodule<
- Nicht begrenzter Tokenverbrauch – Problemstellung: Denial-of-Wallet<
- Einsatz von Zugriffsbeschränkungen, Token-Budgets sowie Zeitlimits<
- Protokollierung ohne unbefugtes Offenlegen von Geheimnissen oder personenbezogenen Daten<
Praktische Übungen:
- Trennung der Schlüsselverwaltung vom Prompt-/Code-Teil und Aufnahme in sichere Speicherbereiche<
- Einrichtung individueller Zugangsbegrenzungen sowie Budgetkontrolle für jeden Nutzer<
Modul 7 – Guardrail-Bibliotheken nutzen
Labor: Übung 06 – 06-Guardrails<
Gibt es fertige Bibliotheken für die Sicherheit von Eingabe- und Ausgabedaten oder sollte man sie selbst entwickeln?<
Inhaltliches Schwerpunkte:
- Funktionen solcher Guardrail-Frameworks – was leisten sie tatsächlich, welche Grenzen gibt es?<
- Guardrails für Eingabedaten: Entdeckung von Prompt-Injection-Attacken, Schutz vor Personendaten und Themengenerierung<
- Ausgabe-Guardrails: Validierungs- und Filterprozesse, Abgleich mit geforderten Inhalten<
- Kriterien für den Einsatz von Guardrails im Vergleich zu eigenen deterministischen Prüfungen<
- Zusammenführung mehrerer Schutzschichten inklusive der bereits erlernten Kontrollmechanismen<
- Analyse möglicher Performanzbeeinträchtigungen, Fehlalarmraten sowie Ausfallphänomene<
Praktische Übungen:
- Hinzufügen einer Eingabe-/Ausgabefilterung mittels Guardrail-Technologie zu einer KI-Funktion<
- Bewertung, welche Angreifungsmethoden dabei abgewehrt oder dennoch nicht erkannt werden<
Modul 8 – Red-Teaming für die eigene Anwendung<
Labor: Übung 07 – 07-Red-Teaming<
Stellen Sie sich vor, Angreifer hätten bereits Ihre Lösung in ihre Gewalt gebracht.
Inhaltliches Schwerpunkte:
- Erbau eines eigenen Testrahmens bzw. einer Sammlung von Missbrauchsbeispielen<
- Automatisierte Erzeugung und Ausführung von Prompt-Injection-Tests sowie Jailbreak-Verfahren<
- Aufspüren von Regressionsfehlern, die durch Änderungen an Guardrails oder Richtlinien entstehen<
- Vereinheitlichte KI-Sicherheitsprüfung direkt in der CI/CD-Pipeline<
- Gefahren aus der Herstellerkette von Modellen und Abhängigkeiten – Verifizierung sowie festschreiben gewünschter Versionen<
- Erarbeitung einer Checkliste zur sicheren Vorabfreigabe aller KI-Funktionen<
Praktische Übungen:<
- Erstellen automatisierter Red-Teaming-Untersuchungsmethoden für die jeweilige KI-Anwendung<
- Durchführung der Tests direkt in CI-Workflows<
Modul 9 – Bewertung der KI-Sicherheit: Das SAIS-100 Modell<
Kein Labor, stattdessen eine Bewertungsübung anhand des „Capstone“-Beispiels<
Ziel ist die Konvertierung aller erlernten Konzepte in ein reproduzierbares Scoring.
Inhaltliches Schwerpunkte:
- Der „AI Security Hexagon“ – sechs spezifische Fragestellungen statt einer globalen Beurteilung nach dem Schema ‚ist sie sicher oder nicht‘<
- Die insgesamt sechs zu prüfenden Bereiche: Daten, Prompt-Design, Agent-Funktionen, Herstellerkette, Erkennungssysteme sowie Governance<
- Einteilung in 100 Punkte mit differenzierten Gewichtungskriterien<
- Interpretation der erzielten Werte in Form von Güteklassen und Ausnahmeregelungen bei einzelnen Kategorien<
- Das Elephant Scale Secure AI Score (SAIS-100) – brandeigenes, wiederverwendbares Prüfverfahren<
- Nutzung der Punktzahl vor und nach Abschluss des Optimierungsprozesses als Leistungsindikator<
Praktische Übungen:<
- Bewertung des „Capstone“-Modells unter Einsatz der 100-Punkte-Bewertung<
- Festlegen der einzelnen Optimierungsschritte, die den Score am stärksten steigern können<
Schlüsselerkenntnis: Die drei höchst gewichteten Kategorien entsprechen exakt jenen Vertrauensgrenzen, über deren Verwaltung der Entwickler verfügt – mithin prüft diese Messung genau das, was im Rahmen des Kurses gelehrt wurde.
Abschlussprojekt<
Die Teilnehmenden müssen am Ende die entworfene, absichtlich anfällige KI-Anwendung vollständig sichern.
Ausgangspunkt für das Projekt:<
- Ein manipulierbarer Prompt<
- Unzureichende Ausgabeverarbeitung<
- RAG-Pipeline ohne Abgrenzungen<
- Übermäßig stark befugter Agent<
- In den Code integrierte Schlüssel oder sensible Informationen in Prompt-Logs<
- Nicht vorhandene Kostenkontrolle<
Umgesetzt werden müssen folgende Maßnahmen:<
- Konstruktive Anpassung der Prompt-Struktur zur Begrenzung von Gefahrenbereichen<
- Verifizierung sowie Kodierung der Modellausgaben<
- Behandlung und Abgrenzung des Datenabrufs durch die RAG-Engine<
- Einführung des Konzepts Mindestprivilegien inklusive Freigabemechanismen für den Agenten<
- Trennung aller Schlüssel vom Code- und Prompt-Teil sowie Festlegung von Nutzerbegrenzungen hinsichtlich Kosten und Aufrufhäufigkeit<
- Ergänzung mehrerer Guardrail-Schichten sowie Automatisierung von Red-Teaming-Untersuchungen<
Das zu liefernde Ergebnis: Eine gesicherte Anwendung inklusive kurzer Selbsteinschätzung im Hinblick auf die OWASP LLM Top 10 Risiken.
Übersicht: Labore und Module<
Die Labore werden strikt in der Reihenfolge durchgeführt, die dem Verlauf der jeweiligen Module entspricht. Insgesamt besteht der Kurs aus neun Modulen und sieben Laborübungen: Modul 1 beinhaltet lediglich einen architektonischen Überblick und Diskussion; Modul 9 bezieht sich auf das abschließende Bewertungsverfahren – beide besitzen folglich kein eigenes Lab.
- Labor 01 – 01-Prompt-Injection: Angriff auf den Chatbot üben und strukturelle Eindämmungsmaßnahmen erstellen (Modul 2)
- Labor 02 – 02-Output-Handling: Unsichere Ausgabeverarbeitung lokalisieren und beheben (Modul 3)
- Labor 03 – 03-RAG-Security: Manipulation einer RAG-Pipeline simulieren, anschließend Schutzmechanismen etablieren (Modul 4)
- Labor 04 – 04-Agent-Safety: Übermäßig befugten Agenten absichern (Modul 5)
- Labor 05 – 05-Secrets-and-Cost: Geheimnisse getrennt speichern und Nutzerbegrenzungen im Kostenverbrauch definieren (Modul 6)
- Labor 06 – 06-Guardrails: Einfügen von Filtermechanismen in die Anwendung (Modul 7)
- Labor 07 – 07-Red-Teaming: Automatisierte Missbrauchstests direkt in der CI-Infrastruktur aktivieren (Modul 8)
Modul 1 (Wie scheitern KI-Anwendungen?) und Modul 9 (Bewertung der Sicherheit) haben somit weder Labore noch spezifische Übungsordner.
Voraussetzungen
- Niveau: Fortgeschritten.
- Voraussetzungen: Erfahrung mit dem Entwickeln und Nutzen von REST-APIs, Kenntnisse einer Skriptsprache (im Kurs wird Python verwendet), Grundverständnis von Authentifizierungsmechanismen in Anwendungen, Beherrschung von Git sowie der Kommandozeile.
- Kein vorheriges Wissen im Bereich Maschinelles Lernen erforderlich – es handelt sich um ein Training zur Anwendungssicherheit für Entwickler, die mit LLMs arbeiten und nicht sie trainieren.
Zielgruppe
- Software- bzw. Backend-Entwickler, die LLM-basierte Funktionen implementieren
- Fullstack- sowie API-Entwickler
- KI-/ML-Anwendungsentwickler
- Plattform-Ingenieure, die Kopiloten und Agenten bereitstellen
- Fachleiter und erfahrene Entwickler mit Verantwortung für KI-Systeme
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung