Kontakt aufnehmen

Schulungsübersicht

Modul 1 – Wie scheitern KI-Anwendungen?

Kein Labor: Diskussion sowie Überblick über die Architektur

Eine konzeptionelle Betrachtung der Angriffsflächen aus Sicht des Entwicklers.

Inhaltliches Schwerpunkte:

  • Architekturen von LLM, RAG und Agenten – gesehen durch die Augen des Programmierers
  • Zyklus aus Anfrage und Antwort bei KI-basierten Funktionen
  • Ablauf von Prompts: System-, Entwickler- sowie Benutzeranweisungen, auch Mitteilungen der Werkzeuge
  • Stellen, an denen unsichere Daten das Modell erstmals oder erneut erreichen
  • Vertrauensgrenzen: Was fällt in die Zuständigkeit des Entwicklers und was ist extern vorgegeben?
  • Warum KI-Angriffe semantisch ausgerichtet sind, statt syntaktisch begründet zu sein
  • Abbildung der OWASP LLM Top 10 Risiken auf den jeweiligen Codeabschnitten

Zentrale Erkenntnis: Jede Stelle, an der unverlässlicher Text das Modell bzw. dessen Antwort Ihren Programmcode erreicht, stellt eine für den Entwickler verantwortliche Grenze dar.

Modul 2 – Prompt-Injection aus Sicht von Entwicklern

Labor: Übung 01 – 01-Prompt-Injection

Ähnlich dem klassischen „SQL Injection-Moment“ in der IT; diesmal bleibt aber keine völlig sichere Lösung möglich.

Inhaltliches Schwerpunkte:

  • Unterschiede zwischen direkter und indirekter Prompt-Injection
  • Versteckte Anweisungen in Dokumenten, Webseiten sowie Werkzeugausgaben
  • Bypassing von Sicherheitsmechanismen sowie Rollenumwandlungen des Modells
  • Weshalb die Trennung von Instruktionen und Daten wesentlich ist
  • Sichere Gestaltung von Prompts: Verwendung geeigneter Trennzeichen, strukturierte Aufbauweise sowie Beschränkung der Autorität des Modells
  • Warum eine vollständige Vermeidung kaum gelingt – daher liegt die Lösung in einer gezielten Eindämmung des Schadenspotenzials

Praktische Übungen:

  • Attacke gegen den eigenen Chatbot durchführen
  • Einfache Filter umgehen
  • Prompt-Struktur neu anlegen, um die Angriffsbreite einzuschränken

Modul 3 – Modellausgaben stets als unsicher betrachten

Labor: Übung 02 – 02-Output-Handling

Dieser Fehlertyp wird von Entwicklern häufig unterschätzt.

Inhaltliches Schwerpunkte:

  • Modellausgaben als unverlässliche Eingabeinformationen für den Rest der Anwendung
  • Nachgeschaltete Sicherheitslücken bei unsicherem Umgang mit Ausgaben (LLM02): XSS-, SSRF- oder SQL-Angriffe, verursacht durch nachfolgende Komponenten
  • Kategorisch verboten: Unmittelbare Ausführung von Rohdaten des Modells mittels eval, exec oder ähnlicher Methoden
  • Strukturierte Ausgabedaten sowie Validierung nach vorgegebenem Schema
  • Codierung der Daten und Einsatz von Whitelists zur Filterung
  • Verarbeitung in Web- bzw. GUI-Umgebungen, dabei besondere Vorsicht geboten

Praktische Übungen:

  • Aufspüren und Korrigieren einer Sicherheitslücke in der Ausgabeverarbeitung
  • Einsatz von JSON-Schemavalidierung bei den Antworten des Modells erzwingen

Modul 4 – Sicherheit bei RAG-Systemen

Labor: Übung 03 – 03-RAG-Security

Dies ist eine völlig neue Angriffsfläche, die der Entwickler selber konstruieren muss.

Inhaltliches Schwerpunkte:

  • Gefahrenquellen in Vektordatenbanken und beim Abruf von Informationen
  • Erforderliche Reinigung sowie Überprüfung beim Datenerfassungsprozess
  • Herkunftsnachweis und Vertrauensbewertung von Dokumenten
  • Grenzen bei der Informationssuche: Einschränkung des Abrufbereichs sowie Metadatentrennung
  • Versteckte Instruktionen in abgerufenen Textabschnitten – eine Form indirekter Prompt-Injection
  • Möglichkeiten unsicherer Datenabfluss durch den Abrufprozess selbst

Praktische Übungen:
– Einfügen einer manipulierten Datei, um die RAG-Pipeline zu beeinflussen; anschließend Durchsetzen von Reinigungsmechanismen sowie Abgrenzung des Abrufbereichs.

Modul 5 – Sicherheit für Agenten und Werkzeuge

Labor: Übung 04 – 04-Agent-Safety

Ein einzelner Fehler führt nun direkt zu konkreten Aktionen.

Inhaltliches Schwerpunkte:

  • Übermäßige Handlungsfreiheit (LLM06) und damit verbundener Missbrauch der Werkzeuge durch das Modell
  • Einsatz des Konzepts Mindestprivilegien für Agenten
  • Whitelists sowie strenge Validierung sämtlicher Werkzeugargumente
  • Autorisierungsprozesse inkl. menschlicher Bestätigung bei riskanten Aktionen
  • Gefahrenisolierung der auszuführenden Funktionen durch Sandboxing<
  • Nutzung nur zeitlich begrenzt gültiger und auf das Nötigste beschränkter Zugangsdaten für Agenten
  • Begrenzung von autonomen Iterations- bzw. Verknüpfungsabläufen<

Praktische Übungen:

  • Sicherheitseinstellungen bei einem ursprünglich zu stark befugten Agenten erhöhen
  • Einrichtung einer Whitelist plus Freigabeprozess für ein gefährliches Werkzeug<

Modul 6 – Geheimnisse, Authentifizierung und Kostenkontrolle

Labor: Übung 05 – 05-Secrets-and-Cost

Fehler im operativen Bereich lösen häufig gravierende Folgen aus.

Inhaltliches Schwerpunkte:

  • Richtige Handhabung von API-Schlüsseln und sonstigen sensiblen Informationen – keinesfalls in Prompts, Quellcode oder Protokollen nennen!
  • Nutzerbezogene Authentifizierung sowie Zugriffskontrolle für KI-Funktionen<
  • Weitergabe der jeweiligen Identität an Werkzeuge und Datensuchmodule<
  • Nicht begrenzter Tokenverbrauch – Problemstellung: Denial-of-Wallet<
  • Einsatz von Zugriffsbeschränkungen, Token-Budgets sowie Zeitlimits<
  • Protokollierung ohne unbefugtes Offenlegen von Geheimnissen oder personenbezogenen Daten<

Praktische Übungen:

  • Trennung der Schlüsselverwaltung vom Prompt-/Code-Teil und Aufnahme in sichere Speicherbereiche<
  • Einrichtung individueller Zugangsbegrenzungen sowie Budgetkontrolle für jeden Nutzer<

Modul 7 – Guardrail-Bibliotheken nutzen

Labor: Übung 06 – 06-Guardrails<

Gibt es fertige Bibliotheken für die Sicherheit von Eingabe- und Ausgabedaten oder sollte man sie selbst entwickeln?<

Inhaltliches Schwerpunkte:

  • Funktionen solcher Guardrail-Frameworks – was leisten sie tatsächlich, welche Grenzen gibt es?<
  • Guardrails für Eingabedaten: Entdeckung von Prompt-Injection-Attacken, Schutz vor Personendaten und Themengenerierung<
  • Ausgabe-Guardrails: Validierungs- und Filterprozesse, Abgleich mit geforderten Inhalten<
  • Kriterien für den Einsatz von Guardrails im Vergleich zu eigenen deterministischen Prüfungen<
  • Zusammenführung mehrerer Schutzschichten inklusive der bereits erlernten Kontrollmechanismen<
  • Analyse möglicher Performanzbeeinträchtigungen, Fehlalarmraten sowie Ausfallphänomene<

Praktische Übungen:

  • Hinzufügen einer Eingabe-/Ausgabefilterung mittels Guardrail-Technologie zu einer KI-Funktion<
  • Bewertung, welche Angreifungsmethoden dabei abgewehrt oder dennoch nicht erkannt werden<

Modul 8 – Red-Teaming für die eigene Anwendung<

Labor: Übung 07 – 07-Red-Teaming<

Stellen Sie sich vor, Angreifer hätten bereits Ihre Lösung in ihre Gewalt gebracht.

Inhaltliches Schwerpunkte:

  • Erbau eines eigenen Testrahmens bzw. einer Sammlung von Missbrauchsbeispielen<
  • Automatisierte Erzeugung und Ausführung von Prompt-Injection-Tests sowie Jailbreak-Verfahren<
  • Aufspüren von Regressionsfehlern, die durch Änderungen an Guardrails oder Richtlinien entstehen<
  • Vereinheitlichte KI-Sicherheitsprüfung direkt in der CI/CD-Pipeline<
  • Gefahren aus der Herstellerkette von Modellen und Abhängigkeiten – Verifizierung sowie festschreiben gewünschter Versionen<
  • Erarbeitung einer Checkliste zur sicheren Vorabfreigabe aller KI-Funktionen<

Praktische Übungen:<

  • Erstellen automatisierter Red-Teaming-Untersuchungsmethoden für die jeweilige KI-Anwendung<
  • Durchführung der Tests direkt in CI-Workflows<

Modul 9 – Bewertung der KI-Sicherheit: Das SAIS-100 Modell<

Kein Labor, stattdessen eine Bewertungsübung anhand des „Capstone“-Beispiels<

Ziel ist die Konvertierung aller erlernten Konzepte in ein reproduzierbares Scoring.

Inhaltliches Schwerpunkte:

  • Der „AI Security Hexagon“ – sechs spezifische Fragestellungen statt einer globalen Beurteilung nach dem Schema ‚ist sie sicher oder nicht‘<
  • Die insgesamt sechs zu prüfenden Bereiche: Daten, Prompt-Design, Agent-Funktionen, Herstellerkette, Erkennungssysteme sowie Governance<
  • Einteilung in 100 Punkte mit differenzierten Gewichtungskriterien<
  • Interpretation der erzielten Werte in Form von Güteklassen und Ausnahmeregelungen bei einzelnen Kategorien<
  • Das Elephant Scale Secure AI Score (SAIS-100) – brandeigenes, wiederverwendbares Prüfverfahren<
  • Nutzung der Punktzahl vor und nach Abschluss des Optimierungsprozesses als Leistungsindikator<

Praktische Übungen:<

  • Bewertung des „Capstone“-Modells unter Einsatz der 100-Punkte-Bewertung<
  • Festlegen der einzelnen Optimierungsschritte, die den Score am stärksten steigern können<

Schlüsselerkenntnis: Die drei höchst gewichteten Kategorien entsprechen exakt jenen Vertrauensgrenzen, über deren Verwaltung der Entwickler verfügt – mithin prüft diese Messung genau das, was im Rahmen des Kurses gelehrt wurde.

Abschlussprojekt<

Die Teilnehmenden müssen am Ende die entworfene, absichtlich anfällige KI-Anwendung vollständig sichern.

Ausgangspunkt für das Projekt:<

  • Ein manipulierbarer Prompt<
  • Unzureichende Ausgabeverarbeitung<
  • RAG-Pipeline ohne Abgrenzungen<
  • Übermäßig stark befugter Agent<
  • In den Code integrierte Schlüssel oder sensible Informationen in Prompt-Logs<
  • Nicht vorhandene Kostenkontrolle<

Umgesetzt werden müssen folgende Maßnahmen:<

  • Konstruktive Anpassung der Prompt-Struktur zur Begrenzung von Gefahrenbereichen<
  • Verifizierung sowie Kodierung der Modellausgaben<
  • Behandlung und Abgrenzung des Datenabrufs durch die RAG-Engine<
  • Einführung des Konzepts Mindestprivilegien inklusive Freigabemechanismen für den Agenten<
  • Trennung aller Schlüssel vom Code- und Prompt-Teil sowie Festlegung von Nutzerbegrenzungen hinsichtlich Kosten und Aufrufhäufigkeit<
  • Ergänzung mehrerer Guardrail-Schichten sowie Automatisierung von Red-Teaming-Untersuchungen<

Das zu liefernde Ergebnis: Eine gesicherte Anwendung inklusive kurzer Selbsteinschätzung im Hinblick auf die OWASP LLM Top 10 Risiken.

Übersicht: Labore und Module<

Die Labore werden strikt in der Reihenfolge durchgeführt, die dem Verlauf der jeweiligen Module entspricht. Insgesamt besteht der Kurs aus neun Modulen und sieben Laborübungen: Modul 1 beinhaltet lediglich einen architektonischen Überblick und Diskussion; Modul 9 bezieht sich auf das abschließende Bewertungsverfahren – beide besitzen folglich kein eigenes Lab.

  • Labor 0101-Prompt-Injection: Angriff auf den Chatbot üben und strukturelle Eindämmungsmaßnahmen erstellen (Modul 2)
  • Labor 0202-Output-Handling: Unsichere Ausgabeverarbeitung lokalisieren und beheben (Modul 3)
  • Labor 0303-RAG-Security: Manipulation einer RAG-Pipeline simulieren, anschließend Schutzmechanismen etablieren (Modul 4)
  • Labor 0404-Agent-Safety: Übermäßig befugten Agenten absichern (Modul 5)
  • Labor 0505-Secrets-and-Cost: Geheimnisse getrennt speichern und Nutzerbegrenzungen im Kostenverbrauch definieren (Modul 6)
  • Labor 0606-Guardrails: Einfügen von Filtermechanismen in die Anwendung (Modul 7)
  • Labor 0707-Red-Teaming: Automatisierte Missbrauchstests direkt in der CI-Infrastruktur aktivieren (Modul 8)

Modul 1 (Wie scheitern KI-Anwendungen?) und Modul 9 (Bewertung der Sicherheit) haben somit weder Labore noch spezifische Übungsordner.

Voraussetzungen

  • Niveau: Fortgeschritten.
  • Voraussetzungen: Erfahrung mit dem Entwickeln und Nutzen von REST-APIs, Kenntnisse einer Skriptsprache (im Kurs wird Python verwendet), Grundverständnis von Authentifizierungsmechanismen in Anwendungen, Beherrschung von Git sowie der Kommandozeile.
  • Kein vorheriges Wissen im Bereich Maschinelles Lernen erforderlich – es handelt sich um ein Training zur Anwendungssicherheit für Entwickler, die mit LLMs arbeiten und nicht sie trainieren.

Zielgruppe

  • Software- bzw. Backend-Entwickler, die LLM-basierte Funktionen implementieren
  • Fullstack- sowie API-Entwickler
  • KI-/ML-Anwendungsentwickler
  • Plattform-Ingenieure, die Kopiloten und Agenten bereitstellen
  • Fachleiter und erfahrene Entwickler mit Verantwortung für KI-Systeme
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (2)

Kommende Kurse

Verwandte Kategorien