Kontakt aufnehmen

Schulungsübersicht

Einführung und Grundlagen der Diagnose

  • Überblick über typische Fehlerursachen in KI-Systemen sowie häufige Probleme speziell bei Ollama-Implementierungen
  • Einrichtung reproduzierbarer Experimente und kontrollierter Testumgebungen
  • Übersicht über gängige Debugging-Tools: lokale Protokolle, Aufzeichnungen von Anfragen/Antworten sowie Sandboxing-Methoden

Reproduktion und Isolierung von Fehlern

  • Möglichkeiten zur Erstellung kleinster Testfälle, die ein Problem widerspiegeln, sowie geeigneter Ausgangsbedingungen.
  • Zustandsabhängige versus zustandsunabhängige Interaktionen: Trennung von Kontext-bedingten Fehlern.
  • Determinismus, Zufälligkeit und Kontrolle nicht-deterministischer Verhaltensweisen.

Bewertung des Modellverhaltens und entsprechende Metriken

  • Quantitative Kennzahlen: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierungsgrad sowie Indikatoren zur „Perplexität“.
  • Qualitative Bewertungen: menschliche Evaluierung und Erstellung von Bewertungskriterien.
  • Aufgabenspezifische Gütekontrollen sowie definierte Akzeptanzkriterien.

Automatisierte Tests und Regressionsprüfungen

  • Einheitstests für Prompts und Komponenten, Szenario- sowie End-to-End-Tests.
  • Aufbau von Regressions-Testpaketen sowie Basisdaten mit verifizierten „Goldstandard“-Beispielen.
  • Integration in CI/CD-Prozesse zur kontinuierlichen Validierung nach Modellaktualisierungen.

Beobachtbarkeit und Überwachung der Modelle

  • Strukturierte Protokollierung, verteilte Verfolgung sowie Einsatz von Korrelations-IDs.
  • Wichtige operative Kennzahlen: Reaktionszeit, Token-Verbrauch, Fehlerhäufigkeit sowie Qualitätsindikatoren.
  • Alarmsysteme, Überwachungs-Dashboards sowie Festlegung von Service-Level-Zielen und -Kriterien für modellbasierte Dienste.

Fortgeschrittene Ursachenanalyse

  • Nachvollzug von Interaktionsabläufen, einschließlich komplexer Prompt-Verketten und mehrstufiger Kommunikation.
  • Vergleichende A/B-Analysen sowie Studien zur Reduktion des Modellverhaltens auf einzelne Faktoren.
  • Quellenanalyse von Trainingsdaten, Debugging fehlerhafter Datensätze sowie deren Korrekturmaßnahmen.

Sicherheit, Robustheit und Strategien zur Problembehebung

  • Geeignete Gegenmaßnahmen: Filterung, Kontextverankerung, Erweiterte Recherche-Funktionen sowie strukturierte Prompt-Designs.
  • Vorgehensweisen wie Rollback-Verfahren, Canary-Releases sowie schrittweise Modellaktualisierungen.
  • Auswertung nach auftretenden Problemen, daraus gewonnene Erkenntnisse sowie kontinuierliche Verbesserungsprozesse.

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Umfangreiche Erfahrung im Aufbau und in der Bereitstellung von Anwendungen mit großen Sprachmodellen
  • Grundsätzliches Verständnis der Arbeitsabläufe unter Ollama sowie des Modellhostings
  • Sicherheit im Umgang mit Python, Docker und gängigen Beobachtbarkeitstools

Zielgruppe

  • KI-Entwickler
  • ML-Ops-Spezialisten
  • Qualitätssicherungsteams, die für den Betrieb von Produktionssystemen mit großen Sprachmodellen zuständig sind
 35 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien