Kontakt aufnehmen
 Dauer 35 Stunden

Schulungsübersicht

Einführung und Grundlagen der Diagnose

  • Übersicht über Fehlerszenarien in LLM-Systemen und häufige Ollama-spezifische Probleme
  • Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
  • Werkzeuge zur Fehlersuche: lokale Logs, Anfrage/Antwort-Aufnahmen und Sandbox-Umgebungen

Reproduzieren und Isolieren von Fehlern

  • Techniken zum Erstellen minimaler Fehlerszenarien und Seeds
  • Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung von kontextbezogenen Fehlern
  • Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens

Verhaltensbasierte Bewertung und Metriken

  • Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexity-Proxys
  • Qualitative Bewertungen: menschliche Bewertung (Human-in-the-Loop) und Design von Bewertungsrubriken
  • Aufgabenbezogene Präzisionsprüfungen und Akzeptanzkriterien

Automatisiertes Testing und Regression

  • Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
  • Erstellung von Regressionssuiten und Baselines für Goldbeispiele
  • CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates

Observability und Überwachung

  • Strukturierte Protokollierung, verteilte Traces und Korrelations-IDs
  • Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerquoten und Qualitätssignale
  • Alarmierung, Dashboards und SLIs/SLOs für modellgestützte Dienste

Erweiterte Ursachenanalyse

  • Verfolgung von gemanagten Prompts, Tool-Aufrufen und Multi-Turn-Flows
  • Vergleichende A/B-Diagnose und Ablationstudien
  • Datenherkunft, Fehlersuche in Datensätzen und Behandlung von durch Datensätze verursachten Fehlern

Sicherheit, Robustheit und Maßnahmen zur Behebung

  • Minderungsmaßnahmen: Filterung, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
  • Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
  • Post-Mortems, erzielte Erkenntnisse und Schleifen zur kontinuierlichen Verbesserung

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Umfassende Erfahrung im Aufbau und in der Bereitstellung von LLM-Anwendungen
  • Vertrautheit mit Ollama-Workflows und der Modell-Hosting-Umgebung
  • Sicherer Umgang mit Python, Docker und grundlegenden Observability-Tools

Zielgruppe

  • KI-Ingenieure
  • MLOps-Professionals
  • QA-Teams, die für Produktions-LLM-Systeme zuständig sind

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien