Kontakt aufnehmen
 Dauer 35 Stunden

Schulungsübersicht

Einführung und diagnostische Grundlagen

  • Überblick über Fehlerzustände in LLM-Systemen und häufige Ollama-spezifische Probleme
  • Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
  • Debugging-Werkzeugkasten: lokale Logs, Erfassung von Anfragen/Antworten und Sandboxing

Reproduktion und Isolierung von Fehlern

  • Techniken zur Erstellung minimaler Fehldemos und Seeds
  • Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung kontextbezogener Bugs
  • Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens

Verhaltenstests und Metriken

  • Quantitative Metriken: Genauigkeit, Varianten von ROUGE/BLEU, Kalibrierung und Perplexitäts-Proxys
  • Qualitative Evaluierungen: menschliche Bewertung im geschlossenen Regelkreis und Rubrik-Design
  • Aufgabenbezogene Präzisionsprüfungen und Annahmekriterien

Automatisiertes Testing und Regressionsanalyse

  • Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
  • Erstellung von Regressions-Suiten und Golden-Example-Baselines
  • CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates

Beobachtbarkeit und Überwachung

  • Strukturiertes Logging, verteilte Traces und Korrelations-IDs
  • Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerraten und Qualitätssignale
  • Alerting, Dashboards und SLIs/SLOs für modellgestützte Dienste

Erweiterte Ursachenanalyse

  • Nachverfolgung über graphische Prompts, Tool-Aufrufe und Multi-Turn-Flows
  • Vergleichende A/B-Diagnose und Ablationsstudien
  • Datenherkunft, Dataset-Debugging und Behandlung datasettbedingter Fehler

Sicherheit, Robustheit und Sanierungsstrategien

  • Minderungsmaßnahmen: Filterung, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
  • Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
  • Post-Mortems, gelernte Lektionen und kontinuierliche Verbesserungsschleifen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung im Aufbau und Deployment von LLM-Anwendungen
  • Kenntnisse der Ollama-Workflows und des Modell-Hostings
  • Sicherer Umgang mit Python, Docker und grundlegenden Beobachtungstools

Zielgruppe

  • KI-Ingenieure
  • ML Ops-Professionals
  • QA-Teams, die für produktionsreife LLM-Systeme verantwortlich sind

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien