Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 35 Stunden
Schulungsübersicht
Einführung und diagnostische Grundlagen
- Überblick über Fehlerzustände in LLM-Systemen und häufige Ollama-spezifische Probleme
- Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
- Debugging-Werkzeugkasten: lokale Logs, Erfassung von Anfragen/Antworten und Sandboxing
Reproduktion und Isolierung von Fehlern
- Techniken zur Erstellung minimaler Fehldemos und Seeds
- Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung kontextbezogener Bugs
- Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens
Verhaltenstests und Metriken
- Quantitative Metriken: Genauigkeit, Varianten von ROUGE/BLEU, Kalibrierung und Perplexitäts-Proxys
- Qualitative Evaluierungen: menschliche Bewertung im geschlossenen Regelkreis und Rubrik-Design
- Aufgabenbezogene Präzisionsprüfungen und Annahmekriterien
Automatisiertes Testing und Regressionsanalyse
- Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressions-Suiten und Golden-Example-Baselines
- CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates
Beobachtbarkeit und Überwachung
- Strukturiertes Logging, verteilte Traces und Korrelations-IDs
- Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerraten und Qualitätssignale
- Alerting, Dashboards und SLIs/SLOs für modellgestützte Dienste
Erweiterte Ursachenanalyse
- Nachverfolgung über graphische Prompts, Tool-Aufrufe und Multi-Turn-Flows
- Vergleichende A/B-Diagnose und Ablationsstudien
- Datenherkunft, Dataset-Debugging und Behandlung datasettbedingter Fehler
Sicherheit, Robustheit und Sanierungsstrategien
- Minderungsmaßnahmen: Filterung, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
- Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
- Post-Mortems, gelernte Lektionen und kontinuierliche Verbesserungsschleifen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Erfahrung im Aufbau und Deployment von LLM-Anwendungen
- Kenntnisse der Ollama-Workflows und des Modell-Hostings
- Sicherer Umgang mit Python, Docker und grundlegenden Beobachtungstools
Zielgruppe
- KI-Ingenieure
- ML Ops-Professionals
- QA-Teams, die für produktionsreife LLM-Systeme verantwortlich sind