Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 35 Stunden
Schulungsübersicht
Einführung und Grundlagen der Diagnose
- Übersicht über Fehlerszenarien in LLM-Systemen und häufige Ollama-spezifische Probleme
- Etablierung reproduzierbarer Experimente und kontrollierter Umgebungen
- Werkzeuge zur Fehlersuche: lokale Logs, Anfrage/Antwort-Aufnahmen und Sandbox-Umgebungen
Reproduzieren und Isolieren von Fehlern
- Techniken zum Erstellen minimaler Fehlerszenarien und Seeds
- Zustandsbehaftete vs. zustandslose Interaktionen: Isolierung von kontextbezogenen Fehlern
- Determinismus, Zufälligkeit und Kontrolle nicht-deterministischen Verhaltens
Verhaltensbasierte Bewertung und Metriken
- Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexity-Proxys
- Qualitative Bewertungen: menschliche Bewertung (Human-in-the-Loop) und Design von Bewertungsrubriken
- Aufgabenbezogene Präzisionsprüfungen und Akzeptanzkriterien
Automatisiertes Testing und Regression
- Unit-Tests für Prompts und Komponenten, Szenario- und End-to-End-Tests
- Erstellung von Regressionssuiten und Baselines für Goldbeispiele
- CI/CD-Integration für Ollama-Modellupdates und automatisierte Validierungsgates
Observability und Überwachung
- Strukturierte Protokollierung, verteilte Traces und Korrelations-IDs
- Wichtige operative Metriken: Latenz, Token-Nutzung, Fehlerquoten und Qualitätssignale
- Alarmierung, Dashboards und SLIs/SLOs für modellgestützte Dienste
Erweiterte Ursachenanalyse
- Verfolgung von gemanagten Prompts, Tool-Aufrufen und Multi-Turn-Flows
- Vergleichende A/B-Diagnose und Ablationstudien
- Datenherkunft, Fehlersuche in Datensätzen und Behandlung von durch Datensätze verursachten Fehlern
Sicherheit, Robustheit und Maßnahmen zur Behebung
- Minderungsmaßnahmen: Filterung, Grounding, Retrieval-Augmentation und Prompt-Scaffolding
- Rollback-, Canary- und gestaffelte Rollout-Muster für Modellupdates
- Post-Mortems, erzielte Erkenntnisse und Schleifen zur kontinuierlichen Verbesserung
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfassende Erfahrung im Aufbau und in der Bereitstellung von LLM-Anwendungen
- Vertrautheit mit Ollama-Workflows und der Modell-Hosting-Umgebung
- Sicherer Umgang mit Python, Docker und grundlegenden Observability-Tools
Zielgruppe
- KI-Ingenieure
- MLOps-Professionals
- QA-Teams, die für Produktions-LLM-Systeme zuständig sind