Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung und diagnostische Grundlagen
- Übersicht über Ausfallmodi in LLM-Systemen und häufige Ollama-spezifische Probleme
- Erstellung reproduzierbarer Experimente und kontrollierter Umgebungen
- Fehlerbehebungsinstrumentarium: lokale Protokolle, Anfrage/Antwort-Aufzeichnungen und Sandboxen
Reproduzieren und Isolieren von Fehlern
- Techniken zur Erstellung minimaler fehlerhafter Beispiele und Keimzellen
- Zustandsbezogene vs. zustandslose Interaktionen: Isolierung kontextabhängiger Fehler
- Determinismus, Zufälligkeit und Kontrolle nichtdeterministischen Verhaltens
Verhaltensevaluation und Metriken
- Quantitative Metriken: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierung und Perplexity-Proxy
- Kognitive Evaluierungen: menschengesteuerte Bewertung und Rubrikdesign
- Aufgabenbezogene Fidelizeitprüfungen und Annahmekriterien
Automatisierte Tests und Regressionen
- Unit-Tests für Anforderungen und Komponenten, Szenariotests und End-to-End-Tests
- Erstellung von Regressionspaketen und Baselines mit Referenzbeispielen
- CI/CD-Integration für Ollama-Modellaktualisierungen und automatisierte Validierungsgatter
Beobachtbarkeit und Überwachung
- Gestrukturiertes Protokollieren, verteilte Spuren und Korrelations-IDs
- Kritische operativen Metriken: Latenz, Token-Nutzung, Fehlerhäufigkeiten und Qualitätsindikatoren
- Warnmeldungen, Dashboards und SLIs/SLOs für modellbasierte Dienste
Erweiterte Ursachenanalyse
- Aufzeichnen durch grafische Anforderungen, Werkzeugaufrufe und multi-turn Flows
- Vergleichende A/B-Diagnose und Ablationsstudien
- Datenherkunft, Datensatzdebugging und Lösung von datenzusammenhangbedingten Ausfällen
Sicherheit, Robustheit und Sanierungskonzepte
- Mitigationen: Filtern, Verankerung, Abrufverbesserungen und Anforderungsunterstützung
- Rücksicherung, Kanarien und phasenweise Rollout-Muster für Modellaktualisierungen
- Post-mortems, ausgedehnte Lektionen und kontinuierliche Verbesserungsschleifen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Erfahrung im Erstellen und Bereitstellen von LLM-Anwendungen
- Bekanntschaft mit Ollama-Workflows und Modell.Hosting
- Kenntnisse in Python, Docker und grundlegendem Observability-Tooling
Zielpublikum
- AI-Ingenieure
- ML Ops Fachkräfte
- QA-Teams, die für ProduktionsLLM-Systeme verantwortlich sind
35 Stunden