Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung und Grundlagen der Diagnose
- Überblick über typische Fehlerursachen in KI-Systemen sowie häufige Probleme speziell bei Ollama-Implementierungen
- Einrichtung reproduzierbarer Experimente und kontrollierter Testumgebungen
- Übersicht über gängige Debugging-Tools: lokale Protokolle, Aufzeichnungen von Anfragen/Antworten sowie Sandboxing-Methoden
Reproduktion und Isolierung von Fehlern
- Möglichkeiten zur Erstellung kleinster Testfälle, die ein Problem widerspiegeln, sowie geeigneter Ausgangsbedingungen.
- Zustandsabhängige versus zustandsunabhängige Interaktionen: Trennung von Kontext-bedingten Fehlern.
- Determinismus, Zufälligkeit und Kontrolle nicht-deterministischer Verhaltensweisen.
Bewertung des Modellverhaltens und entsprechende Metriken
- Quantitative Kennzahlen: Genauigkeit, ROUGE/BLEU-Varianten, Kalibrierungsgrad sowie Indikatoren zur „Perplexität“.
- Qualitative Bewertungen: menschliche Evaluierung und Erstellung von Bewertungskriterien.
- Aufgabenspezifische Gütekontrollen sowie definierte Akzeptanzkriterien.
Automatisierte Tests und Regressionsprüfungen
- Einheitstests für Prompts und Komponenten, Szenario- sowie End-to-End-Tests.
- Aufbau von Regressions-Testpaketen sowie Basisdaten mit verifizierten „Goldstandard“-Beispielen.
- Integration in CI/CD-Prozesse zur kontinuierlichen Validierung nach Modellaktualisierungen.
Beobachtbarkeit und Überwachung der Modelle
- Strukturierte Protokollierung, verteilte Verfolgung sowie Einsatz von Korrelations-IDs.
- Wichtige operative Kennzahlen: Reaktionszeit, Token-Verbrauch, Fehlerhäufigkeit sowie Qualitätsindikatoren.
- Alarmsysteme, Überwachungs-Dashboards sowie Festlegung von Service-Level-Zielen und -Kriterien für modellbasierte Dienste.
Fortgeschrittene Ursachenanalyse
- Nachvollzug von Interaktionsabläufen, einschließlich komplexer Prompt-Verketten und mehrstufiger Kommunikation.
- Vergleichende A/B-Analysen sowie Studien zur Reduktion des Modellverhaltens auf einzelne Faktoren.
- Quellenanalyse von Trainingsdaten, Debugging fehlerhafter Datensätze sowie deren Korrekturmaßnahmen.
Sicherheit, Robustheit und Strategien zur Problembehebung
- Geeignete Gegenmaßnahmen: Filterung, Kontextverankerung, Erweiterte Recherche-Funktionen sowie strukturierte Prompt-Designs.
- Vorgehensweisen wie Rollback-Verfahren, Canary-Releases sowie schrittweise Modellaktualisierungen.
- Auswertung nach auftretenden Problemen, daraus gewonnene Erkenntnisse sowie kontinuierliche Verbesserungsprozesse.
Zusammenfassung und weitere Schritte
Voraussetzungen
- Umfangreiche Erfahrung im Aufbau und in der Bereitstellung von Anwendungen mit großen Sprachmodellen
- Grundsätzliches Verständnis der Arbeitsabläufe unter Ollama sowie des Modellhostings
- Sicherheit im Umgang mit Python, Docker und gängigen Beobachtbarkeitstools
Zielgruppe
- KI-Entwickler
- ML-Ops-Spezialisten
- Qualitätssicherungsteams, die für den Betrieb von Produktionssystemen mit großen Sprachmodellen zuständig sind
35 Stunden