Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Grundlagen des Debuggings und der Bewertung mit Mastra
- Verständnis von Modellen für das Agentenverhalten sowie potenziellen Fehlerquellen
- Kernprinzipien des Debuggens innerhalb von Mastra
- Bewertung deterministischer und nicht-deterministischer Agentenaktionen
Einrichtung geeigneter Testumgebungen für KI-Agenten
- Konfiguration von Test-Sandboxes sowie isolierten Evaluationsumgebungen
- Erfassung von Logs, Traces und Telemetriedaten zur detaillierten Analyse
- Vorbereitung von Datensätzen und Prompts für strukturierte Tests
Debugging des Verhaltens von KI-Agenten
- Nachverfolgung von Entscheidungswegen sowie interner logischer Abläufe der Agenten
- Identifikation von Halluzinationen, Fehlern und unbeabsichtigten Verhaltensweisen
- Nutzung von Observability-Dashboards zur Ursachenforschung
Bewertungskennzahlen sowie Benchmark-Frameworks
- Festlegung quantitativer und qualitativer Bewertungskriterien
- Messung von Genauigkeit, Konsistenz sowie Einhaltung kontextbezogener Anforderungen
- Einsatz repräsentativer Testdatensätze zur wiederholbaren Bewertung
Zuverlässigkeitsmanagement für KI-Agenten
- Entwicklung zuverlässiger Testverfahren für langfristig laufende Agenten
- Erkennung von Veränderungen im Verhalten sowie Abnahmen in der Leistungsfähigkeit der Agenten
- Implementierung von Schutzmechanismen für kritische Workflows
Qualitätssicherungsprozesse und Automatisierung
- Erstellung von QA-Pipelines zur kontinuierlichen Bewertung der Agentenleistung
- Automatisierung von Regressions-Tests bei Aktualisierungen der Agentenmodelle
- Integration von Qualitätssicherungsprozessen in CI/CD sowie Unternehmensworkflows
Fortgeschrittene Methoden zur Reduzierung von Halluzinationen
- Gezielte Prompting-Strategien, um unerwünschte Ausgaben zu vermeiden
- Implementierung von Validierungszyklen sowie Selbstüberprüfungsmechanismen
- Experimente mit Kombinationen verschiedener Modelle zur Steigerung der Zuverlässigkeit
Berichterstattung, Überwachung und kontinuierliche Verbesserung
- Erstellung aussagekräftiger QA-Berichte sowie Leistungsbewertungen der Agenten
- Langfristige Beobachtung des Verhaltens der Agenten und Fehlermuster-Erkennung
- Kontinuierliche Anpassung der Bewertungsmethodik entsprechend sich entwickelnder Systeme
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundkenntnisse über das Verhalten von KI-Agenten und die Interaktionen zwischen Modellen
- Erfahrung mit dem Debugging oder Testen komplexer Software-Systeme
- Vertrautheit mit Observability- oder Logging-Tools
Zielgruppe
- Qualitätssicherungs-Ingenieure
- Ingenieure für die Zuverlässigkeit von KI-Systemen
- Entwickler, die für die Qualität und Leistung der Agenten verantwortlich sind
21 Stunden