Kontakt aufnehmen

Schulungsübersicht

Grundlagen des Debuggings und der Bewertung mit Mastra

  • Verständnis von Modellen für das Agentenverhalten sowie potenziellen Fehlerquellen
  • Kernprinzipien des Debuggens innerhalb von Mastra
  • Bewertung deterministischer und nicht-deterministischer Agentenaktionen

Einrichtung geeigneter Testumgebungen für KI-Agenten

  • Konfiguration von Test-Sandboxes sowie isolierten Evaluationsumgebungen
  • Erfassung von Logs, Traces und Telemetriedaten zur detaillierten Analyse
  • Vorbereitung von Datensätzen und Prompts für strukturierte Tests

Debugging des Verhaltens von KI-Agenten

  • Nachverfolgung von Entscheidungswegen sowie interner logischer Abläufe der Agenten
  • Identifikation von Halluzinationen, Fehlern und unbeabsichtigten Verhaltensweisen
  • Nutzung von Observability-Dashboards zur Ursachenforschung

Bewertungskennzahlen sowie Benchmark-Frameworks

  • Festlegung quantitativer und qualitativer Bewertungskriterien
  • Messung von Genauigkeit, Konsistenz sowie Einhaltung kontextbezogener Anforderungen
  • Einsatz repräsentativer Testdatensätze zur wiederholbaren Bewertung

Zuverlässigkeitsmanagement für KI-Agenten

  • Entwicklung zuverlässiger Testverfahren für langfristig laufende Agenten
  • Erkennung von Veränderungen im Verhalten sowie Abnahmen in der Leistungsfähigkeit der Agenten
  • Implementierung von Schutzmechanismen für kritische Workflows

Qualitätssicherungsprozesse und Automatisierung

  • Erstellung von QA-Pipelines zur kontinuierlichen Bewertung der Agentenleistung
  • Automatisierung von Regressions-Tests bei Aktualisierungen der Agentenmodelle
  • Integration von Qualitätssicherungsprozessen in CI/CD sowie Unternehmensworkflows

Fortgeschrittene Methoden zur Reduzierung von Halluzinationen

  • Gezielte Prompting-Strategien, um unerwünschte Ausgaben zu vermeiden
  • Implementierung von Validierungszyklen sowie Selbstüberprüfungsmechanismen
  • Experimente mit Kombinationen verschiedener Modelle zur Steigerung der Zuverlässigkeit

Berichterstattung, Überwachung und kontinuierliche Verbesserung

  • Erstellung aussagekräftiger QA-Berichte sowie Leistungsbewertungen der Agenten
  • Langfristige Beobachtung des Verhaltens der Agenten und Fehlermuster-Erkennung
  • Kontinuierliche Anpassung der Bewertungsmethodik entsprechend sich entwickelnder Systeme

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Grundkenntnisse über das Verhalten von KI-Agenten und die Interaktionen zwischen Modellen
  • Erfahrung mit dem Debugging oder Testen komplexer Software-Systeme
  • Vertrautheit mit Observability- oder Logging-Tools

Zielgruppe

  • Qualitätssicherungs-Ingenieure
  • Ingenieure für die Zuverlässigkeit von KI-Systemen
  • Entwickler, die für die Qualität und Leistung der Agenten verantwortlich sind
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien