Schulungsübersicht

Vorbereitung von Machine Learning Modellen für das Deployment

  • Verpacken von Modellen mit Docker
  • Exportieren von Modellen aus TensorFlow und PyTorch
  • Überlegungen zur Versionierung und Speicherung

Bereitstellung von Modellen auf Kubernetes

  • Übersicht über Inferenz-Server
  • Deployment von TensorFlow Serving und TorchServe
  • Einrichten von Modellendpunkten

Optimierungstechniken für Inferenz

  • Batching-Strategien
  • Behandlung von gleichzeitigen Anfragen
  • Latenz- und Durchsatzoptimierung

Autoscaling von ML Workloads

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU Bereitstellung und Ressourcenmanagement

  • Konfigurieren von GPU-Nodes
  • Übersicht über den NVIDIA Device Plugin
  • Ressourcenanforderungen und -limits für ML Workloads

Modell-Rollout- und Release-Strategien

  • Blue/Green Deployments
  • Canary Rollout Patterns
  • A/B-Tests für Modellbewertung

Monitoring und Observabilität von ML in der Produktion

  • Metriken für Inferenzworkloads
  • Logging- und Tracing-Praktiken
  • Dashboards und Alarmierung

Sicherheits- und Zuverlässigkeitsaspekte

  • Sichere Modellendpunkte
  • Netzwerkrichtlinien und Zugangskontrolle
  • Sicherstellung hoher Verfügbarkeit

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Verständnis von containerisierten Applikationsworkflows
  • Erfahrung mit Python-basierten Machine Learning Modellen
  • Kenntnisse der Kubernetes-Grundlagen

Zielgruppe

  • ML-Ingenieure
  • DevOps-Ingenieure
  • Plattform-Engineering-Teams
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (5)

Kommende Kurse

Verwandte Kategorien


Fatal error: Uncaught TypeError: _isl_get_excluded_site(): Return value must be of type ?array, none returned in /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc:38 Stack trace: #0 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc(30): _isl_get_excluded_site() #1 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc(17): isl_get_excluded_site() #2 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/islc7.module(51): get_outline_isls() #3 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/islc7.module(7): islc_prepare_links() #4 /apps/hitra7/npfrontend/nptemplates/default.php(272): islc7_sites_links_array_v3() #5 /apps/hitra7/npfrontend/modules/course/course.php(143): require_once('...') #6 /apps/hitra7/npfrontend/core/routes.php(15): course_menu_callback() #7 /apps/hitra7/npfrontend/__index.php(81): require_once('...') #8 /apps/hitra7/npfrontend/index.php(15): include_once('...') #9 /apps/hitra7/index.php(66): include_once('...') #10 {main} thrown in /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc on line 38