Kontakt aufnehmen
 Dauer 14 Stunden

Schulungsübersicht

Vorbereitung von Machine-Learning-Modellen für den Deployment

  • Paketierung von Modellen mit Docker
  • Exportieren von Modellen aus TensorFlow und PyTorch
  • Überlegungen zur Versionierung und Speicherung

Bereitstellung von Modellen auf Kubernetes

  • Überblick über Inferenz-Server
  • Deployment von TensorFlow Serving und TorchServe
  • Einrichtung von Modell-Endpunkten

Techniken zur Optimierung der Inferenz

  • Batching-Strategien
  • Bearbeitung paralleler Anfragen
  • Optimierung von Latenz und Durchsatz

Autoscaling von ML-Workloads

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-Bereitstellung und Ressourcenmanagement

  • Konfiguration von GPU-Knoten
  • Überblick über den NVIDIA-Geräte-Plugin
  • Ressourcenanforderungen und -limits für ML-Workloads

Strategien für Modell-Rollout und Releases

  • Blue/Green-Deployments
  • Canary-Rollout-Muster
  • A/B-Testing zur Modellbewertung

Monitoring und Observability für ML in der Produktion

  • Metriken für Inferenz-Workloads
  • Praktiken für Logging und Tracing
  • Dashboards und Alarmierung

Aspekte der Sicherheit und Zuverlässigkeit

  • Sicherung von Modell-Endpunkten
  • Netzwerkrichtlinien und Zugangskontrolle
  • Gewährleistung hoher Verfügbarkeit

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Verständnis von Workflows für containerisierte Anwendungen
  • Erfahrung mit Python-basierten Machine-Learning-Modellen
  • Kenntnisse der Kubernetes-Grundlagen

Zielgruppe

  • ML-Ingenieure
  • DevOps-Ingenieure
  • Teams der Plattformtechnik

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (3)

Kommende Kurse

Verwandte Kategorien