Kontakt aufnehmen

Schulungsübersicht

Vorbereitung von maschinellen Lernmodellen auf das Deployment

  • Packaging von Modellen mit Docker
  • Export der Modelle aus TensorFlow und PyTorch
  • Aspekte zur Versionierung sowie zum Speichern der Modelle

Bereitstellung von Modellen auf Kubernetes

  • Einblick in Inferenz-Server
  • Deployment von TensorFlow Serving und TorchServe
  • Einrichtung von Model-Endpoints

Optimierungstechniken für die Inferenz

  • Batching-Strategien
  • Verarbeitung gleichzeitiger Anfragen
  • Einstellungen zur Latenz und Durchsatzoptimierung

Automatisches Skalieren von KI-Workloads

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Bereitstellung von GPUs sowie Ressourcenmanagement

  • Konfiguration von GPU-gestützten Nodes
  • Einblick in das NVIDIA Device Plugin
  • Ressourcenanforderungen und Grenzen für ML-Workloads festlegen

Rollout- und Veröffentlichungsstrategien für Modelle

  • Blue/Green-Deployments
  • Muster für Canary-Rollouts
  • A/B-Testing zur Modellbewertung einsetzen

Überwachung und Beobachtbarkeit von KI-Modellen im Produktivbetrieb

  • Relevante Kennzahlen für Inferenz-Workloads
  • Praktiken zum Logging und Tracing
  • Einrichtung von Dashboards sowie Alarmsystemen

Aspekte zur Sicherheit und Zuverlässigkeit

  • Sicherung der Model-Endpoints
  • Netzwerkrichtlinien und Zugriffskontrolle
  • Sicherstellung einer hohen Verfügbarkeit

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Grundverständnis von Arbeitsabläufen bei containerisierten Anwendungen
  • Erfahrung mit maschinellen Lernmodellen, die in Python implementiert sind
  • Grundkenntnisse zu Kubernetes

Zielgruppe

  • ML-Entwickler
  • DevOps-Ingenieure
  • Teams für Plattformentwicklung
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (3)

Kommende Kurse

Verwandte Kategorien