Schulungsübersicht
Vorbereitung von Machine-Learning-Modellen für den Deployment
- Paketierung von Modellen mit Docker
- Exportieren von Modellen aus TensorFlow und PyTorch
- Überlegungen zur Versionierung und Speicherung
Bereitstellung von Modellen auf Kubernetes
- Überblick über Inferenz-Server
- Deployment von TensorFlow Serving und TorchServe
- Einrichtung von Modell-Endpunkten
Techniken zur Optimierung der Inferenz
- Batching-Strategien
- Bearbeitung paralleler Anfragen
- Optimierung von Latenz und Durchsatz
Autoscaling von ML-Workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-Bereitstellung und Ressourcenmanagement
- Konfiguration von GPU-Knoten
- Überblick über den NVIDIA-Geräte-Plugin
- Ressourcenanforderungen und -limits für ML-Workloads
Strategien für Modell-Rollout und Releases
- Blue/Green-Deployments
- Canary-Rollout-Muster
- A/B-Testing zur Modellbewertung
Monitoring und Observability für ML in der Produktion
- Metriken für Inferenz-Workloads
- Praktiken für Logging und Tracing
- Dashboards und Alarmierung
Aspekte der Sicherheit und Zuverlässigkeit
- Sicherung von Modell-Endpunkten
- Netzwerkrichtlinien und Zugangskontrolle
- Gewährleistung hoher Verfügbarkeit
Zusammenfassung und nächste Schritte
Voraussetzungen
- Verständnis von Workflows für containerisierte Anwendungen
- Erfahrung mit Python-basierten Machine-Learning-Modellen
- Kenntnisse der Kubernetes-Grundlagen
Zielgruppe
- ML-Ingenieure
- DevOps-Ingenieure
- Teams der Plattformtechnik
Erfahrungsberichte (3)
grundlegendes Verständnis von Containern und Kubernetes sowie deren Interaktion Funktionen der OpenShift-Plattform
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maschinelle Übersetzung
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
About the microservices and how to maintenance kubernetes