Schulungsübersicht
Machine-Learning-Modelle auf das Deployment vorbereiten
- Verpackung von Modellen mit Docker
- Export von Modellen aus TensorFlow und PyTorch
- Überlegungen zur Versionierung und Speicherung
Inference von Modellen auf Kubernetes
- Überblick über Inference-Server
- Deployment von TensorFlow Serving und TorchServe
- Einrichtung von Modell-Endpunkten
Techniken zur Optimierung der Inference
- Batching-Strategien
- Bewältigung gleichzeitiger Anfragen
- Tuning von Latenz und Durchsatz
Auto-Scaling von ML-Arbeitslasten
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-Bereitstellung und Ressourcenmanagement
- Konfiguration von GPU-Knoten
- Überblick über NVIDIA Device Plugin
- Ressourcenanforderungen und -limits für ML-Arbeitslasten
Modell-Release und Deployment-Strategien
- Blue/Green-Deployments
- Canary-Release-Muster
- A/B-Testing zur Modellbewertung
Monitoring und Observability für ML in der Produktion
- Metriken für Inference-Arbeitslasten
- Best Practices für Logging und Tracing
- Dashboards und Alarmierung
Sicherheit und Zuverlässigkeit
- Sichern von Modell-Endpunkten
- Netzwerkrichtlinien und Zugriffskontrolle
- Sicherstellung der Hochverfügbarkeit
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegendes Verständnis für Containerized-Application-Workflows
- Erfahrung mit Python-basierten Machine-Learning-Modellen
- Vertrautheit mit den Grundlagen von Kubernetes
Zielgruppe
- ML-Ingenieure (ML Engineers)
- DevOps-Ingenieure
- Platform-Engineering-Teams
Erfahrungsberichte (4)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Das Wissen und die Austausche mit Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kurs - Docker and Kubernetes
Maschinelle Übersetzung