Schulungsübersicht
Vorbereitung von maschinellen Lernmodellen auf das Deployment
- Packaging von Modellen mit Docker
- Export der Modelle aus TensorFlow und PyTorch
- Aspekte zur Versionierung sowie zum Speichern der Modelle
Bereitstellung von Modellen auf Kubernetes
- Einblick in Inferenz-Server
- Deployment von TensorFlow Serving und TorchServe
- Einrichtung von Model-Endpoints
Optimierungstechniken für die Inferenz
- Batching-Strategien
- Verarbeitung gleichzeitiger Anfragen
- Einstellungen zur Latenz und Durchsatzoptimierung
Automatisches Skalieren von KI-Workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Bereitstellung von GPUs sowie Ressourcenmanagement
- Konfiguration von GPU-gestützten Nodes
- Einblick in das NVIDIA Device Plugin
- Ressourcenanforderungen und Grenzen für ML-Workloads festlegen
Rollout- und Veröffentlichungsstrategien für Modelle
- Blue/Green-Deployments
- Muster für Canary-Rollouts
- A/B-Testing zur Modellbewertung einsetzen
Überwachung und Beobachtbarkeit von KI-Modellen im Produktivbetrieb
- Relevante Kennzahlen für Inferenz-Workloads
- Praktiken zum Logging und Tracing
- Einrichtung von Dashboards sowie Alarmsystemen
Aspekte zur Sicherheit und Zuverlässigkeit
- Sicherung der Model-Endpoints
- Netzwerkrichtlinien und Zugriffskontrolle
- Sicherstellung einer hohen Verfügbarkeit
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundverständnis von Arbeitsabläufen bei containerisierten Anwendungen
- Erfahrung mit maschinellen Lernmodellen, die in Python implementiert sind
- Grundkenntnisse zu Kubernetes
Zielgruppe
- ML-Entwickler
- DevOps-Ingenieure
- Teams für Plattformentwicklung
Erfahrungsberichte (3)
grundlegendes Verständnis von Containern und Kubernetes sowie deren Interaktion Funktionen der OpenShift-Plattform
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maschinelle Übersetzung
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
About the microservices and how to maintenance kubernetes