Schulungsübersicht
Einführung in die GPU-beschleunigte Containerisierung
- Verständnis der GPU-Nutzung in Deep-Learning-Workflows
- Wie Docker GPU-basierte Workloads unterstützt
- Wichtige Leistungsfaktoren
Installation und Konfiguration des NVIDIA Container Toolkit
- Einrichtung von Treibern und CUDA-Kompatibilität
- Validierung des GPU-Zugriffs innerhalb von Containern
- Konfiguration der Laufzeitumgebung
Erstellung von Docker-Images mit GPU-Unterstützung
- Verwendung von CUDA-Basis-Images
- Packaging von KI-Frameworks in GPU-fähigen Containern
- Verwaltung von Abhängigkeiten für Training und Inferenz
Ausführung von GPU-beschleunigten KI-Workloads
- Ausführung von Trainingjobs unter Verwendung von GPUs
- Verwaltung von Multi-GPU-Workloads
- Überwachung der GPU-Auslastung
Optimierung von Leistung und Ressourcenzuweisung
- Einschränkung und Isolation von GPU-Ressourcen
- Optimierung von Speicher, Batch-Größen und Geräteplatzierung
- Leistungsanpassung und Diagnose
Containerisierte Inferenz und Modellbereitstellung
- Erstellung von Containern, die bereit für die Inferenz sind
- Bereitstellung von Workloads mit hoher Last auf GPUs
- Integration von Modell-Laufzeitumgebungen und APIs
Skalierung von GPU-Workloads mit Docker
- Strategien für verteiltes GPU-Training
- Skalierung von Inferenz-Microservices
- Koordination von Multi-Container-KI-Systemen
Sicherheit und Zuverlässigkeit für GPU-fähige Container
- Gewährleistung eines sicheren GPU-Zugriffs in geteilten Umgebungen
- Härtung von Container-Images
- Verwaltung von Updates, Versionen und Kompatibilität
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegende Kenntnisse in den Fundamenten von Deep Learning
- Erfahrung mit Python und gängigen KI-Frameworks
- Vertrautheit mit grundlegenden Konzepten der Containerisierung
Zielgruppe
- Deep-Learning-Engineers
- Teams für Forschung und Entwicklung
- KI-Modelltrainer
Erfahrungsberichte (3)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Der Trainer hatte viel Wissen und Geduld, die er mit uns teilen konnte.
Bogdan Olaru
Kurs - Introduction to Docker
Maschinelle Übersetzung