Schulungsübersicht
Grundlagen der hybriden KI-Bereitstellung
- Verständnis der Bereitstellungsmodelle für Hybrid-, Cloud- und Edge-Umgebungen
- Eigenschaften von KI-Workloads und Infrastrukturbeschränkungen
- Auswahl der geeigneten Bereitstellungs-Topologie
Containerisierung von KI-Workloads mit Docker
- Aufbau von Inferenz-Containern für GPU und CPU
- Verwaltung sicherer Bilder und Register
- Implementierung reproduzierbarer Umgebungen für KI
Bereitstellung von KI-Diensten in Cloud-Umgebungen
- Ausführung der Inferenz auf AWS, Azure und GCP über Docker
- Beschaffung von Cloud-Ressourcen für die Modellbereitstellung
- Sicherung cloudbasierter KI-Endpoints
Techniken für Edge- und On-Prem-Bereitstellung
- Ausführung von KI auf IoT-Geräten, Gateways und Microservern
- Leichte Laufzeitumgebungen für Edge-Umgebungen
- Verwaltung von unterbrechungsanfälliger Konnektivität und lokaler Persistenz
Hybride Vernetzung und sichere Konnektivität
- Sichere Tunnelung zwischen Edge und Cloud
- Zertifikate, Secrets und tokenbasierter Zugang
- Performance-Tuning für Inferenz mit niedriger Latenz
Orchestrierung verteilter KI-Bereitstellungen
- Einsatz von K3s, K8s oder leichtgewichtiger Orchestrierung für Hybrid-Setups
- Diensterkennung und Workload-Planung
- Automatisierung von Bereitstellungsstrategien für mehrere Standorte
Überwachung und Beobachtbarkeit über Umgebungen hinweg
- Nachverfolgung der Inferenzleistung an verschiedenen Standorten
- Zentrale Protokollierung für hybride KI-Systeme
- Fehlererkennung und automatisierte Wiederherstellung
Skalierung und Optimierung hybrider KI-Systeme
- Skalierung von Edge-Clustern und Cloud-Knoten
- Optimierung der Bandbreitennutzung und des Caching
- Ausgleich der Rechelasten zwischen Cloud und Edge
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundverständnis der Konzepte der Containerisierung
- Erfahrung mit Linux-Befehlszeilenoperationen
- Vertrautheit mit Workflows für die Bereitstellung von KI-Modellen
Zielgruppe
- Infrastrukturarchitekten
- Site Reliability Engineers (SRE)
- Entwickler für Edge- und IoT-Lösungen
Erfahrungsberichte (2)
Wie ich bereits erwähnt habe, war dies für mich (ohne Erfahrung) ein Tor zum Verständnis der Funktionen und Möglichkeiten dieser Programme und Werkzeuge.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Kurs - Docker and Kubernetes
Maschinelle Übersetzung
ein mehrstufiges, strukturiertes Kursprogramm.
Bert Paelinckx - Cube SoftwareSolutions
Kurs - Introduction to Docker
Maschinelle Übersetzung