Schulungsübersicht
Einleitung zum Produktionseinsatz
- Zentrale Herausforderungen beim Einsatz feinabgestimmter Modelle
- Unterschiede zwischen Entwicklungs- und Produktionsumgebungen
- Geeignete Werkzeuge und Plattformen zur Bereitstellung von Modellen
Vorbereitung der Modelle auf den Einsatz
- Exportierung der Modelle in gängige Formate (ONNX, TensorFlow SavedModel usw.)
- Optimierung der Modelle hinsichtlich Latenzzeit und Durchsatz
- Tests an Grenzsituationen sowie mit realen Daten
Containerisierung für den Einsatz von Modellen
- Einführung in Docker
- Erstellung von Docker-Images speziell für ML-Modelle
- Beste Praktiken zur Sicherheit und Effizienz von Containern
Skalierung durch Kubernetes
- Einführung in den Einsatz von Kubernetes im Bereich KI-Anwendungen
- Konfiguration von Kubernetes-Clustern zur Aufnahme von Modellen
- Ausbalancierung der Last sowie horizontale Skalierung
Überwachung und Pflege der Modelle
- Einsatz von Prometheus und Grafana zur Überwachung
- Automatisierte Protokollierung zum Nachverfolgen von Fehlern und Leistungsdaten
- Einrichtung von Pipeline-Prozessen zur regelmäßigen Neutrainierung der Modelle
Sicherstellung der Sicherheit im Produktionsumfeld
- Absicherung von APIs, die zum Abruf der Modellergebnisse dienen
- Einrichtung geeigneter Mechanismen zur Authentifizierung und Berechtigungsprüfung
- Behandlung sicherheitsrelevanter Aspekte bezüglich Datenschutz
Fallstudien und praktische Übungen
- Einsatz eines Modells zur Stimmungsanalyse
- Skalierung eines Dienstes für maschinelle Übersetzung
- Überwachung von Bildklassifizierungsmodellen in der Praxis
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundlegendes Verständnis von Arbeitsabläufen im Bereich maschinelles Lernen
- Erfahrung mit dem Feinabstimmen von ML-Modellen
- Bekanntheit mit DevOps- bzw. MLOps-Grundsätzen
Zielgruppe
- DevOps-Ingenieure
- MLOps-Fachkräfte
- Spezialisten für den Einsatz von KI-Modellen
Erfahrungsberichte (2)
Craig war extrem engagiert im Training und hat stets darauf geachtet, dass wir aufmerksam sind. Er passte die Beispiele an unsere täglichen Aktivitäten an und gab immer eine Antwort, wenn danach gefragt wurde, auch wenn die Information nicht im Präsentationsmaterial enthalten war.
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
Kurs - DevOps Foundation®
Maschinelle Übersetzung
Hoher Einsatz und Fachwissen des Trainers
Jacek - Softsystem
Kurs - DevOps Engineering Foundation (DOEF)®
Maschinelle Übersetzung