Schulungsübersicht
Einführung in Apache Airflow für den Einsatz im Machine Learning
- Überblick über Apache Airflow und seine Bedeutung für die Datenwissenschaft
- Wichtige Funktionen zur Automatisierung von Machine-Learning-Workflows
- Einrichtung von Airflow für Data-Science-Projekte
Entwicklung von Machine-Learning-Pipelines mit Airflow
- Gestaltung von DAGs für vollständige ML-Workflows
- Einsatz von Operatoren zur Datenerfassung, Vorverarbeitung sowie Merkmalsextraktion
- Planung und Verwaltung der Abhängigkeiten zwischen einzelnen Pipeline-Schritten
Modelltraining und -validierung
- Automatisierung von Trainingsaufgaben mit Airflow
- Integration von Airflow mit Machine-Learning-Frameworks wie TensorFlow oder PyTorch
- Validierung der Modelle sowie Speicherung der Bewertungsergebnisse
Modellbereitstellung und -überwachung
- Bereitstellung von Machine-Learning-Modellen mithilfe automatisierter Pipelines
- Überwachung veröffentlichter Modelle durch spezielle Airflow-Tasks
- Umgang mit Neutrainingsprozessen sowie Modellaktualisierungen
Fortgeschrittene Anpassungen und Integrationen
- Erstellung individueller Operatoren für spezifische Machine-Learning-Aufgaben
- Verbindung von Airflow mit Cloud-Plattformen sowie Machine-Learning-Diensten
- Erweiterung der Workflows durch Plugins und Sensoren
Optimierung und Skalierung von Machine-Learning-Pipelines
- Steigerung der Effizienz bei Verarbeitung großer Datenmengen
- Skalierung von Airflow-Installationen mithilfe von Celery und Kubernetes
- Best Practices für produktionsreife Machine-Learning-Workflows
Fallstudien und praktische Anwendungsbeispiele
- Reale Beispiele für die Automatisierung von Machine-Learning-Prozessen mit Airflow
- Praxisübung: Erstellung einer vollständigen ML-Pipeline
- Diskussion typischer Herausforderungen bei der Verwaltung von Machine-Learning-Workflows
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundkenntnisse in Machine-Learning-Workflows sowie verwandten Konzepten
- Grundverständnis von Apache Airflow – insbesondere DAGs und Operatoren
- Sichere Programmierkenntnisse in Python
Zielgruppe
- Datenwissenschaftler
- Machine-Learning-Ingenieure
- KI-Entwickler
Erfahrungsberichte (2)
Erfahrungsaufbau im Bereich der Prompt-Wiederholung für Personen, die zuvor keine KI genutzt haben, sowie die Einführung alternativer Methoden der KI-Nutzung für bestehende Anwender.
Matthew Gay - Tarsus Pharmaceuticals
Kurs - Artificial Intelligence (AI) Overview
Maschinelle Übersetzung
Nach grundlegenden Prinzipien arbeiten und sich innerhalb desselben Tages auf die Anwendung von Fallstudien konzentrieren
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Artificial Neural Networks, Machine Learning, Deep Thinking
Maschinelle Übersetzung