Schulungsübersicht
Auffrischung der Grundlagen von Apache Airflow
- Kernkonzepte: DAGs, Operatoren und Ausführungsabläufe
- Architektur sowie wesentliche Komponenten von Airflow
- Einordnung komplexerer Anwendungsfälle und Workflow-Muster
Entwicklung benutzerdefinierter Operatoren
- Verständnis der Struktur eines Airflow-Operators
- Erschaffung individueller Operatoren für spezifische Aufgabenbereiche
- Testen und Fehlerbehebung bei benutzerdefinierten Operatoren
Individuelle Hooks sowie Sensoren
- Einsatz von Hooks zur Verbindung mit externen Systemen
- Erstellung von Sensoren, die externe Auslöser erkennen können
- Steigerung der Interaktivität von Workflows mittels angepasster Sensoren
Erschaffung von Airflow-Plugins
- Basiswissen über die Plugin-Architektur von Airflow
- Planung und Umsetzung von Plugins, um Funktionalitäten zu erweitern
- Richtlinien zur Verwaltung sowie zum Einsatz der entwickelten Plugins
Verknüpfung von Airflow mit externen Systemen
- Einbindung von Datenbanken, APIs sowie Cloud-Diensten in Airflow-Workflows
- Nutzung von Airflow für ETL-Prozesse und die Echtzeit-Verarbeitung von Daten
- Koordination sowie Verwaltung der Abhängigkeiten zwischen Airflow und externen Systemen
Fortschrittliche Fehleranalyse und Überwachung
- Nutzung von Airflow-Logs und Metriken zur Problemlösung
- Konfiguration von Benachrichtigungen bei Störungen im Workflowverlauf
- Einsatz externer Monitoring-Tools in Verbindung mit Airflow
Leistungsoptimierung und Skalierbarkeit
- Aufbau einer skalierbaren Airflow-Umgebung mithilfe von Celery- sowie Kubernetes-Executoren
- Ressourcenverwaltung bei komplexen Workflows optimieren
- Vorgehensweisen zur Erhöhung der Ausfallsicherheit und Stabilität des Systems
Praxisbeispiele und reale Anwendungsfälle
- Einblick in fortgeschrittene Anwendungen im Bereich Datenengineering sowie DevOps
- Fallstudie: Entwicklung eines benutzerdefinierten Operators für umfangreiche ETL-Prozesse
- Bewährte Strategien bei der Verwaltung von Workflows auf Enterprise-Ebene
Zusammenfassung und Ausblick
Voraussetzungen
- Solides Verständnis der Grundlagen von Apache Airflow – insbesondere von DAGs, Operatoren sowie der Ausführungsarchitektur
- Gute Kenntnisse in der Python-Programmierung
- Erfahrung bei der Integration von Datenystemen sowie bei der Orchestrierung von Workflows
Zielgruppe
- Daten-Ingenieure
- DevOps-Engineers
- Softwarearchitekten
Erfahrungsberichte (1)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
