Schulungsübersicht
Einführung in Apache Airflow
- Was ist Workflow-Orchestrierung?
- Wesentliche Merkmale und Vorteile von Apache Airflow
- Verbesserungen in Airflow 2.x sowie Übersicht über das Ökosystem
Architektur und grundlegende Konzepte
- Scheduler, Webserver sowie Worker-Prozesse
- DAGs, Aufgaben sowie Operatoren
- Unterschiedliche Executoren und Backends (Local, Celery, Kubernetes)
Installation und Einrichtung
- Airflow lokal sowie in Cloud-Umgebungen installieren
- Konfiguration von Airflow mithilfe verschiedener Executoren
- Einrichtung von Metadatenbanken sowie Verbindungen zu externen Diensten
Navigation in der Airflow-Benutzeroberfläche und CLI
- Erkundung der Web-Oberfläche von Airflow
- Überwachung von DAG-Ausführungen, Aufgaben sowie Protokollen
- Verwaltungsaufgaben mithilfe der Airflow-CLI durchführen
Erstellung und Verwaltung von DAGs
- DAGs mit der TaskFlow-API entwickeln
- Operatoren, Sensoren sowie Hooks sinnvoll einsetzen
- Abhängigkeiten verwalten sowie Planungsintervalle festlegen
Integration von Airflow mit Datenquellen und Cloud-Diensten
- Verbindungen zu Datenbanken, APIs sowie Nachrichtenwarteschlangen herstellen
- ETL-Pipelines mit Airflow realisieren
- Cloud-Integration: Einsatz von AWS-, GCP- und Azure-Operatoren
Überwachung und Nachvollziehbarkeit
- Ausführungsprotokolle sowie Echtzeitüberwachung von Aufgaben
- Erfassung relevanter Metriken mithilfe von Prometheus und Grafana
- Alarmierung sowie Benachrichtigungen per E-Mail oder Slack einrichten
Sicherheit in Apache Airflow
- Rollenbasierte Zugriffskontrolle (RBAC)
- Authentifizierung über LDAP, OAuth und SSO
- Sichere Verwaltung sensibler Daten mithilfe von Vault sowie Cloud-Secret-Stores
Skalierung von Apache Airflow
- Optimierung hinsichtlich Parallelität, Konkurrenz sowie Task-Warteschlangen
- Einsatz des CeleryExecutor und KubernetesExecutor
- Implementierung von Airflow auf Kubernetes mittels Helm
Best Practices im Produktivbetrieb
- Versionierung sowie CI/CD-Strategien für DAGs anwenden
- Testen und Debuggen von DAGs zur Qualitätssicherung
- Gewährleistung der Zuverlässigkeit sowie Performance bei großem Umfang
Fehlerbehebung und Optimierung
- Problemlösung bei fehlgeschlagenen DAGs oder Aufgaben
- Verbesserungen hinsichtlich der Gesamtleistung von DAGs erzielen
- Typische Fallstricke identifizieren und vermeiden
Zusammenfassung und nächste Schritte
Voraussetzungen
- Erfahrung mit der Programmiersprache Python
- Grundverständnis für Konzepte des Daten Engineerings oder DevOps
- Kenntnisse zu ETL-Prozessen sowie zur Orchestrierung von Workflows
Zielgruppe
- Datenwissenschaftlerinnen und -wissenschaftler
- Dateningenieure
- DevOps- sowie Infrastrukturtechniker
- Softwareentwicklerinnen und -entwickler
Erfahrungsberichte (7)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
Die Schulung war genau richtig. Sehr nützliche Theorie und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten perfekt. Nutzbringende theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Ausbildung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Schulung war in allen Aspekten perfekt. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
Die Ausbildung war in allen Aspekten hervorragend. Nützliche theoretische Inhalte und Übungen.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maschinelle Übersetzung
