Schulungsübersicht
Überblick über die Grundlagen von Apache Airflow
- Kernkonzepte: DAGs, Aufgaben sowie Operatoren
- Architektur und Komponenten von Airflow
- Wiederholung gängiger Anwendungsfälle und Workflow-Beispiele
Optimierung der Workflow-Performance
- Ermittlung von Engpässen in Airflow-Pipelines
- Techniken zur Optimierung auf Aufgabenebene
- Nutzung von Wiederholungsmechanismen, Parallelität und Konkurrenzverarbeitung
Verwaltung komplexer Abhängigkeiten
- Definition dynamischer Abhängigkeiten in Workflows
- Bewältigung von bedingten sowie verzweigten Workflow-Strukturen
- Effiziente Verwendung von Aufgabengruppen und Unter-DAGs
Fortgeschrittene Funktionen in Apache Airflow
- Erstellung benutzerdefinierter Operatoren sowie Hooks
- Einsatz von Sensoren zur Erkennung externer Auslöser
- Integration von Drittanbieter-Diensten und Plugins
Skalierung von Apache Airflow-Implementierungen
- Möglichkeiten der horizontalen sowie vertikalen Skalierung
- Einsatz des Celery-Executors für die verteilte Ausführung
- Bewährte Praktiken für das Skalieren in Cloud-Umgebungen
Überwachung und Fehlerbehebung von Workflows
- Einrichtung von Protokollierung sowie Benachrichtigungen zur Workflow-Überwachung
- Nutzung der Airflow-Benutzeroberfläche sowie der CLI zur Problemlösung
- Identifizierung und Behebung typischer Probleme bei Airflow-Deployments
Sicherheit in Apache Airflow
- Authentifizierung sowie Zugriffssteuerung innerhalb von Airflow
- Schutz vertraulicher Daten sowie Umgebungskonfigurationen
- Einrichtung von Überwachungsprotokollen für Workflows
Unternehmensrelevante Anwendungsfälle und Best Practices
- Entwicklung robuster Workflow-Lösungen für Produktionsumgebungen
- Nutzung von Airflow bei der Datenverarbeitung sowie ETL-Prozessen
- Betrachtung realer Fallstudien zu skalierbaren Airflow-Implementierungen
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundkenntnisse in Apache Airflow
- Erfahrung mit der Python-Programmierung sowie Konzepten der Workflow-Orchestrierung
- Praxiserfahrung bei der Verwaltung und dem Deployment von Anwendungen unter Linux
Zielgruppe
- Daten-Ingenieure
- DevOps-Fachkräfte
- Softwareentwickler
Erfahrungsberichte (1)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
