Schulungsübersicht
Grundlagen zu NiFi und Datenflüssen
- Bewegte vs. ruhende Daten: Konzepte und Herausforderungen
- Die Architektur von NiFi: Kernelemente, Flow Controller, Verfolgung sowie Protokollsystem
- Hauptkomponenten: Prozessoren, Verbindungen, Controller und die Überwachung der Datenverläufe
Kontext der Big Data-Technologien und Integration
- NiFis Rolle in Big-Data-Umgebungen (Hadoop, Kafka sowie Cloud-Speicherlösungen)
- Überblick zu HDFS, MapReduce sowie aktuellen Alternativen
- Anwendungsfälle: Stream-Erfassung, Protokollübertragung und Ereignisverarbeitungspipelines
Installation, Konfiguration sowie Einrichtung von Clustern
- Installation von NiFi sowohl in Einzelknoten- als auch Cluster-Konfigurationen
- Clustering: Zuweisung der Knotenfunktionen, Nutzung von Zookeeper sowie Lastverteilung
- Orchestrierung von NiFi-Installationen mittels Ansible, Docker oder Helm
Entwurf und Verwaltung komplexer Datenflüsse
- Routing, Filtern sowie Zusammenführen von Datenströmen
- Konfiguration der einzelnen Prozessoren (z. B. InvokeHTTP, QueryRecord, PutDatabaseRecord)
- Umgang mit Datenstrukturen, Erweiterungen sowie Transformationen
- Fehlerbehandlung, Wiederholungsmechanismen und Überlastregulierung
Integrationsthemen in der Praxis
- Anbindung an Datenbanken, Nachrichtenplattformen sowie REST-APIs
- Versorgung von Analysewerkzeugen: Kafka, Elasticsearch oder Cloud-Speicherlösungen
- Zusammenarbeit mit Monitoring-Tools wie Splunk, Prometheus oder Logging-Systemen
Überwachung, Wiederherstellung und Verfolgung der Datenverläufe
- Nutzung der Benutzeroberfläche von NiFi sowie Metriken zur Leistungsüberprüfung
- Einrichtung autonomer Wiederherstellungsszenarien und Fehlerbehandlungen
- Datensicherung, Versionierung von Workflows sowie Verwaltung der Änderungen
Leistungsoptimierungen und Performance-Tuning
- Optimierung des Java Virtual Machines, des Heap-Speichers sowie der Threadpool-Einstellungen
- Gestaltung der Workflows so, dass Flaschenhälse minimiert werden
- Isolierung von Ressourcen, Priorisierung einzelner Workflows sowie Regulierung des Datendurchsatzes
Empfehlungen zur Umsetzung sowie Verwaltungsstrategien
- Dokumentation von Workflows, einheitliche Namensgebung und modulare Strukturen
- Sicherheitsaspekte: Verschlüsselung per TLS, Authentifizierung, Zugriffssteuerung sowie Datenschutzmaßnahmen
- Veränderungskontrolle, Versionierung von Prozessen, Rollenverwaltung und lückenlose Protokollierung der Änderungen
Fehleranalyse sowie Notfallmaßnahmen
- Übliche Schwierigkeiten: Verriegelungsprobleme, Speicherverlust sowie Fehler in Prozessoren
- Auswertung von Protokollen, Diagnostik verfahrensfehlender Abläufe sowie Bestimmung der Ursachen
- Strategien zur Wiederherstellung beschädigter Workflows und Korrekturmaßnahmen
Praktische Übungen: Aufbau einer funktionierenden Datapipeline
- Gestaltung eines vollständigen Workflows: Erfassung, Transformation und Zielzuteilung der Daten
- Einrichtung von Mechanismen zur Fehlervermeidung sowie Überlaststeuerung
- Durchführung von Performancetests und anschließender Optimierung der Pipeline
Zusammenfassung und zukünftige Perspektiven
Voraussetzungen
- Erfahrung mit der Linux-Kommandozeile
- Grundverständnis von Netzwerktechnik und Datenystemen
- Vorkenntnisse zu Konzepten des Daten-Streamings oder ETL-Prozessen
Zielgruppe
- Systemadministratoren
- Dateningenieure
- Entwickler
- DevOps-Fachkräfte
Erfahrungsberichte (7)
Praktische Übungen. Die Kursdauer sollte eigentlich fünf Tage betragen, aber die drei Tage halfen dabei, viele Fragen zu klären, die ich bei der Arbeit mit NiFi bereits hatte.
James - BHG Financial
Kurs - Apache NiFi for Administrators
Maschinelle Übersetzung
Ich fand, dass der Trainer ein gutes Tempo vorgegeben hat. Er ließ keinen Studenten zurück und war sehr unterstützend für uns ANFÄNGER, die vielleicht noch nicht in ihrer Karriere eine Rolle als Systemadministrator oder Infrastrukturverantwortlicher hatten oder diese Fähigkeiten aus einer früheren Phase ihrer Karriere wiederbelebt haben.
Pamdrea Ivory - BHG Financial
Kurs - Apache NiFi for Administrators
Maschinelle Übersetzung
Ich schätze den praktischen Teil sehr. Er half mir, die Informationen besser zu verinnerlichen, indem ich die bereitgestellten Übungen durchführte. Auch die Fähigkeit des Trainers, mit der gesamten Klasse interaktiv zu arbeiten, machte mich sicher genug, Fragen zu stellen, wenn ich unsicher war.
Leila - BHG Financial
Kurs - Apache NiFi for Administrators
Maschinelle Übersetzung
Verwendungsszenarien und Beispiele für die Erstellung von NiFi-Datenflüssen. Wir haben uns mit der Behandlung häufiger Probleme und Fallstricken beschäftigt.
Nelson - BHG Financial
Kurs - Apache NiFi for Administrators
Maschinelle Übersetzung
Ich habe die Struktur geliebt. Am ersten Tag gingen wir in die Grundlagen von NiFi, Konzepte, Anwendungsfälle und so weiter ein. Am zweiten Tag konnten wir das Wissen vom ersten Tag in der Praxis anwenden, indem wir Flows erstellten, um den Anforderungen bestimmter Szenarien gerecht zu werden. Am dritten Tag schauten wir uns NiFi Registry und Versionskontrolle an, diskutierten Multitenanz und beantworteten Fragen im Q&A-Block.
Adam - BHG Financial
Kurs - Apache NiFi for Administrators
Maschinelle Übersetzung
Ich mag, wie er sich über NiFi und dessen Leistungsfähigkeit auslassen konnte. Man kann es grundsätzlich für jede Infrastruktur verwenden und viele verschiedene Programmiersprachen nutzen. Ich war auch froh, dass wir das Problem mit der Verlängerung des NiFi-Zertifikats durch den Truststore beheben konnten.
Joachim Martin - BHG Financial
Kurs - Apache NiFi for Administrators
Maschinelle Übersetzung
allgemeine Kenntnisse und die Möglichkeiten, die das Training in Bezug auf das Tool bietet.
Nalfis Tobar - BHG Financial
Kurs - Apache NiFi for Administrators
Maschinelle Übersetzung
