Schulungsübersicht
Einführung
Überblick über Spark Streaming Funktionen und Architektur
- Unterstützte Datenquellen
- Kern-APIs
Vorbereiten der Umgebung
- Abhängigkeiten
- Spark und Streaming-Kontext
- Verbinden mit Kafka
Verarbeitung von Meldungen
- Parsing eingehender Nachrichten als JSON
- ETL-Prozesse
- Starten des Streaming-Kontextes
Durchführen einer Fensterung Stream Processing
- Dia-Intervall
- Konfiguration der Checkpoint-Zustellung
- Starten der Umgebung
Prototyping des Verarbeitungscodes
- Verbinden mit einem Kafka-Thema
- Abrufen von JSON aus einer Datenquelle mit Paw
- Variationen und zusätzliche Verarbeitung
Streaming des Codes
- Auftragssteuerungsvariablen
- Definieren passender Werte
- Funktionen und Bedingungen
Erfassen der Streamausgabe
- Zähler
- Kafka-Ausgabe (übereinstimmend und nicht übereinstimmend)
Fehlersuche
Zusammenfassung und Schlussfolgerung
Voraussetzungen
- Erfahrungen mit Python und Apache Kafka
- Vertrautheit mit Stream-Processing-Plattformen
Publikum
- Dateningenieure
- Datenwissenschaftler
- Programmierer
Erfahrungsberichte (5)
Beispiele/Übungen, die perfekt auf unseren Bereich zugeschnitten sind
Luc - CS Group
Kurs - Scaling Data Analysis with Python and Dask
Maschinelle Übersetzung
Der Trainer war sehr hilfsbereit, um alle Fragen zu beantworten, die ich hatte.
Caterina - Stamtech
Kurs - Developing APIs with Python and FastAPI
Maschinelle Übersetzung
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Kurs - Build REST APIs with Python and Flask
Vermittlung von praktischen Kenntnissen und Erfahrungen des Ausbilders.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Kurs - GUI Programming with Python and PyQt
Maschinelle Übersetzung
As I was the only participant the training could be adapted to my needs.