Data-Streaming und Echtzeitdatenverarbeitung Schulung

Dieses von einem Trainer geleitete Live-Training in Deutschland – online oder vor Ort – wendet sich an erfahrene Datenfachkräfte, die ihre Datenaustauschprozesse optimieren, die Datenintegrität gewährleisten sowie robuste Data Lakehouse-Lösungen implementieren möchten, die den Anforderungen moderner Big-Data-Anwendungen gerecht werden.

Nach Abschluss dieses Trainings werden die Teilnehmenden in der Lage sein zu:

• Das Verständnis der Architektur von Apache Iceberg vertiefen, insbesondere was Metadatenverwaltung und Dateiorganisation betrifft.
• Die Konfiguration von Apache Iceberg zur Optimierung der Leistungsfähigkeit in unterschiedlichen Umgebungen vorzunehmen sowie deren Integration mit mehreren Datenverarbeitungstools zu realisieren.
• Große Apache-Iceberg-Tabellen verwalten, komplexe Schemaänderungen durchführen und Entwicklungen in der Partitionierung beherrschen.
• Methoden zur Optimierung von Abfragegeschwindigkeit sowie zur effizienten Verarbeitung umfangreicher Datenmengen anzuwenden.
• Mechanismen zur Sicherstellung der Datentreue, Implementierung transaktionaler Garantien und Umgang mit Ausfällen in verteilten Umgebungen zu nutzen.

Dieses von einem Trainer geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Datenexperten auf Einsteigerlevel, die Kenntnisse und Fähigkeiten erlangen möchten, um Apache Iceberg effektiv einzusetzen – zur Verwaltung großer Datensätze, zum Schutz der Datenintegrität sowie zur Optimierung von Datenverarbeitungsprozessen.

Am Ende des Trainings werden die Teilnehmenden in der Lage sein zu:

• Ein tiefgreifendes Verständnis der Architektur, Funktionen und Vorteile von Apache Iceberg zu erlangen.
• Sich mit Table-Formaten, Partitionierung, Schemaentwicklung sowie den Möglichkeiten des Time Travel vertraut zu machen.
• Apache Iceberg in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Iceberg-Tabellen zu erstellen, zu verwalten sowie zu bearbeiten.
• Den Prozess der Datenmigration von anderen Table-Formaten nach Apache Iceberg zu verstehen.

Dieses von einem Trainer geleitete Live-Training in Deutschland – ebenfalls online oder vor Ort – richtet sich an Datenwissenschaftler und Ingenieure mittleren Kenntnisstands, die Google Colab sowie Apache Spark zur Verarbeitung und Analyse großer Datenmengen nutzen möchten.

Am Ende des Kurses können die Teilnehmenden:

• Eine Big-Data-Umgebung unter Verwendung von Google Colab und Spark konfigurieren.
• Riesige Datensätze mittels Apache Spark zügig verarbeiten und analysieren.
• Große Datenmengen in einer gemeinsamen Arbeitsumgebung visualisieren.
• Apache Spark erfolgreich mit cloudbasierten Werkzeugen verbinden.

Diese unter der Leitung eines Dozenten stattfindende Live-Schulung (online oder vor Ort) richtet sich an Data Engineers, Data Analysts und Datenprofis, die Databricks und PySpark nutzen möchten, um skalierbare Datenpipelines aufzubauen und bestehende SQL-Workflows zu migrieren.

In diesem Training erhalten die Teilnehmer eine praxisorientierte Einführung in den Aufbau skalierbarer Datenverarbeitungs- sowie Maschinenlern-Workflows mithilfe von PySpark. Sie lernen, wie Apache Spark in modernen Big-Data-Umgebungen eingesetzt wird und wie man große Datensätze effizient unter Verwendung der Prinzipien der verteilten Rechenverarbeitung verarbeitet.

Dieser dreitägige praxisorientierte Kurs konzentriert sich auf den Aufbau und die Optimierung effizienter Datenverarbeitungs-Workloads unter Einsatz von PySpark, Pandas und Polars in Kubernetes-basierten Umgebungen.

Die Teilnehmer entwickeln ein praxisnahes Verständnis dafür, wie Spark-Anwendungen auf Kubernetes ausgeführt werden und wie konfigurationsbezogene Entscheidungen auf Anwendungsebene Leistung, Skalierbarkeit, Ressourcenverbrauch und Kosten beeinflussen. Der Kurs behandelt wichtige Optimierungsbereiche wie die Dimensionierung der Executors, die Speicherverwaltung, dynamische Allokation, Partitionierungsstrategien, Shuffle-Verhalten, das Problem der Kleindateien und die effiziente Verarbeitung von Parquet-Dateien.

Außerdem werden häufige Herausforderungen bei der Arbeit mit Pandas angesprochen, insbesondere Speicherbeschränkungen und Abstürze aufgrund von Speichermangel (Out-of-Memory-Fehler). Dabei wird Polars als hochperformante Alternative für bestimmte Datenverarbeitungs-Workloads eingeführt. In praktischen Übungen diagnostizieren die Teilnehmer Leistungs- und Speicherprobleme, vergleichen verschiedene Konfigurationsstrategien und wenden Optimierungstechniken auf realistische ETL- und Machine-Learning-Szenarien an.

Im Mittelpunkt des Kurses steht die praktische Entscheidungsfindung: Es geht darum, Engpässe zu identifizieren, das passende Werkzeug auszuwählen, Spark effizient zu konfigurieren sowie Leistung, Ressourcenverbrauch der Infrastruktur und Kosten in ein ausgewogenes Verhältnis zu bringen.

Dieses von einem Trainer geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Ingenieure, die Apache Spark zur Verarbeitung sehr großer Datenmengen einrichten und einsetzen möchten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein zu:

• Apache Spark zu installieren und zu konfigurieren.
• schnell sehr große Datensätze zu verarbeiten und auszuwerten.
• den Unterschied zwischen Apache Spark und Hadoop MapReduce zu erkennen sowie die passende Wahl zu treffen.
• Apache Spark mit anderen Tools für maschinelles Lernen zu verbinden.

Dieses vom Dozenten gelebte Live-Training in Deutschland (online oder vor Ort) richtet sich an Systemadministratoren mit Einsteiger- bis Mittelstufenniveau, die Spark-Cluster deployen, warten und optimieren möchten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Apache Spark in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Cluster-Ressourcen zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen umzusetzen und eine hohe Verfügbarkeit sicherzustellen.
• Häufige Spark-Probleme zu debuggen und zu beheben.

In diesem von einem Trainer geleiteten Live-Schulungskurs in Deutschland lernen die Teilnehmer, wie sie Python und Spark zusammen nutzen, um Big Data zu analysieren, während sie praxisnahe Übungen lösen.

Nach Abschluss dieser Schulung können die Teilnehmer:

• Spark mit Python verwenden, um Big Data zu analysieren.
• An Übungen arbeiten, die reale Anwendungsfälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse unter Verwendung von PySpark einsetzen.

Dieser von erfahrenen Dozenten geleitete Live-Kurs in Deutschland (online oder vor Ort) richtet sich an Entwickler, die Spark, Hadoop und Python nutzen wollen, um umfangreiche sowie komplexe Datensätze zu verarbeiten, zu analysieren und zu transformieren.

Nach Abschluss dieses Kurses werden die Teilnehmer in der Lage sein:

• Die erforderliche Umgebung einzurichten, um mit Spark, Hadoop und Python Big Data zu verarbeiten.
• Die Funktionen, Kernkomponenten sowie die Architektur von Spark und Hadoop zu verstehen.
• Zu erfahren, wie man Spark, Hadoop und Python miteinander kombiniert, um große Datenmengen effizient zu bearbeiten.
• Die Werkzeuge innerhalb des Spark-Ökosystems kennenzulernen (z. B. Spark MlLib, Spark Streaming, Kafka, Sqoop und Flume).
• Empfehlungssysteme basierend auf kollaborativem Filtering zu entwickeln – ähnlich wie Netflix, YouTube, Amazon, Spotify oder Google.
• Apache Mahout zur Skalierung von Algorithmen des maschinellen Lernens einzusetzen.