Grundlagen von Apache Spark Schulung

Dieses von einem Trainer geleitete Live-Training in Deutschland – ebenfalls online oder vor Ort – richtet sich an Datenwissenschaftler und Ingenieure mittleren Kenntnisstands, die Google Colab sowie Apache Spark zur Verarbeitung und Analyse großer Datenmengen nutzen möchten.

Am Ende des Kurses können die Teilnehmenden:

• Eine Big-Data-Umgebung unter Verwendung von Google Colab und Spark konfigurieren.
• Riesige Datensätze mittels Apache Spark zügig verarbeiten und analysieren.
• Große Datenmengen in einer gemeinsamen Arbeitsumgebung visualisieren.
• Apache Spark erfolgreich mit cloudbasierten Werkzeugen verbinden.

In diesem Training erhalten die Teilnehmer eine praxisorientierte Einführung in den Aufbau skalierbarer Datenverarbeitungs- sowie Maschinenlern-Workflows mithilfe von PySpark. Sie lernen, wie Apache Spark in modernen Big-Data-Umgebungen eingesetzt wird und wie man große Datensätze effizient unter Verwendung der Prinzipien der verteilten Rechenverarbeitung verarbeitet.

Diese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Anfänger bis fortgeschrittene Systemadministratoren, die Spark-Cluster einsetzen, warten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Installieren und konfigurieren Sie Apache Spark in verschiedenen Umgebungen.
• Cluster-Ressourcen zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen zu implementieren und Hochverfügbarkeit zu gewährleisten.
• Allgemeine Spark-Probleme zu debuggen und zu beheben.

Die Lernkurve von Apache Spark steigt am Anfang langsam an, es bedarf viel Mühe, um den ersten Erfolg zu erzielen. Dieses Kursziel ist es, den ersten schwierigen Teil zu überwinden. Nachdem die Teilnehmer diesen Kurs absolviert haben, verstehen sie die Grundlagen von Apache Spark, sie können RDD und DataFrame klar voneinander abgrenzen, sie lernen die Python- und Scala-APIs, sie verstehen Executoren und Tasks usw. Auch indem es sich an beste Praktiken orientiert, konzentriert sich dieser Kurs stark auf die Cloudbereitstellung, insbesondere auf Databricks und AWS. Die Teilnehmer werden auch die Unterschiede zwischen AWS EMR und AWS Glue verstehen, einem der neuesten Spark-Dienste von AWS.

ZIELGRUPPE:

Data Engineer, DevOps, Data Scientist

In dieser von einem Trainer geleiteten Live-Schulung in Deutschland lernen die Teilnehmer anhand praktischer Übungen, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Lernen, wie man Spark mit Python verwendet, um Big Data zu analysieren.
• An Übungen arbeiten, die reale Fälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark verwenden.

Dieser von erfahrenen Dozenten geleitete Live-Kurs in Deutschland (online oder vor Ort) richtet sich an Entwickler, die Spark, Hadoop und Python nutzen wollen, um umfangreiche sowie komplexe Datensätze zu verarbeiten, zu analysieren und zu transformieren.

Nach Abschluss dieses Kurses werden die Teilnehmer in der Lage sein:

• Die erforderliche Umgebung einzurichten, um mit Spark, Hadoop und Python Big Data zu verarbeiten.
• Die Funktionen, Kernkomponenten sowie die Architektur von Spark und Hadoop zu verstehen.
• Zu erfahren, wie man Spark, Hadoop und Python miteinander kombiniert, um große Datenmengen effizient zu bearbeiten.
• Die Werkzeuge innerhalb des Spark-Ökosystems kennenzulernen (z. B. Spark MlLib, Spark Streaming, Kafka, Sqoop und Flume).
• Empfehlungssysteme basierend auf kollaborativem Filtering zu entwickeln – ähnlich wie Netflix, YouTube, Amazon, Spotify oder Google.
• Apache Mahout zur Skalierung von Algorithmen des maschinellen Lernens einzusetzen.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI sowie Governance in einer einzigen Lösung vereint. Die Module Rocket und Intelligence ermöglichen eine schnelle Datenerkundung, -transformation sowie fortgeschrittene Analysen in unternehmensweiten Umgebungen.

Dieses von einem Trainer geleitete Live-Training – entweder online oder vor Ort – richtet sich an Datenexperten mittleren Kenntnisstands, die die Rocket- und Intelligence-Module in Stratio erfolgreich mit PySpark nutzen möchten. Im Mittelpunkt stehen dabei Schleifenstrukturen, benutzerdefinierte Funktionen sowie komplexe datenbezogene Logik.

Am Ende des Trainings werden die Teilnehmer in der Lage sein:

• Die Stratio-Plattform mitsamt den Rocket- und Intelligence-Modulen zu bedienen und effizient darin zu arbeiten.
• PySpark im Zusammenhang mit Dateneingabe, -transformation und -analyse einzusetzen.
• Schleifen sowie bedingte Ausdrücke zur Steuerung von Datenworkflows und zur Erstellung von Merkmalen zu verwenden.
• Benutzerdefinierte Funktionen (UDFs) für wiederverwendbare Datenvorgänge in PySpark zu erstellen und zu verwalten.

Ablauf des Kurses

• Interaktive Vorlesungen sowie Diskussionen.
• Zahlreiche Übungen und praktische Aufgaben.
• Praxisnahe Umsetzung in einer Live-Lab-Umgebung.

Möglichkeiten zur Kursanpassung

• Falls Sie ein maßgeschneidertes Training zu diesem Thema wünschen, kontaktieren Sie uns gerne, um die Details zu besprechen.