Verwaltung von Apache Spark Schulung

Dieses von einem Trainer geleitete Live-Training in Deutschland – ebenfalls online oder vor Ort – richtet sich an Datenwissenschaftler und Ingenieure mittleren Kenntnisstands, die Google Colab sowie Apache Spark zur Verarbeitung und Analyse großer Datenmengen nutzen möchten.

Am Ende des Kurses können die Teilnehmenden:

• Eine Big-Data-Umgebung unter Verwendung von Google Colab und Spark konfigurieren.
• Riesige Datensätze mittels Apache Spark zügig verarbeiten und analysieren.
• Große Datenmengen in einer gemeinsamen Arbeitsumgebung visualisieren.
• Apache Spark erfolgreich mit cloudbasierten Werkzeugen verbinden.

In diesem Training erhalten die Teilnehmer eine praxisorientierte Einführung in den Aufbau skalierbarer Datenverarbeitungs- sowie Maschinenlern-Workflows mithilfe von PySpark. Sie lernen, wie Apache Spark in modernen Big-Data-Umgebungen eingesetzt wird und wie man große Datensätze effizient unter Verwendung der Prinzipien der verteilten Rechenverarbeitung verarbeitet.

Dieses von einem Trainer geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Ingenieure, die Apache Spark zur Verarbeitung sehr großer Datenmengen einrichten und einsetzen möchten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein zu:

• Apache Spark zu installieren und zu konfigurieren.
• schnell sehr große Datensätze zu verarbeiten und auszuwerten.
• den Unterschied zwischen Apache Spark und Hadoop MapReduce zu erkennen sowie die passende Wahl zu treffen.
• Apache Spark mit anderen Tools für maschinelles Lernen zu verbinden.

Zu Beginn ist die Lernkurve bei Apache Spark zwar etwas steil – man muss viel Aufwand investieren, um erste Ergebnisse zu erzielen. Dieser Kurs soll dabei helfen, diese Hürde erfolgreich zu überwinden. Nach Abschluss des Kurses verstehen die Teilnehmer die Grundlagen von Apache Spark, können RDD von DataFrame klar unterscheiden, lernen die Python- sowie Scala-APIs kennen und erhalten ein Verständnis für Executors und Tasks.

Darüber hinaus legt der Kurs großen Wert auf bewährte Vorgehensweisen im Bereich Cloud-Deployment – insbesondere mit Databricks und AWS. Die Teilnehmenden erfahren auch, worin sich AWS EMR und AWS Glue, einer der neuesten Spark-Dienste von AWS, unterscheiden.

ZIELGRUPPE:

Daten-Ingenieure, DevOps-Fachkräfte sowie Datenwissenschaftler

In diesem praxisorientierten Training unter Anleitung erfahrener Instruktoren lernen die Teilnehmer in Deutschland, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können – dabei führen sie zahlreiche Übungen durch.

Am Ende dieses Kurses werden die Teilnehmer folgende Fähigkeiten erlangt haben:

• Sie lernen, wie man Spark in Verbindung mit Python zur Analyse von Big Data nutzt.
• Sie arbeiten an Aufgabenstellungen, die reale Szenarien aus der Praxis nachbilden.
• Sie setzen verschiedene Werkzeuge und Methoden ein, um mithilfe von PySpark Big Data zu analysieren.

Dieser von erfahrenen Dozenten geleitete Live-Kurs in Deutschland (online oder vor Ort) richtet sich an Entwickler, die Spark, Hadoop und Python nutzen wollen, um umfangreiche sowie komplexe Datensätze zu verarbeiten, zu analysieren und zu transformieren.

Nach Abschluss dieses Kurses werden die Teilnehmer in der Lage sein:

• Die erforderliche Umgebung einzurichten, um mit Spark, Hadoop und Python Big Data zu verarbeiten.
• Die Funktionen, Kernkomponenten sowie die Architektur von Spark und Hadoop zu verstehen.
• Zu erfahren, wie man Spark, Hadoop und Python miteinander kombiniert, um große Datenmengen effizient zu bearbeiten.
• Die Werkzeuge innerhalb des Spark-Ökosystems kennenzulernen (z. B. Spark MlLib, Spark Streaming, Kafka, Sqoop und Flume).
• Empfehlungssysteme basierend auf kollaborativem Filtering zu entwickeln – ähnlich wie Netflix, YouTube, Amazon, Spotify oder Google.
• Apache Mahout zur Skalierung von Algorithmen des maschinellen Lernens einzusetzen.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI sowie Governance in einer einzigen Lösung vereint. Die Module Rocket und Intelligence ermöglichen eine schnelle Datenerkundung, -transformation sowie fortgeschrittene Analysen in unternehmensweiten Umgebungen.

Dieses von einem Trainer geleitete Live-Training – entweder online oder vor Ort – richtet sich an Datenexperten mittleren Kenntnisstands, die die Rocket- und Intelligence-Module in Stratio erfolgreich mit PySpark nutzen möchten. Im Mittelpunkt stehen dabei Schleifenstrukturen, benutzerdefinierte Funktionen sowie komplexe datenbezogene Logik.

Am Ende des Trainings werden die Teilnehmer in der Lage sein:

• Die Stratio-Plattform mitsamt den Rocket- und Intelligence-Modulen zu bedienen und effizient darin zu arbeiten.
• PySpark im Zusammenhang mit Dateneingabe, -transformation und -analyse einzusetzen.
• Schleifen sowie bedingte Ausdrücke zur Steuerung von Datenworkflows und zur Erstellung von Merkmalen zu verwenden.
• Benutzerdefinierte Funktionen (UDFs) für wiederverwendbare Datenvorgänge in PySpark zu erstellen und zu verwalten.

Ablauf des Kurses

• Interaktive Vorlesungen sowie Diskussionen.
• Zahlreiche Übungen und praktische Aufgaben.
• Praxisnahe Umsetzung in einer Live-Lab-Umgebung.

Möglichkeiten zur Kursanpassung

• Falls Sie ein maßgeschneidertes Training zu diesem Thema wünschen, kontaktieren Sie uns gerne, um die Details zu besprechen.