Python, Spark und Hadoop für Big Data Schulung

Dieses von einem Trainer geleitete Live-Training in Deutschland – ebenfalls online oder vor Ort – richtet sich an Datenwissenschaftler und Ingenieure mittleren Kenntnisstands, die Google Colab sowie Apache Spark zur Verarbeitung und Analyse großer Datenmengen nutzen möchten.

Am Ende des Kurses können die Teilnehmenden:

• Eine Big-Data-Umgebung unter Verwendung von Google Colab und Spark konfigurieren.
• Riesige Datensätze mittels Apache Spark zügig verarbeiten und analysieren.
• Große Datenmengen in einer gemeinsamen Arbeitsumgebung visualisieren.
• Apache Spark erfolgreich mit cloudbasierten Werkzeugen verbinden.

Apache NiFi ist eine Open-Source-Plattform zur datenbasierten Integration und Ereignisverarbeitung. Sie ermöglicht die automatische, in Echtzeit erfolgende Weiterleitung sowie Transformation von Daten zwischen verschiedenen Systemen – alles über eine webbasierte Oberfläche mit fein abgestimmten Steuerungsmöglichkeiten.

Dieses vom Kursleiter geleitete Live-Training (vor Ort oder remote) richtet sich an Administratoren und Ingenieure mittleren Kenntnisstands, die NiFi-Workflows in Produktivumgebungen installieren, verwalten, sichern und optimieren möchten.

Am Ende des Trainings werden die Teilnehmenden in der Lage sein zu:

• Apache NiFi-Cluster zu installieren, zu konfigurieren und zu warten.
• Workflows von diversen Datenquellen und -zielen zu entwerfen sowie zu verwalten.
• Automatisierungs-, Routing- und Transformationslogik innerhalb von Datenflüssen umzusetzen.
• Die Leistung zu optimieren, den Betrieb zu überwachen sowie auftretende Probleme zu beheben.

Aufbau des Kurses

• Interaktive Vorlesungen mit Diskussionen zu realistischen Architekturen.
• Praktische Übungen: Erstellung, Bereitstellung und Verwaltung von Datenflüssen.
• Szenariobasierte Aufgaben in einer Live-Lab-Umgebung.

Möglichkeiten zur individuellen Anpassung des Kurses

• Falls Sie eine auf Ihre Bedürfnisse zugeschnittene Variante dieses Kurses wünschen, kontaktieren Sie uns bitte zur Absprache.

In diesem Training erhalten die Teilnehmer eine praxisorientierte Einführung in den Aufbau skalierbarer Datenverarbeitungs- sowie Maschinenlern-Workflows mithilfe von PySpark. Sie lernen, wie Apache Spark in modernen Big-Data-Umgebungen eingesetzt wird und wie man große Datensätze effizient unter Verwendung der Prinzipien der verteilten Rechenverarbeitung verarbeitet.

Dieses von einem Trainer geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Ingenieure, die Apache Spark zur Verarbeitung sehr großer Datenmengen einrichten und einsetzen möchten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein zu:

• Apache Spark zu installieren und zu konfigurieren.
• schnell sehr große Datensätze zu verarbeiten und auszuwerten.
• den Unterschied zwischen Apache Spark und Hadoop MapReduce zu erkennen sowie die passende Wahl zu treffen.
• Apache Spark mit anderen Tools für maschinelles Lernen zu verbinden.

Dieses praxisorientierte Training unter Anleitung eines Dozenten in Deutschland (online oder vor Ort) richtet sich an Systemadministratoren mit Grund- bis Mittelkenntnissen, die Spark-Clusters einrichten, verwalten und optimieren möchten.

Am Ende des Kurses sind die Teilnehmer in der Lage:

• Apache Spark in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Ressourcen eines Clusters zu verwalten sowie Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen umzusetzen und eine hohe Verfügbarkeit sicherzustellen.
• Häufige Probleme bei der Nutzung von Spark zu diagnostizieren und zu beheben.

Zu Beginn ist die Lernkurve bei Apache Spark zwar etwas steil – man muss viel Aufwand investieren, um erste Ergebnisse zu erzielen. Dieser Kurs soll dabei helfen, diese Hürde erfolgreich zu überwinden. Nach Abschluss des Kurses verstehen die Teilnehmer die Grundlagen von Apache Spark, können RDD von DataFrame klar unterscheiden, lernen die Python- sowie Scala-APIs kennen und erhalten ein Verständnis für Executors und Tasks.

Darüber hinaus legt der Kurs großen Wert auf bewährte Vorgehensweisen im Bereich Cloud-Deployment – insbesondere mit Databricks und AWS. Die Teilnehmenden erfahren auch, worin sich AWS EMR und AWS Glue, einer der neuesten Spark-Dienste von AWS, unterscheiden.

ZIELGRUPPE:

Daten-Ingenieure, DevOps-Fachkräfte sowie Datenwissenschaftler

In diesem praxisorientierten Training unter Anleitung erfahrener Instruktoren lernen die Teilnehmer in Deutschland, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können – dabei führen sie zahlreiche Übungen durch.

Am Ende dieses Kurses werden die Teilnehmer folgende Fähigkeiten erlangt haben:

• Sie lernen, wie man Spark in Verbindung mit Python zur Analyse von Big Data nutzt.
• Sie arbeiten an Aufgabenstellungen, die reale Szenarien aus der Praxis nachbilden.
• Sie setzen verschiedene Werkzeuge und Methoden ein, um mithilfe von PySpark Big Data zu analysieren.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI sowie Governance in einer einzigen Lösung vereint. Die Module Rocket und Intelligence ermöglichen eine schnelle Datenerkundung, -transformation sowie fortgeschrittene Analysen in unternehmensweiten Umgebungen.

Dieses von einem Trainer geleitete Live-Training – entweder online oder vor Ort – richtet sich an Datenexperten mittleren Kenntnisstands, die die Rocket- und Intelligence-Module in Stratio erfolgreich mit PySpark nutzen möchten. Im Mittelpunkt stehen dabei Schleifenstrukturen, benutzerdefinierte Funktionen sowie komplexe datenbezogene Logik.

Am Ende des Trainings werden die Teilnehmer in der Lage sein:

• Die Stratio-Plattform mitsamt den Rocket- und Intelligence-Modulen zu bedienen und effizient darin zu arbeiten.
• PySpark im Zusammenhang mit Dateneingabe, -transformation und -analyse einzusetzen.
• Schleifen sowie bedingte Ausdrücke zur Steuerung von Datenworkflows und zur Erstellung von Merkmalen zu verwenden.
• Benutzerdefinierte Funktionen (UDFs) für wiederverwendbare Datenvorgänge in PySpark zu erstellen und zu verwalten.

Ablauf des Kurses

• Interaktive Vorlesungen sowie Diskussionen.
• Zahlreiche Übungen und praktische Aufgaben.
• Praxisnahe Umsetzung in einer Live-Lab-Umgebung.

Möglichkeiten zur Kursanpassung

• Falls Sie ein maßgeschneidertes Training zu diesem Thema wünschen, kontaktieren Sie uns gerne, um die Details zu besprechen.