Schulungsübersicht

Einführung

Scala Programmieren in der Vertiefung Überprüfung

  • Syntax und Struktur
  • Flusskontrolle und Funktionen

Spark Interna

  • Widerstandsfähige verteilte Datensätze (RDD)
  • Spark-Skript zum Graphen zum Cluster

Überblick über Spark Streaming

  • Architektur des Streaming
  • Intervalle beim Streaming
  • Fehlertoleranz

Vorbereiten der Entwicklungsumgebung

  • Installieren und Konfigurieren von Apache Spark
  • Installieren und Konfigurieren der Scala IDE
  • Installieren und Konfigurieren von JDK

Spark Streaming Anfänger bis Fortgeschrittene

  • Arbeiten mit Schlüssel/Wert-RDD's
  • Filtern von RDD's
  • Verbessern von Spark-Skripten mit regulären Ausdrücken
  • Gemeinsame Nutzung von Daten in einem Cluster
  • Arbeiten mit Netzwerkdatensätzen
  • Implementieren von BFS-Algorithmen
  • Erstellen von Spark-Treiberskripten
  • Verfolgung in Echtzeit mit Skripten
  • Schreiben von kontinuierlichen Anwendungen
  • Lineare Regression durch Streaming
  • Verwendung der Spark Machine Learning-Bibliothek

Spark und Cluster

  • Bündelung von Abhängigkeiten und Spark-Skripten mit dem SBT-Tool
  • Verwendung von EMR zur Veranschaulichung von Clustern
  • Optimieren durch Partitionierung von RDD's
  • Verwendung von Spark-Protokollen

Integration in Spark Streaming

  • Integration von Apache Kafka und Arbeit mit Kafka-Themen
  • Integration von Apache Fume und Arbeit mit Pull-/Push-basierten Flume-Konfigurationen
  • Schreiben einer benutzerdefinierten Empfängerklasse
  • Integration von Cassandra und Bereitstellung von Daten als Echtzeitdienste

In Produktion

  • Paketierung einer Anwendung und deren Ausführung mit Spark-Submit
  • Fehlerbehebung, Tuning und Debugging von Spark-Aufträgen und -Clustern

Zusammenfassung und Schlussfolgerung

Voraussetzungen

  • Programming und Skripterfahrung

Publikum

  • Software-Ingenieure
  21 Stunden
 

Teilnehmerzahl


Beginnt

Endet


Die Termine sind abhängig von der Verfügbarkeit und finden zwischen 09:30 und 16:30 statt.
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.

Erfahrungsberichte (4)

Kombinierte Kurse

Verwandte Kategorien