Hadoop und Spark für Administratoren Schulung

Zielgruppe:

Der Kurs richtet sich an IT-Spezialisten, die nach einer Lösung suchen, um große Datensätze in einer verteilten Systemumgebung zu speichern und zu verarbeiten.

GoVoraussetzungen:

Tiefes Wissen über die Verwaltung von Hadoop-Clustern.

Dieser von einem Trainer durchgeführte Live-Kurs in Deutschland (online oder vor Ort) richtet sich an mittelcalibrige Datenwissenschaftler und Ingenieure, die Google Colab und Apache Spark für das Verarbeiten und Analysieren von Big Data einsetzen möchten.

Am Ende des Trainings werden die Teilnehmer in der Lage sein:

• Eine Big-Data-Umgebung mit Google Colab und Spark einzurichten.
• Große Datensätze effizient mit Apache Spark zu verarbeiten und zu analysieren.
• Big Data in einer kollaborativen Umgebung visualisieren.
• Apache Spark mit cloudbasierten Tools zu integrieren.

Bei der Big-Data-Analyse werden große Mengen unterschiedlicher Datensätze untersucht, um Korrelationen, verborgene Muster und andere nützliche Erkenntnisse aufzudecken.

Die Gesundheitsbranche verfügt über riesige Mengen komplexer heterogener medizinischer und klinischer Daten. Die Anwendung von Big-Data-Analysen auf Gesundheitsdaten bietet ein großes Potenzial für die Gewinnung von Erkenntnissen zur Verbesserung der Gesundheitsversorgung. Die enorme Anzahl dieser Datensätze ist jedoch eine große Herausforderung für Analysen und praktische Anwendungen in einem klinischen Umfeld.

In diesem von Lehrern geleiteten Live-Training (Remote) lernen die Teilnehmer, wie Big-Data-Analysen im Gesundheitsbereich durchgeführt werden, während sie eine Reihe von praktischen Live-Laborübungen absolvieren.

Am Ende dieser Schulung können die Teilnehmer:

• Installieren und konfigurieren Sie Big Data-Analysetools wie Hadoop MapReduce und Spark
• Verstehen Sie die Eigenschaften von medizinischen Daten
• Wenden Sie Big-Data-Techniken an, um mit medizinischen Daten umzugehen
• Studieren Sie Big-Data-Systeme und -Algorithmen im Kontext von Gesundheitsanwendungen

Publikum

• Entwickler
• Data Scientists

Format des Kurses

• Teilvorlesung, Teildiskussion, Übungen und viel praktisches Üben.

Hinweis

• Um ein individuelles Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu arrangieren.

Dieses Kurs ist für IT-Spezialisten gedacht, die nach einer Lösung suchen, um große Datenmengen in verteilten Systemumgebungen zu speichern und zu verarbeiten.

Kursziel:

Erlangung von Kenntnissen im Bereich der Hadoop Clusteradministration

In diesem von einem Dozenten geführten, live Training in Deutschland (vor Ort oder remote) lernen die Teilnehmer, verschiedene Stream-Processing-Frameworks mit bestehenden Big Data-Speichersystemen und zugehörigen Softwareanwendungen und Mikroserien zu integrieren.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• verschiedene Stream-Processing-Frameworks wie Spark Streaming und Kafka Streaming zu installieren und zu konfigurieren.
• das passendste Framework für die jeweilige Aufgabe zu verstehen und auszuwählen.
• Daten kontinuierlich, parallel und im Einzelschritt zu verarbeiten.
• Stream-Processing-Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. zu integrieren.
• die passendste Stream-Processing-Bibliothek mit Unternehmensanwendungen und Mikroserien zu integrieren.

Dieses von einem Trainer angeleitete, Live-Training in Deutschland (online oder vor Ort) richtet sich an Datenwissenschaftler, die das SMACK Stack verwenden möchten, um Datenverarbeitungsplattformen für Big Data-Lösungen zu erstellen.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Eine Datenpipeline-Architektur zur Verarbeitung von Big Data zu implementieren.
• Eine Cluster-Infrastruktur mit Apache Mesos und Docker zu entwickeln.
• Daten mit Spark und Scala zu analysieren.
• Unstrukturierte Daten mit Apache Cassandra zu verwalten.

Dieses von einem Dozenten geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Ingenieure, die Apache Spark-System zur Verarbeitung sehr großer Datenmengen einrichten und bereitstellen möchten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• Apache Spark zu installieren und zu konfigurieren.
• Sehr große Datensätze schnell zu verarbeiten und zu analysieren.
• Den Unterschied zwischen Apache Spark und Hadoop MapReduce zu verstehen und zu wissen, wann welches System verwendet werden sollte.
• Apache Spark mit anderen maschinellen Lernwerkzeugen zu integrieren.

Diese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Anfänger bis fortgeschrittene Systemadministratoren, die Spark-Cluster einsetzen, warten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Installieren und konfigurieren Sie Apache Spark in verschiedenen Umgebungen.
• Cluster-Ressourcen zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen zu implementieren und Hochverfügbarkeit zu gewährleisten.
• Allgemeine Spark-Probleme zu debuggen und zu beheben.

Die Lernkurve von Apache Spark steigt am Anfang langsam an, es bedarf viel Mühe, um den ersten Erfolg zu erzielen. Dieses Kursziel ist es, den ersten schwierigen Teil zu überwinden. Nachdem die Teilnehmer diesen Kurs absolviert haben, verstehen sie die Grundlagen von Apache Spark, sie können RDD und DataFrame klar voneinander abgrenzen, sie lernen die Python- und Scala-APIs, sie verstehen Executoren und Tasks usw. Auch indem es sich an beste Praktiken orientiert, konzentriert sich dieser Kurs stark auf die Cloudbereitstellung, insbesondere auf Databricks und AWS. Die Teilnehmer werden auch die Unterschiede zwischen AWS EMR und AWS Glue verstehen, einem der neuesten Spark-Dienste von AWS.

ZIELGRUPPE:

Data Engineer, DevOps, Data Scientist

ZIEL:

In diesem Kurs wird Apache Spark vorgestellt. Die Teilnehmer lernen, wie Spark in das Big Data-Ökosystem passt und wie man Spark zur Datenanalyse verwendet. Der Kurs behandelt die Spark Shell für interaktive Datenanalyse, die Interna von Spark, Spark APIs, Spark SQL, Spark Streaming sowie maschinelles Lernen und GraphX.

ZIELGRUPPE:

Entwickler / Datenanalysten

Diese von einem Dozenten geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Datenwissenschaftler und Entwickler, die Spark NLP, das auf Apache Spark aufbaut, zur Entwicklung, Implementierung und Skalierung von Modellen und Pipelines für die Verarbeitung natürlicher Sprache nutzen möchten.

Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:

• die notwendige Entwicklungsumgebung einzurichten, um mit dem Aufbau von NLP-Pipelines mit Spark NLP zu beginnen.
• die Funktionen, die Architektur und die Vorteile der Verwendung von Spark NLP zu verstehen.
• die in Spark NLP verfügbaren vortrainierten Modelle zur Implementierung von Textverarbeitung zu verwenden.
• Lernen Sie, wie Sie Spark NLP-Modelle für produktionsreife Projekte erstellen, trainieren und skalieren können.
• Anwendung von Klassifizierung, Inferenz und Sentiment-Analyse auf reale Anwendungsfälle (klinische Daten, Einblicke in das Kundenverhalten usw.).

In dieser von einem Trainer geleiteten Live-Schulung in Deutschland lernen die Teilnehmer anhand praktischer Übungen, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Lernen, wie man Spark mit Python verwendet, um Big Data zu analysieren.
• An Übungen arbeiten, die reale Fälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark verwenden.

Diese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Entwickler, die Spark, Hadoop und Python verwenden und integrieren möchten, um große und komplexe Datensätze zu verarbeiten, zu analysieren und zu transformieren.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• die notwendige Umgebung einzurichten, um mit der Verarbeitung von Big Data mit Spark, Hadoop und Python zu beginnen.
• die Funktionen, Kernkomponenten und Architektur von Spark und Hadoop zu verstehen.
• Lernen, wie man Spark, Hadoop und Python für die Verarbeitung von Big Data integriert.
• Erkunden Sie die Werkzeuge im Spark-Ökosystem (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka und Flume).
• Erstellen Sie Empfehlungssysteme mit kollaborativer Filterung ähnlich wie bei Netflix, YouTube, Amazon, Spotify und Google.
• Apache Mahout zur Skalierung von maschinellen Lernalgorithmen verwenden.

Spark SQL ist das Modul von Apache Spark, mit dem strukturierte und unstrukturierte Daten verarbeitet werden. Spark SQL bietet Informationen über die Struktur der Daten sowie über die durchgeführte Berechnung. Diese Informationen können zur Optimierung verwendet werden. Zwei häufige Anwendungen von Spark SQL sind:
- die Ausführung von SQL-Abfragen.
- das Lesen von Daten aus einer bestehenden Hive-Installation.

In diesem von einem Trainer geleiteten, live-Schulung (vor Ort oder Remote) lernen die Teilnehmer, verschiedene Arten von Datensätzen mit Spark SQL zu analysieren.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Spark SQL zu installieren und zu konfigurieren.
• Datenanalyse mit Spark SQL durchzuführen.
• Datensätze in verschiedenen Formaten abzufragen.
• Daten und Abfrageergebnisse zu visualisieren.

Kursformat

• Interaktive Vorlesung und Diskussion.
• Viele Übungen und Praxisübungen.
• Praktische Umsetzung in einer live-Lab-Umgebung.

Kursanpassungsoptionen

• Für eine angepasste Schulung für diesen Kurs wenden Sie sich bitte an uns, um die Anforderungen zu besprechen.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI und Governance in ein einziges Lösungsprodukt integriert. Die Module Rocket und Intelligence ermöglichen eine schnelle Datenexploration, Transformation und erweiterte Analysen in Unternehmensumgebungen.

Dieser von einem Dozenten geleitete Live-Kurs (online oder vor Ort) richtet sich an fortgeschrittene Datenprofessionals, die die Module Rocket und Intelligence effektiv mit PySpark nutzen möchten. Der Schwerpunkt liegt auf Schleifenstrukturen, benutzerdefinierten Funktionen und erweiterten Datenlogiken.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:

• In der Stratio-Plattform mithilfe der Module Rocket und Intelligence zu navigieren und zu arbeiten.
• PySpark im Kontext von Datenimport, Transformation und Analyse anzuwenden.
• Schleifen und bedingte Logiken zur Steuerung von Datenaufgaben und Merkmalsingenieurprozessen zu verwenden.
• Benutzerdefinierte Funktionen (UDFs) für wiederverwendbare Datenoperationen in PySpark zu erstellen und zu verwalten.

Format des Kurses

• Interaktive Vorlesung und Diskussion.
• Viele Übungen und Praxis.
• Hands-on-Implementierung in einer live-Lab-Umgebung.

Optionen zur Anpassung des Kurses

• Bei Interesse an einer angepassten Ausbildung für diesen Kurs, kontaktieren Sie uns bitte, um eine Anfrage zu stellen.