Data-Warehousing: Konzepte, Design und Implementierung Schulung

Dieses von einem Trainer geleitete Live-Training in Deutschland – online oder vor Ort – wendet sich an erfahrene Datenfachkräfte, die ihre Datenaustauschprozesse optimieren, die Datenintegrität gewährleisten sowie robuste Data Lakehouse-Lösungen implementieren möchten, die den Anforderungen moderner Big-Data-Anwendungen gerecht werden.

Nach Abschluss dieses Trainings werden die Teilnehmenden in der Lage sein zu:

• Das Verständnis der Architektur von Apache Iceberg vertiefen, insbesondere was Metadatenverwaltung und Dateiorganisation betrifft.
• Die Konfiguration von Apache Iceberg zur Optimierung der Leistungsfähigkeit in unterschiedlichen Umgebungen vorzunehmen sowie deren Integration mit mehreren Datenverarbeitungstools zu realisieren.
• Große Apache-Iceberg-Tabellen verwalten, komplexe Schemaänderungen durchführen und Entwicklungen in der Partitionierung beherrschen.
• Methoden zur Optimierung von Abfragegeschwindigkeit sowie zur effizienten Verarbeitung umfangreicher Datenmengen anzuwenden.
• Mechanismen zur Sicherstellung der Datentreue, Implementierung transaktionaler Garantien und Umgang mit Ausfällen in verteilten Umgebungen zu nutzen.

Dieses von einem Trainer geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Datenexperten auf Einsteigerlevel, die Kenntnisse und Fähigkeiten erlangen möchten, um Apache Iceberg effektiv einzusetzen – zur Verwaltung großer Datensätze, zum Schutz der Datenintegrität sowie zur Optimierung von Datenverarbeitungsprozessen.

Am Ende des Trainings werden die Teilnehmenden in der Lage sein zu:

• Ein tiefgreifendes Verständnis der Architektur, Funktionen und Vorteile von Apache Iceberg zu erlangen.
• Sich mit Table-Formaten, Partitionierung, Schemaentwicklung sowie den Möglichkeiten des Time Travel vertraut zu machen.
• Apache Iceberg in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Iceberg-Tabellen zu erstellen, zu verwalten sowie zu bearbeiten.
• Den Prozess der Datenmigration von anderen Table-Formaten nach Apache Iceberg zu verstehen.

Dieses von einem Trainer geleitete Live-Training in Deutschland – ebenfalls online oder vor Ort – richtet sich an Datenwissenschaftler und Ingenieure mittleren Kenntnisstands, die Google Colab sowie Apache Spark zur Verarbeitung und Analyse großer Datenmengen nutzen möchten.

Am Ende des Kurses können die Teilnehmenden:

• Eine Big-Data-Umgebung unter Verwendung von Google Colab und Spark konfigurieren.
• Riesige Datensätze mittels Apache Spark zügig verarbeiten und analysieren.
• Große Datenmengen in einer gemeinsamen Arbeitsumgebung visualisieren.
• Apache Spark erfolgreich mit cloudbasierten Werkzeugen verbinden.

Fortschritte in der Technologie sowie die ständig wachsende Datenmenge verändern die Geschäftspraktiken in vielen Branchen – auch im öffentlichen Sektor. Durch den rasanten Ausbau mobiler Geräte, Anwendungen, intelligenter Sensoren, Cloud-Lösungen und Bürger-Portale steigt die Erzeugung sowie digitale Archivierung von Regierungsdaten kontinuierlich an. Mit der zunehmenden Komplexität digitaler Informationen wachsen auch die Herausforderungen in Bezug auf Informationsverwaltung, Verarbeitung, Speicherung, Sicherheit und Handhabung. Neue Tools zur Erfassung, Suche, Identifikation und Analyse helfen Organisationen dabei, aus unstrukturierten Daten wertvolle Einblicke zu gewinnen. Der Regierungssektor befindet sich am Wendepunkt: Man erkennt zunehmend, dass Informationen ein strategischer Vermögenswert sind, den es zu schützen, gezielt zu nutzen und auszuwerten gilt – sowohl strukturierte als auch unstrukturierte Daten – um die gesetzten Ziele effektiv zu erreichen. Um datengestützte Organisationen aufzubauen, arbeiten Führungskräfte an der Abbildung von Abhängigkeiten zwischen Ereignissen, Personen, Prozessen und Informationen.

Hocheffiziente Regierungslösungen entstehen durch die Kombination innovativer Technologien:

• Mobile Geräte und Anwendungen
• Cloud-Dienste
• Soziale Geschäfts-Technologien sowie Netzwerke
• Big Data und Analysewerkzeuge

Big Data zählt zu den intelligenten Branchenlösungen – sie ermöglicht Regierungsbehörden datengestützte Entscheidungen, indem aus umfangreichen Datenmengen – strukturierten und unstrukturierten – Muster identifiziert werden.

Doch der Erfolg hängt nicht allein vom bloßen Sammeln massiver Datenvolumina ab. „Um diese Datenmengen sinnvoll auszuwerten, bedarf es hochentwickelter Tools und Technologien, die in der Lage sind, nützliches Wissen aus äußerst diversen Informationsströmen zu extrahieren“, schrieben Tom Kalil und Fen Zhao vom Office of Science and Technology Policy des Weißen Hauses in einem Blogbeitrag.

Als Schritt zur Unterstützung der Behörden bei der Auswahl geeigneter Technologien initiierte das Weiße Haus 2012 die National Big Data Research and Development Initiative, zu deren Mitteln mehr als 200 Millionen US-Dollar bereitgestellt wurden.

Die Herausforderungen im Umgang mit Big Data sind ebenso groß wie die damit verbundenen Chancen. Eine zentrale Aufgabe ist beispielsweise eine effiziente Datenspeicherung. Angesichts begrenzter Budgets müssen Behörden dabei den Speicherkosten pro Megabyte senken und gewährleisten, dass Daten jederzeit schnell verfügbar sind. Das regelmäßige Sichern riesiger Datenmengen erhöht diese Schwierigkeit noch weiter.

Ebenso komplex ist die effiziente Analyse solcher Daten. Viele Behörden setzen daher kommerzielle Werkzeuge ein, um aus riesigen Datensätzen aussagekräftige Trends zu erkennen und Prozesse zu optimieren. Eine Studie von MeriTalk zeigt: Bundes-IT-Verantwortliche glauben, dass Big Data den Regierungsbehörden dabei helfen könnte, mehr als 500 Milliarden US-Dollar einzusparen und gleichzeitig ihre Ziele zu erreichen.

Ebenso sind eigens entwickelte Big-Data-Werkzeuge hilfreich. So stellt beispielsweise die Computational Data Analytics Group am Oak Ridge National Laboratory ihr Analysesystem Piranha anderen Behörden zur Verfügung – es unterstützt Ärzte dabei, frühzeitig auf Gefahren durch Aortenaneurysmen zu achten. Gleichzeitig wird es für alltägliche Aufgaben genutzt, etwa um Lebensläufe mit passenden Stellenverantwortlichen zu verknüpfen.

Teilnehmer, die an dieser von einem Instruktor geleiteten Live-Schulung in Deutschland teilnehmen, erlangen ein praxisnahes Verständnis von Big Data sowie den zugehörigen Technologien, Methoden und Werkzeugen.

Sie haben außerdem die Möglichkeit, dieses Wissen anhand praktischer Übungen in die Tat umzusetzen. Der Austausch in der Gruppe sowie das Feedback des Instruktors sind wesentliche Bestandteile des Kurses.

Der Kurs beginnt mit einer Einführung in grundlegende Konzepte von Big Data und führt anschließend zu den Programmiersprachen sowie Methoden, die bei der Datenanalyse eingesetzt werden. Zum Abschluss behandeln wir die Werkzeuge und Infrastrukturen, welche für das Speichern, verteilte Verarbeitung sowie die Skalierbarkeit von Big Data erforderlich sind.

Diese unter der Leitung eines Dozenten stattfindende Live-Schulung (online oder vor Ort) richtet sich an Data Engineers, Data Analysts und Datenprofis, die Databricks und PySpark nutzen möchten, um skalierbare Datenpipelines aufzubauen und bestehende SQL-Workflows zu migrieren.

Apache NiFi ist eine Open-Source-Plattform zur datenbasierten Integration und Ereignisverarbeitung. Sie ermöglicht die automatische, in Echtzeit erfolgende Weiterleitung sowie Transformation von Daten zwischen verschiedenen Systemen – alles über eine webbasierte Oberfläche mit fein abgestimmten Steuerungsmöglichkeiten.

Dieses vom Kursleiter geleitete Live-Training (vor Ort oder remote) richtet sich an Administratoren und Ingenieure mittleren Kenntnisstands, die NiFi-Workflows in Produktivumgebungen installieren, verwalten, sichern und optimieren möchten.

Am Ende des Trainings werden die Teilnehmenden in der Lage sein zu:

• Apache NiFi-Cluster zu installieren, zu konfigurieren und zu warten.
• Workflows von diversen Datenquellen und -zielen zu entwerfen sowie zu verwalten.
• Automatisierungs-, Routing- und Transformationslogik innerhalb von Datenflüssen umzusetzen.
• Die Leistung zu optimieren, den Betrieb zu überwachen sowie auftretende Probleme zu beheben.

Aufbau des Kurses

• Interaktive Vorlesungen mit Diskussionen zu realistischen Architekturen.
• Praktische Übungen: Erstellung, Bereitstellung und Verwaltung von Datenflüssen.
• Szenariobasierte Aufgaben in einer Live-Lab-Umgebung.

Möglichkeiten zur individuellen Anpassung des Kurses

• Falls Sie eine auf Ihre Bedürfnisse zugeschnittene Variante dieses Kurses wünschen, kontaktieren Sie uns bitte zur Absprache.

In diesem Training erhalten die Teilnehmer eine praxisorientierte Einführung in den Aufbau skalierbarer Datenverarbeitungs- sowie Maschinenlern-Workflows mithilfe von PySpark. Sie lernen, wie Apache Spark in modernen Big-Data-Umgebungen eingesetzt wird und wie man große Datensätze effizient unter Verwendung der Prinzipien der verteilten Rechenverarbeitung verarbeitet.

Dieses von einem Trainer geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Ingenieure, die Apache Spark zur Verarbeitung sehr großer Datenmengen einrichten und einsetzen möchten.

Am Ende dieses Trainings werden die Teilnehmer in der Lage sein zu:

• Apache Spark zu installieren und zu konfigurieren.
• schnell sehr große Datensätze zu verarbeiten und auszuwerten.
• den Unterschied zwischen Apache Spark und Hadoop MapReduce zu erkennen sowie die passende Wahl zu treffen.
• Apache Spark mit anderen Tools für maschinelles Lernen zu verbinden.

Dieses praxisorientierte Training unter Anleitung eines Dozenten in Deutschland (online oder vor Ort) richtet sich an Systemadministratoren mit Grund- bis Mittelkenntnissen, die Spark-Clusters einrichten, verwalten und optimieren möchten.

Am Ende des Kurses sind die Teilnehmer in der Lage:

• Apache Spark in verschiedenen Umgebungen zu installieren und zu konfigurieren.
• Ressourcen eines Clusters zu verwalten sowie Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen umzusetzen und eine hohe Verfügbarkeit sicherzustellen.
• Häufige Probleme bei der Nutzung von Spark zu diagnostizieren und zu beheben.

Zu Beginn ist die Lernkurve bei Apache Spark zwar etwas steil – man muss viel Aufwand investieren, um erste Ergebnisse zu erzielen. Dieser Kurs soll dabei helfen, diese Hürde erfolgreich zu überwinden. Nach Abschluss des Kurses verstehen die Teilnehmer die Grundlagen von Apache Spark, können RDD von DataFrame klar unterscheiden, lernen die Python- sowie Scala-APIs kennen und erhalten ein Verständnis für Executors und Tasks.

Darüber hinaus legt der Kurs großen Wert auf bewährte Vorgehensweisen im Bereich Cloud-Deployment – insbesondere mit Databricks und AWS. Die Teilnehmenden erfahren auch, worin sich AWS EMR und AWS Glue, einer der neuesten Spark-Dienste von AWS, unterscheiden.

ZIELGRUPPE:

Daten-Ingenieure, DevOps-Fachkräfte sowie Datenwissenschaftler

In diesem praxisorientierten Training unter Anleitung erfahrener Instruktoren lernen die Teilnehmer in Deutschland, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können – dabei führen sie zahlreiche Übungen durch.

Am Ende dieses Kurses werden die Teilnehmer folgende Fähigkeiten erlangt haben:

• Sie lernen, wie man Spark in Verbindung mit Python zur Analyse von Big Data nutzt.
• Sie arbeiten an Aufgabenstellungen, die reale Szenarien aus der Praxis nachbilden.
• Sie setzen verschiedene Werkzeuge und Methoden ein, um mithilfe von PySpark Big Data zu analysieren.

Dieser von erfahrenen Dozenten geleitete Live-Kurs in Deutschland (online oder vor Ort) richtet sich an Entwickler, die Spark, Hadoop und Python nutzen wollen, um umfangreiche sowie komplexe Datensätze zu verarbeiten, zu analysieren und zu transformieren.

Nach Abschluss dieses Kurses werden die Teilnehmer in der Lage sein:

• Die erforderliche Umgebung einzurichten, um mit Spark, Hadoop und Python Big Data zu verarbeiten.
• Die Funktionen, Kernkomponenten sowie die Architektur von Spark und Hadoop zu verstehen.
• Zu erfahren, wie man Spark, Hadoop und Python miteinander kombiniert, um große Datenmengen effizient zu bearbeiten.
• Die Werkzeuge innerhalb des Spark-Ökosystems kennenzulernen (z. B. Spark MlLib, Spark Streaming, Kafka, Sqoop und Flume).
• Empfehlungssysteme basierend auf kollaborativem Filtering zu entwickeln – ähnlich wie Netflix, YouTube, Amazon, Spotify oder Google.
• Apache Mahout zur Skalierung von Algorithmen des maschinellen Lernens einzusetzen.

Stratio ist eine datenzentrierte Plattform, die Big Data, KI sowie Governance in einer einzigen Lösung vereint. Die Module Rocket und Intelligence ermöglichen eine schnelle Datenerkundung, -transformation sowie fortgeschrittene Analysen in unternehmensweiten Umgebungen.

Dieses von einem Trainer geleitete Live-Training – entweder online oder vor Ort – richtet sich an Datenexperten mittleren Kenntnisstands, die die Rocket- und Intelligence-Module in Stratio erfolgreich mit PySpark nutzen möchten. Im Mittelpunkt stehen dabei Schleifenstrukturen, benutzerdefinierte Funktionen sowie komplexe datenbezogene Logik.

Am Ende des Trainings werden die Teilnehmer in der Lage sein:

• Die Stratio-Plattform mitsamt den Rocket- und Intelligence-Modulen zu bedienen und effizient darin zu arbeiten.
• PySpark im Zusammenhang mit Dateneingabe, -transformation und -analyse einzusetzen.
• Schleifen sowie bedingte Ausdrücke zur Steuerung von Datenworkflows und zur Erstellung von Merkmalen zu verwenden.
• Benutzerdefinierte Funktionen (UDFs) für wiederverwendbare Datenvorgänge in PySpark zu erstellen und zu verwalten.

Ablauf des Kurses

• Interaktive Vorlesungen sowie Diskussionen.
• Zahlreiche Übungen und praktische Aufgaben.
• Praxisnahe Umsetzung in einer Live-Lab-Umgebung.

Möglichkeiten zur Kursanpassung

• Falls Sie ein maßgeschneidertes Training zu diesem Thema wünschen, kontaktieren Sie uns gerne, um die Details zu besprechen.