Verständnis von Tiefen neuronalen Netzen Schulung

Teil 1 – Deep Learning und DNN-Konzepte

Einführung in KI, Maschinelles Lernen & Deep Learning

• Geschichte, Grundkonzepte und übliche Anwendungen der künstlichen Intelligenz – weit über die Fantasien hinaus, die mit diesem Gebiet verbunden sind
• Kollektive Intelligenz: Aggregieren von Wissen, das von vielen virtuellen Agenten geteilt wird
• Genetische Algorithmen: Evolution einer Population virtueller Agenten durch Selektion
• Übliche lernfähige Maschinen: Definition.
• Typen von Aufgaben: Überwachtes Lernen, Unüberwachtes Lernen, Verstärkendes Lernen
• Typen von Aktionen: Klassifikation, Regression, Clustering, Dichteschätzung, Dimensionsreduktion
• Beispiele für Algorithmen des maschinellen Lernens: Lineare Regression, Naive Bayes, Random Forest
• Maschinelles Lernen vs. Deep Learning: Probleme, bei denen maschinelles Lernen heute weiterhin den Stand der Technik darstellt (Random Forests & XGBoosts)

Grundkonzepte eines neuronalen Netzes (Anwendung: mehrschichtiger Perzeptron)

• Wiederholung der mathematischen Grundlagen.
• Definition eines neuronalen Netzes: klassische Architektur, Aktivierungsfunktionen und
• Gewichtung früherer Aktivierungen, Tiefe eines Netzes
• Definition des Lernens in einem neuronalen Netz: Kostenfunktionen, Backpropagation, Stochastischer Gradientenabstieg, Maximum-Likelihood-Schätzung.
• Modellierung eines neuronalen Netzes: Modellierung von Eingabe- und Ausgabedaten je nach Problemart (Regression, Klassifikation ...). Fluch der Dimensionalität.
• Unterscheidung zwischen Daten mit mehreren Merkmalen und Signalen. Wahl einer Kostenfunktion entsprechend den Daten.
• Approximierung einer Funktion durch ein neuronales Netz: Vorstellung und Beispiele
• Approximierung einer Verteilung durch ein neuronales Netz: Vorstellung und Beispiele
• Datenaugmentation: Ausgewogenheit eines Datensatzes herstellen
• Generalisierung der Ergebnisse eines neuronalen Netzes.
• Initialisierung und Regularisierung eines neuronalen Netzes: L1-/L2-Regularisierung, Batch-Normalisierung
• Optimierungs- und Konvergenzalgorithmen

Standard-Tools für ML/DL

Geplant ist eine kurze Präsentation mit Vorteilen, Nachteilen, Position im Ökosystem und Verwendungszweck.

• Datenmanagement-Tools: Apache Spark, Apache Hadoop Tools
• Maschinelles Lernen: Numpy, Scipy, Sci-kit
• Hochstufige DL-Frameworks: PyTorch, Keras, Lasagne
• Low-Level-DL-Frameworks: Theano, Torch, Caffe, Tensorflow

Konvolutionelle neuronale Netze (CNN).

• Vorstellung der CNN: Grundprinzipien und Anwendungen
• Grundlegende Funktionsweise eines CNN: konvolutionelle Schicht, Verwendung eines Kernels,
• Padding & Stride, Generierung von Feature-Maps, Pooling-Schichten. Erweiterungen 1D, 2D und 3D.
• Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik in der Klassifikation gebracht haben
• Bilder: LeNet, VGG-Netze, Network in Network, Inception, Resnet. Vorstellung der Innovationen, die durch jede Architektur gebracht wurden, und ihrer übergreifenden Anwendungen (1x1-Konvolution oder Residualverbindungen)
• Verwendung eines Aufmerksamkeitsmodells.
• Anwendung auf einen gängigen Klassifikationsfall (Text oder Bild)
• CNNs für die Generierung: Super-Resolution, Pixel-zu-Pixel-Segmentierung. Vorstellung von
• Hauptstrategien zur Erhöhung der Feature-Maps für die Bildgenerierung.

Rekurrente neuronale Netze (RNN).

• Vorstellung der RNNs: Grundprinzipien und Anwendungen.
• Grundlegende Funktionsweise der RNN: versteckte Aktivierung, Backpropagation durch die Zeit, aufgefaltete Version.
• Weiterentwicklungen zu Gated Recurrent Units (GRUs) und LSTM (Long Short-Term Memory).
• Vorstellung der verschiedenen Zustände und der Weiterentwicklungen, die durch diese Architekturen gebracht wurden
• Konvergenz- und vanishing-Gradient-Probleme
• Klassische Architekturen: Vorhersage einer Zeitreihe, Klassifikation ...
• RNN-Encoder-Decoder-Architektur. Verwendung eines Aufmerksamkeitsmodells.
• NLP-Anwendungen: Wort-/Zeichen-Encoding, Übersetzung.
• Video-Anwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.

Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).

• Vorstellung der generativen Modelle, Bezug zu den CNNs
• Auto-Encoder: Dimensionsreduktion und begrenzte Generierung
• Variational Auto-Encoder: generatives Modell und Approximierung der Verteilung eines gegebenen. Definition und Verwendung des latenten Raums. Reparameterisierungstrick. Beobachtete Anwendungen und Grenzen
• Generative Adversarial Networks: Grundlagen.
• Dual-Netz-Architektur (Generator und Diskriminator) mit alternierendem Lernen, verfügbare Kostenfunktionen.
• Konvergenz einer GAN und auftretende Schwierigkeiten.
• Verbesserte Konvergenz: Wasserstein GAN, Began. Earth Moving Distance.
• Anwendungen zur Generierung von Bildern oder Fotos, Textgenerierung, Super-Resolution.

Deep Reinforcement Learning.

• Vorstellung von Verstärkungslernen: Steuerung eines Agenten in einer definierten Umgebung
• Durch einen Zustand und mögliche Aktionen
• Verwendung eines neuronalen Netzes zur Approximierung der Zustandsfunktion
• Deep Q-Learning: Experience Replay und Anwendung auf die Steuerung eines Videospiels.
• Optimierung der Lernpolitik. On-Policy && Off-Policy. Actor-Critic-Architektur. A3C.
• Anwendungen: Steuerung eines einzelnen Videospiels oder eines digitalen Systems.

Teil 2 – Theano für Deep Learning

Theano-Grundlagen

• Einführung
• Installation und Konfiguration

TheanoFunctions

• Eingaben, Ausgaben, Updates, Givens

Training und Optimierung eines neuronalen Netzes mit Theano

• Modellierung eines neuronalen Netzes
• Logistische Regression
• Versteckte Schichten
• Training eines Netzes
• Berechnung und Klassifikation
• Optimierung
• Log-Loss

Testen des Modells

Teil 3 – DNN mit Tensorflow

TensorFlow-Grundlagen

• Erstellung, Initialisierung, Speichern und Wiederherstellen von TensorFlow-Variablen
• Speisung, Lesen und Vorladen von TensorFlow-Daten
• Verwendung der TensorFlow-Infrastruktur zum Training von Modellen im großen Maßstab
• Visualisierung und Bewertung von Modellen mit TensorBoard

TensorFlow-Mechanik

• Daten vorbereiten
• Herunterladen
• Eingaben und Platzhalter
• Aufbau der Graphen
  • Inferenz
  • Verlust
  • Training
• Training des Modells
  • Der Graph
  • Die Sitzung
  • Trainings-Schleife
• Bewertung des Modells
  • Aufbau des Bewertungsgraphen
  • Bewertungsausgabe

Der Perzeptron

• Aktivierungsfunktionen
• Der Perzeptron-Lernalgorithmus
• Binäre Klassifikation mit dem Perzeptron
• Dokumentklassifikation mit dem Perzeptron
• Einschränkungen des Perzeptrons

Vom Perzeptron zu Support-Vektor-Maschinen

• Kerne und der Kerntrick
• Maximum-Margin-Klassifikation und Stützvektoren

Künstliche neuronale Netze

• Nichtlineare Entscheidungsgrenzen
• Feedforward- und Feedback-künstliche neuronale Netze
• Mehrschichtige Perzeptrons
• Minimierung der Kostenfunktion
• Vorwärtsausbreitung
• Rückwärtsausbreitung
• Verbesserung der Art, wie neuronale Netze lernen

Konvolutionelle neuronale Netze

• Ziele
• Modellarchitektur
• Prinzipien
• Codeorganisation
• Starten und Trainieren des Modells
• Bewertung eines Modells

Grundlegende Einführungen in die folgenden Module (Kurze Einführung abhängig von der Zeitverfügbarkeit):

Tensorflow - Fortgeschrittene Verwendung

• Multithreading und Warteschlangen
• Verteiltes TensorFlow
• Schreiben von Dokumentation und Teilen Ihres Modells
• Anpassen von Datenlesern
• Manipulieren von TensorFlow-Modelldateien

TensorFlow Serving

• Einführung
• Grundlegendes Serving-Tutorial
• Fortgeschrittenes Serving-Tutorial
• Inception-Modell-Serving-Tutorial