Schulungsübersicht

Einführung

  • Überblick über die Herausforderungen bei der Skalierung von Deep Learning
  • Überblick über DeepSpeed und seine Funktionen
  • DeepSpeed im Vergleich zu anderen verteilten Deep-Learning-Bibliotheken

Erste Schritte

  • Einrichten der Entwicklungsumgebung
  • Installation von PyTorch und DeepSpeed
  • Konfigurieren von DeepSpeed für verteiltes Training

DeepSpeed-Optimierungsfunktionen

  • DeepSpeed-Trainingspipeline
  • ZeRO (Speicheroptimierung)
  • Aktivierungs-Checkpointing
  • Gradient Checkpointing
  • Pipeline-Parallelität

Skalierung von Modellen mit DeepSpeed

  • Grundlegende Skalierung mit DeepSpeed
  • Fortgeschrittene Skalierungstechniken
  • Leistungsüberlegungen und bewährte Verfahren
  • Techniken zur Fehlersuche und -behebung

Erweiterte DeepSpeed-Themen

  • Fortgeschrittene Optimierungstechniken
  • Verwendung von DeepSpeed mit gemischtem Präzisionstraining
  • DeepSpeed auf unterschiedlicher Hardware (z. B. GPUs, TPUs)
  • DeepSpeed mit mehreren Trainingsknoten

Integration von DeepSpeed mit PyTorch

  • Integration von DeepSpeed in PyTorch-Workflows
  • Verwendung von DeepSpeed mit PyTorch Lightning

Fehlersuche

  • Fehlersuche bei allgemeinen DeepSpeed-Problemen
  • Überwachung und Protokollierung

Zusammenfassung und nächste Schritte

  • Zusammenfassung der wichtigsten Konzepte und Funktionen
  • Bewährte Verfahren für den Einsatz von DeepSpeed in der Produktion
  • Weitere Ressourcen, um mehr über DeepSpeed zu erfahren

Voraussetzungen

  • Mittlere Kenntnisse der Prinzipien des Deep Learning
  • Erfahrung mit PyTorch oder ähnlichen Deep-Learning-Frameworks
  • Vertrautheit mit der Python-Programmierung

Publikum

  • Datenwissenschaftler
  • Ingenieure für maschinelles Lernen
  • Entwickler
 21 Stunden

Teilnehmerzahl



Preis je Teilnehmer

Kombinierte Kurse

Verwandte Kategorien