Kontakt aufnehmen

Schulungsübersicht

Leistungskonzepte und Kennzahlen

  • Latenz, Durchsatz, Energieverbrauch sowie Auslastung der Ressourcen
  • Unterschiede zwischen system- und modellbezogenen Engpässen
  • Profiling bei Inferenz- und Trainingsvorgängen

Profiling auf Huawei Ascend

  • Einsatz des CANN Profilers sowie von MindInsight.
  • Diagnostik von Kernels und Operatoren.
  • Muster zur Datenübertragung sowie Speicherzuweisung.

Profiling auf Biren GPU

  • Funktionen des Biren SDK zur Leistungsüberwachung.
  • Kernel-Fusion, Speicherausrichtung und Verwaltung von Ausführungswarteschlangen.
  • Profiling unter Berücksichtigung von Stromverbrauch und Temperatur.

Profiling auf Cambricon MLU

  • Nutzung der Performance-Tools BANGPy und Neuware.
  • Sichtbarkeit auf Kernel-Ebene sowie Auswertung der Logs.
  • Eingebundenes Profiling innerhalb gängiger Implementierungsframeworks.

Optimierung auf Graphenebene und Modellebene

  • Strategien zum Reduzieren des Graphenumfangs sowie zur Quantisierung.
  • Kombination von Operatoren und Neustrukturierung der Rechenabläufe.
  • Standardisierung der Eingabedaten und Einstellung der Batch-Größe.

Optimierung des Speichers und der Kernel-Ebene

  • Effiziente Gestaltung der Speicherbelegung sowie Wiederverwendung.
  • Optimierte Verwaltung von Puffern auf verschiedenen Chipseten.
  • Plandarische Anpassungen bei den Kernel-Einstellungen je nach Plattform.

Beste Praktiken für mehrere Plattformen

  • Leistungsverträglichkeit: Ansätze zur Abstraktion verschiedener Systeme.
  • Aufbau gemeinsamer Optimierungsprozesse für Umgebungen mit mehreren Chips.
  • Beispiel: Optimierung eines Objekterkennungsmodells auf Ascend, Biren und MLU.

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung im Bereich des Trainings sowie der Implementierung von KI-Modellen
  • Grundkenntnisse über Rechenprinzipien bei GPUs bzw. MLUs und Optimierungstechniken für Modelle
  • Grundverständnis bezüglich gängiger Profilierungswerkzeuge und Kennzahlen

Zielgruppe

  • Performance-Ingenieure
  • Teams für die Entwicklung von KI-Infrastrukturen
  • Architekten für KI-Systeme
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien