Schulungsübersicht

Leistungsbegriffe und -metriken

  • Latenz, Durchsatz, Energieverbrauch, Ressourcennutzung
  • System- vs. Modell-Ebene-Bottlenecks
  • Profiling für Inferenz vs. Training

Profiling auf Huawei Ascend

  • Nutzung von CANN Profiler und MindInsight
  • Kern- und Operatordiagnostik
  • Abladepattern und Speicherkartierung

Profiling auf Biren GPU

  • Biren SDK-Leistungserfassungsfunktionen
  • Kernfusion, Speicheranordnung und Ausführungsqueues
  • Energie- und Temperaturbewusstes Profiling

Profiling auf Cambricon MLU

  • BANGPy und Neuware-Leistungswerkzeuge
  • Kern-Ebene-Sichtbarkeit und Protokollinterpretation
  • MLU-Profilerintegration mit Bereitstellungsframeworks

Grafische und Modell-Level-Optimierung

  • Grafenstumpfungen und Quantisierungsstrategien
  • Operatorfusion und Rechengraph-Umstrukturierung
  • Eingabegrößenstandardisierung und Batches-Tuning

Speicher- und Kern-Optimierung

  • Optimierung der Speicheraufteilung und -wiederverwendung
  • Effiziente Puffermanagement über Chipsätze hinweg
  • Kern-Ebene-Tuningtechniken pro Plattform

Verschnitt-Plattform-Best Practices

  • Leistungsportabilität: Abstraktionsstrategien
  • Aufbau gemeinsamer Tuningpipelines für multi-Chip-Umgebungen
  • Beispiel: Tuning eines Objekt-Erkennungs-Modells über Ascend, Biren und MLU

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Erfahrung mit AI-Modell-Trainings- oder -Bereitstellungspipelines
  • Verständnis der GPU/MLU-Rechenprinzipien und Modelloptimierung
  • Basiskenntnisse von Leistungsprofilierungstools und -metriken

Zielgruppe

  • Performance-Engineer
  • Maschinelles-Lernen-Infrastukturteams
  • AI-System-Architekten
 21 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien