Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Performance-Konzepte und Metriken
- Latenz, Durchsatz, Energieverbrauch, Ressourcennutzung
- Engpässe auf System- vs. Modellebene
- Profiling für Inferenz vs. Training
Profiling auf Huawei Ascend
- Verwendung von CANN Profiler und MindInsight
- Diagnose von Kernels und Operatoren
- Offload-Muster und Speicherabbildung
Profiling auf Biren GPU
- Performance-Monitoring-Funktionen des Biren SDK
- Kernel-Fusion, Speicheranpassung und Ausführungs-Warteschlangen
- Leistung- und temperaturbewusstes Profiling
Profiling auf Cambricon MLU
- BANGPy- und Neuware-Performance-Tools
- Sichtbarkeit auf Kernelebene und Logauswertung
- MLU-Profilierungs-Integration mit Deployment-Frameworks
Optimierung auf Graphen- und Modellebene
- Strategien zum Graph-Pruning und zur Quantisierung
- Operator-Fusion und Umstrukturierung von Berechnungsgraphen
- Standardisierung der Eingabegröße und Batch-Abstimmung
Speicher- und Kernel-Optimierung
- Optimierung der Speicheranordnung und -wiederverwendung
- Effizientes Puffermanagement über Chipsets hinweg
- Kernel-Abstimmungstechniken pro Plattform
Plattformübergreifende Best Practices
- Performance-Portabilität: Abstraktionsstrategien
- Aufbau gemeinsamer Abstimmungspipelines für Multi-Chip-Umgebungen
- Beispiel: Abstimmung eines Objekterkennungsmodells auf Ascend, Biren und MLU
Zusammenfassung und nächste Schritte
Voraussetzungen
- Erfahrung mit KI-Modell-Trainings- oder Deployment-Pipelines
- Verständnis der Rechenprinzipien von GPU/MLU und der Modelloptimierung
- Grundlegende Vertrautheit mit Performance-Profiling-Tools und -Metriken
Zielgruppe
- Performance-Ingenieure
- Teams für maschinelles Lern-Infrastructure
- KI-Systemarchitekten
21 Stunden
