Optimierung der Leistung von neuronalen Netzen mit dem CANN SDK Schulung

Überblick über die Optimierungsfähigkeiten von CANN

• Wie Inferenzleistung in CANN gehandhabt wird
• Optimierungsziele für Edge- und Embedded-AI-Systeme
• Verständnis der KI-Core-Auslastung und der Speicherzuweisung

Verwendung der Graph Engine für die Analyse

• Einführung in die Graph Engine und die Ausführungspipeline
• Visualisierung von Operatorgraphen und Laufzeitmetriken
• Anpassung von Berechnungsgraphen zur Optimierung

Profiling-Tools und Leistungsmetriken

• Verwendung des CANN Profiling Tool (profiler) für die Workload-Analyse
• Analyse der Kernel-Ausführungszeit und Engpässe
• Speicherzugriffs-Profiling und Tiling-Strategien

Entwicklung benutzerdefinierter Operatoren mit TIK

• Überblick über TIK und das Operator-Programmiermodell
• Implementierung eines benutzerdefinierten Operators mit TIK DSL
• Testen und Benchmarking der Operator-Leistung

Erweiterte Operator-Optimierung mit TVM

• Einführung in die TVM-Integration mit CANN
• Auto-Tuning-Strategien für Berechnungsgraphen
• Wann und wie zwischen TVM und TIK gewechselt wird

Speicheroptimierungstechniken

• Verwaltung der Speicheranordnung und Buffer-Platzierung
• Techniken zur Reduzierung des On-Chip-Speicherverbrauchs
• Best Practices für asynchrone Ausführung und Wiederverwendung

Bereitstellung in der Praxis und Fallstudien

• Fallstudie: Leistungstuning für Smart-City-Kamera-Pipelines
• Fallstudie: Optimierung der Inferenz-Stapel autonomer Fahrzeuge
• Leitlinien für iteratives Profiling und kontinuierliche Verbesserung

Zusammenfassung und nächste Schritte