Kontakt aufnehmen

Schulungsübersicht

Einführung in die Entwicklung benutzerdefinierter Operatoren

  • Warum eigenständige Operatoren entwickeln? Einsatzmöglichkeiten und technische Grenzen
  • Aufbau der CANN-Laufzeitumgebung sowie Stellen zur Integration von Operatoren
  • Überblick zu TBE, TIK und TVM innerhalb des Huawei-KI-Ökosystems

Arbeiten mit TIK bei der Entwicklung niedrigstufiger Operatoren

  • Verständnis des TIK-Programmiermodells sowie der verfügbaren APIs
  • Umgang mit Speicherverwaltung und Tiling-Strategien in TIK
  • Erstellung, Kompilierung und Registrierung eines benutzerdefinierten Operators bei CANN

Testen und Validieren eigener Operatoren

  • Unit-Tests sowie Integrationstests von Operatoren im Kontext des Gesamtmodells
  • Fehleranalyse bezüglich Leistungsproblemen auf Kernel-Ebene
  • Visualisierung der Ausführung sowie des Speicherverhaltens von Operatoren

Planung und Optimierung mittels TVM

  • Grundlagen von TVM als Kompilierwerkzeug für Tensor-Operatoren
  • Formulieren einer Leistungsplanung für einen benutzerdefinierten Operator in TVM
  • Automatische Optimierung, Benchmarking sowie Generierung von Programmcode für Ascend mit TVM

Integration in Frameworks und KI-Modelle

  • Registrierung benutzerdefinierter Operatoren für MindSpore sowie das ONNX-Format
  • Überprüfung der Modellintegrität sowie Verhalten bei Rückfallmechanismen
  • Unterstützung von Multi-Operator-Graphen unter variabler Genauigkeitseinstellung

Fallbeispiele und spezialisierte Optimierungen

  • Beispiel: Hochleistungsfähige Konvolution für kleine Eingabedatenformate
  • Beispiel: Speichereffiziente Optimierung von Attention-Operatoren
  • Best Practices zur Implementierung benutzerdefinierter Operatoren über verschiedene Gerätetypen hinweg

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Fundierte Kenntnisse über die Funktionsweise von KI-Modellen sowie Berechnungen auf Operatorenebene
  • Erfahrung in der Programmierung mit Python sowie im Umgang mit Linux-Entwicklungsumgebungen
  • Grundkenntnisse in neuronalen Netzwerk-Kompilatoren oder graphbasierten Optimierungswerkzeugen

Zielgruppe

  • Compiler-Entwickler, die im Bereich KI-Toolchains tätig sind
  • Systementwickler mit Schwerpunkt auf tiefergehender Optimierung von KI-Systemen
  • Entwickler, die eigene Operatoren erstellen oder neue Arten von KI-Arbeitslasten unterstützen wollen
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien