Kontakt aufnehmen

Schulungsübersicht

Einführung in die Herausforderungen des Fine-Tunings

  • Überblick über den Ablauf des Fine-Tunings
  • Häufige Schwierigkeiten bei der Feinabstimmung großer Modelle
  • Auswirkungen von Datenqualität und Vorverarbeitung auf das Ergebnis

Umgang mit Datenungleichgewichten

  • Identifikation sowie Analyse solcher Ungleichgewichte in Datensätzen
  • Möglichkeiten zur Bearbeitung von ungleich verteilten Datensätzen
  • Einsatz von Datenaugmentation und synthetischer Daten generierung

Vermeidung von Über- und Unteranpassung

  • Grundlagen von Über- sowie Unteranpassung verstehen
  • Regularisierungsmethoden: L1, L2 sowie Dropout
  • Einstellung der Modellkomplexität und Trainingsdauer anzupassen

Förderung einer besseren Konvergenz des Modells

  • Probleme bei der Konvergenz erkennen und beheben
  • Auswahl eines geeigneten Lernratenwerts sowie Optimierers
  • Einsatz von Lernratenplänen sowie Warm-up-Techniken

Debugging von Fine-Tuning-Prozessen

  • Werkzeuge zur Überwachung des Trainingsverlaufs
  • Aufzeichnung und Visualisierung relevanter Modellkennzahlen
  • Identifikation sowie Behebung von Laufzeitfehlern

Erhöhung der Trainingseffizienz

  • Batchesize und Strategien zur Gradientenakkumulation
  • Gewinnung durch die Verwendung von gemischter Genauigkeit bei der Trainingsdurchführung
  • Verteiltes Training zur Bearbeitung besonders großer Modelle

Praktische Fallbeispiele aus der Praxis

  • Fallstudie: Fine-Tuning für die Stimmungsanalyse
  • Fallstudie: Behebung von Konvergenzproblemen bei Bilderkennungsmodellen
  • Fallstudie: Bekämpfung der Überanpassung bei Textzusammenfassungen

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Erfahrung mit Deep-Learning-Frameworks wie PyTorch oder TensorFlow
  • Grundkenntnisse der Konzepte des maschinellen Lernens, etwa Training, Validierung und Bewertung
  • Bekanntheit mit dem Fine-Tuning vorgetrainierter Modelle

Zielgruppe

  • Datenwissenschaftler
  • KI-Ingenieure
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien