Kontakt aufnehmen

Schulungsübersicht

Einführung in Parameter-Effizientes Fine-Tuning (PEFT)

  • Motivation und Grenzen des vollständigen Fine-Tunings
  • Übersicht über PEFT: Ziele und Vorteile
  • Anwendungen und Use Cases in der Industrie

LoRA (Low-Rank Adaptation)

  • Konzept und Intuition hinter LoRA
  • Implementierung von LoRA mit Hugging Face und PyTorch
  • Praktisch: Fine-Tuning eines Modells mit LoRA

Adapter Tuning

  • Funktionsweise von Adapter-Modulen
  • Integration in Transformer-basierte Modelle
  • Praktisch: Anwendung von Adapter Tuning auf ein Transformer-Modell

Prefix Tuning

  • Nutzung von „Soft Prompts“ für das Fine-Tuning
  • Vor- und Nachteile im Vergleich zu LoRA und Adaptern
  • Praktisch: Prefix Tuning für eine LLM-Aufgabe

Bewertung und Vergleich von PEFT-Methoden

  • Metriken zur Bewertung von Leistung und Effizienz
  • Abwägungen bei Trainingsgeschwindigkeit, Speichernutzung und Genauigkeit
  • Benchmark-Experimente und Interpretation der Ergebnisse

Bereitstellung fine-tunter Modelle

  • Speichern und Laden fine-tunter Modelle
  • Berücksichtigungen bei der Bereitstellung von PEFT-basierten Modellen
  • Integration in Anwendungen und Pipelines

Best Practices und Erweiterungen

  • Kombination von PEFT mit Quantisierung und Distillation
  • Einsatz in ressourcenarmen und mehrsprachigen Umgebungen
  • Zukünftige Entwicklungen und aktuelle Forschungsbereiche

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundkenntnisse in maschinellem Lernen
  • Erfahrung im Umgang mit großen Sprachmodellen (LLMs)
  • Vertrautheit mit Python und PyTorch

Zielgruppe

  • Data Scientists
  • KI-Ingenieure
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien