Schulungsübersicht

Einführung in Open-Source LLMs

  • Was sind open-weight Modelle und warum sie wichtig sind
  • Übersicht über LLaMA, Mistral, Qwen und andere Community-Modelle
  • Anwendungsbereiche für private, vor Ort oder sichere Bereitstellungen

Umgebungseinstellungen und Werkzeuge

  • Installieren und Konfigurieren von Transformers, Datasets und PEFT Bibliotheken
  • Auswählen geeigneter Hardware für die Feinabstimmung
  • Laden vortrainierter Modelle aus Hugging Face oder anderen Repositorys

Datenvorbereitung und Vorkennzeichnung

  • Datensatzformate (Instruktionen, Chatdaten, rein textbasiert)
  • Tokenisierung und Sequenzverwaltung
  • Erstellen benutzerdefinierter Datensätze und Dataloaders

Fine-Tuning Techniken

  • Standardvolle Feinabstimmung im Vergleich zu parameter-effizienten Methoden
  • Anwendung von LoRA und QLoRA für effiziente Feinabstimmung
  • Nutzung des Trainer API für schnelles Experimentieren

Modellaufzeitbewertung und Optimierung

  • Bewerten feinabgestimmter Modelle mit Generierungs- und Genauigkeitsmetriken
  • Verwaltung von Overfitting, Verallgemeinerung und Validierungssets
  • Tips für Leistungsoptimierung und Logging

Bereitstellung und Private Nutzung

  • Speichern und Laden von Modellen für Inferenz
  • Bereitstellen feinabgestimmter Modelle in sicheren Unternehmensumgebungen
  • Strategien für vor Ort im Vergleich zu Cloud-Bereitstellungen

Fallstudien und Use Cases

  • Beispiele der Unternehmensnutzung von LLaMA, Mistral und Qwen
  • Bearbeitung multilingualer und domänenspezifischer Feinabstimmungen
  • Diskussion: Handelsabkommen zwischen offenen und geschlossenen Modellen

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Eine Verständnis von großen Sprachmodellen (LLMs) und ihrer Architektur
  • Erfahrung mit Python und PyTorch
  • Basiskenntnisse im Hugging Face-Ökosystem

Zielgruppe

  • ML-Praktiker
  • AI-Entwickler
 14 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien