Kontakt aufnehmen

Schulungsübersicht

Einführung in Open-Source-LLM-Modelle

  • Was sind Modelle mit offenen Gewichten und warum sind sie von Bedeutung?
  • Überblick über LLaMA, Mistral, Qwen sowie weitere gemeinschaftsgetriebene Modelle
  • Einsatzmöglichkeiten für private, lokale oder sichere Implementierungen

Umgebungseinrichtung und Tools

  • Installation sowie Konfiguration der Bibliotheken Transformers, Datasets und PEFT
  • Auswahl geeigneter Hardware für das Feinabstimmen
  • Laden vorgetrainierter Modelle aus dem Hugging Face-Repository oder anderen Quellen

Datenvorbereitung und -verarbeitung

  • Gängige Datensatzformate (Anweisungsbasiertes Lernen, Chat-Daten, reiner Text)
  • Tokenisierung sowie Verwaltung von Sequenzen<\/li>
  • Erstellung eigener Datensätze und zugehöriger Datenloader

Techniken des Feinabstimmens

  • Vergleich zwischen klassischem vollständigem Feinabstimmen und effizienten Alternativen<\/li>
  • Einsatz von LoRA und QLoRA zur kosteneffizienten Feinabstimmung
  • Nutzung der Trainer-API für schnelle Testläufe und Experimente

Bewertung und Optimierung von Modellen

  • Beurteilung feinabgestimmter Modelle mittels generativer sowie genauigkeitsbezogener Kennzahlen
  • Umgang mit Überanpassung, Generalisierung und Validierungsdaten<\/li>
  • Tipps zur Leistungsoptimierung sowie Logging-Methoden

Bereitstellung in geschützten Umgebungen

  • Speichern und Laden feinabgestimmter Modelle für Inferenzanwendungen
  • Einsatz der angepassten Modelle in sicheren Unternehmensumgebungen
  • Vergleich zwischen lokalen Implementierungen und Cloud-basierten Lösungen

Fallbeispiele und Anwendungsbereiche

  • Praktische Beispiele für den Einsatz von LLaMA, Mistral und Qwen in Unternehmen
  • Bewältigung mehrsprachiger sowie fachspecifischer Feinabstimmungsszenarien
  • Diskussion: Vor- und Nachteile von Open-Source-Modellen im Vergleich zu geschlossenen Lösungen

Zusammenfassung sowie weitere Schritte

Voraussetzungen

  • Grundverständnis von großen Sprachmodellen (LLMs) sowie deren Architektur
  • Erfahrung mit Python und PyTorch
  • Grundkenntnisse im Umgang mit dem Hugging Face-Ökosystem

Zielgruppe

  • Maschinenlern-Experten
  • KI-Entwickler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien