Feinabstimmung von Modellen und großen Sprachmodellen (LLMs) Schulung

Einführung in die Feinabstimmung

• Was bedeutet Feinabstimmung?
• Einsatzgebiete und Vorteile der Feinabstimmung
• Überblick über vorgetrainnte Modelle sowie Transferlernen

Vorbereitung auf die Feinabstimmung

• Datensammlung und Datenbereinigung
• Anforderungen an datenbasierte Aufgaben verstehen
• Explorative Datenanalyse sowie Vorverarbeitung

Techniken der Feinabstimmung

• Transferlernen und Merkmalsextraktion
• Feinabstimmung von Transformer-Modellen mit Hugging Face
• Unterschiede bei der Feinabstimmung für überwachte bzw. unüberwachte Lernalgorithmen<\/li>

Feinabstimmung großer Sprachmodelle (LLMs)

• Anpassung von LLMs an Aufgaben der natürlichen Sprachverarbeitung (z. B. Textklassifikation, Zusammenfassung)
• Training von LLMs mit eigenen Datensätzen
• Einfluss des Prompt Engineerings auf das Verhalten von LLMs

Optimierung und Bewertung

• Einstellung von Hyperparametern
• Bewertung der Modellleistung
• Bekämpfung von Über- bzw. Unteranpassung des Modells

Ausweitung der Feinabstimmungsmaßnahmen

• Feinabstimmung auf verteilten Systemen
• Nutzung cloudbasierter Lösungen zur Skalierung des Verfahrens
• Fallbeispiele: Großangelegte Feinabstimmungsprojekte

Bewährte Praktiken und typische Herausforderungen

• Erfolgsfaktoren bei der Feinabstimmung
• Häufige Probleme sowie deren Behebung
• Ethische Aspekte bei der Anwendung von feinabgestimmten KI-Modellen

Fortgeschrittene Themen (optional)

• Feinabstimmung multimodaler Modelle
• Lernverfahren ohne oder mit nur wenig Trainingsdaten (Zero-Shot- bzw. Few-Shot-Learning)
• Einführung in die LoRA-Technik (Low-Rank Adaptation)

Zusammenfassung und weitere Schritte