Einführung in große Sprachmodelle (Large Language Models, LLMs) Schulung

Einleitung

• Was sind große Sprachmodelle (LLMs)?
• Unterschiede zwischen LLMs und herkömmlichen NLP-Modellen
• Übersicht über Merkmale und Architektur von LLMs
• Herausforderungen sowie Grenzen großer Sprachmodelle

Grundlagen zu LLMs verstehen

• Der Lebenszyklus eines LLMs
• Funktionsweise von großen Sprachmodellen
• Hauptkomponenten eines LLMs: Encoder, Decoder, Attention-Mechanismen sowie Embeddings usw.

Einstieg in die Arbeit mit LLMs

• Konfiguration der Entwicklungsumgebung
• Installation von LLMs als Werkzeuge, beispielsweise über Google Colab oder Hugging Face

Praxisarbeit mit großen Sprachmodellen

• Erkundung verfügbarer LLM-Optionen
• Erstellen sowie Nutzung eines großen Sprachmodells
• Feinjustierung des Modells anhand eigener Datensätze

Textzusammenfassung

• Verständnis der Aufgabe der Textzusammenfassung sowie deren Anwendungsbereiche
• Einsatz von LLMs zur extraktiven und abstraktiven Zusammenfassung von Texten
• Bewertung der Qualität erstellter Zusammenfassungen mittels Metriken wie ROUGE oder BLEU.

Frage-Antwort-Verarbeitung

• Einblick in die Funktionsweise von Fragen-und-Antwort-Systemen sowie deren Nutzungsszenarien
• Anwendung von LLMs für offene und geschlossene Frage-Antwort-Aufgaben
• Bewertung der Richtigkeit generierter Antworten unter Verwendung von Metriken wie F1-Score oder Exact Match.

Texterzeugung

• Einblick in die Aufgabe der Texterzeugung sowie deren Einsatzmöglichkeiten
• Gewinnung von Texten mittels konditioneller bzw. unkonditioneller Generierung mit LLMs
• Steuerung des Stils, Tonfalls und Inhalts erzeugter Texte über Parameter wie Temperatur, Top-k oder Top-p.

Integration von LLMs in andere Frameworks und Plattformen

• Einsatz von großen Sprachmodellen mit PyTorch oder TensorFlow
• Nutzung der Modelle zusammen mit Flask oder Streamlit
• Anbindung an Cloud-Plattformen wie Google Cloud oder AWS

Fehlerbehebung und Optimierung

• Verstehen häufig auftretender Fehler bei der Verwendung von LLMs
• Einsatz von TensorBoard zur Überwachung sowie Visualisierung des Trainingsprozesses
• Nutzung von PyTorch Lightning zur Vereinfachung sowie Optimierung des Trainingscodes
• Laden und Vorverarbeiten von Daten mithilfe der Hugging Face Datasets-Bibliothek.

Zusammenfassung und weitere Schritte