Feinabstimmung mithilfe von Reinforcement Learning aus menschlichem Feedback (RLHF) Schulung
Reinforcement Learning aus menschlichem Feedback (RLHF) ist eine moderne Methode zur Feinabstimmung von Modellen wie ChatGPT sowie anderen hochwertigen KI-Systemen.
Dieses von einem Instruktor geleitete Live-Training – entweder online oder vor Ort – richtet sich an erfahrene Machine-Learning-Ingenieure und KI-Forscher, die RLHF nutzen möchten, um große KI-Modelle so zu optimieren, dass sie bessere Leistung, Sicherheit und Übereinstimmung mit menschlichen Erwartungen zeigen.
Am Ende des Trainings werden die Teilnehmer folgendes beherrschen:
- Die theoretischen Grundlagen von RLHF verstehen sowie dessen Bedeutung für die heutige KI-Entwicklung erkennen.
- Belohnungsmodelle auf Basis menschlichen Feedbacks entwickeln, um den Prozess des Reinforcement Learnings zu steuern.
- Große Sprachmodelle mithilfe von RLHF so feinabstimmen, dass ihre Ausgaben mit Vorlieben und Erwartungen der Menschen übereinstimmen.
- Bewährte Verfahren zur Skalierung von RLHF-Prozessen für produktionsreife KI-Systeme anwenden.
Aufbau des Kurses
- Interaktive Vorlesungen sowie Gruppendiskussionen.
- Zahlreiche Übungen und praktische Aufgaben.
- Praktische Umsetzung in einer Live-Lab-Umgebung.
Möglichkeiten zur Anpassung des Kurses
- Falls Sie ein individuell angepasstes Training wünschen, kontaktieren Sie uns bitte, um die Details zu besprechen.
Schulungsübersicht
Einführung in Reinforcement Learning aus menschlichem Feedback (RLHF)
- Was ist RLHF und warum ist es von Bedeutung?
- Vergleich mit Verfahren zur überwachten Feinabstimmung von Modellen
- Einsatzmöglichkeiten von RLHF in modernen KI-Systemen
Belohnungsmodellierung anhand menschlichen Feedbacks
- Sammeln und Strukturierung von Feedback durch Menschen
- Erstellung und Training von Belohnungsmodellen
- Bewertung der Wirksamkeit solcher Modelle
Training mithilfe des Proximal Policy Optimization-Algorithmus (PPO)
- Einblick in PPO-Algorithmen im Kontext von RLHF
- Umsetzung von PPO unter Verwendung der Belohnungsmodelle
- Sichere und iterative Feinabstimmung der Modelle
Praktische Feinabstimmung von Sprachmodellen
- Vorbereitung geeigneter Datensätze für RLHF-Prozesse
- Konkrete Übungen zur Feinabstimmung eines kleineren LLM mit RLHF-Techniken
- Häufige Herausforderungen sowie Lösungsansätze
Skalierung von RLHF für Produktionssysteme
- Aspekte zur Infrastruktur und zur Rechenleistung
- Qualitätskontrolle sowie kontinuierliche Verbesserungszyklen durch Feedback-Schleifen
- Bewährte Verfahren für die Implementierung und den Betrieb von RLHF-Systemen
Ethische Aspekte und Maßnahmen zur Vermeidung von Bias
- Umgang mit ethischen Risiken im Zusammenhang mit menschlichem Feedback
- Möglichkeiten zur Erkennung und Korrektur von Verzerrungen in den Modellen
- Sicherstellung der Konformität sowie sicherer Ausgaben durch die Modelle
Fallstudien und reale Beispiele aus der Praxis
- Beispiel: Feinabstimmung von ChatGPT mithilfe von RLHF
- Weitere erfolgreiche Implementierungen von RLHF
- Erfahrungen und Erkenntnisse aus der Praxis
Zusammenfassung sowie nächste Schritte
Voraussetzungen
- Grundkenntnisse in überwachtem und Reinforcement Learning
- Erfahrung bei der Feinabstimmung von Modellen sowie Kenntnis gängiger neuronaler Netzarchitekturen
- Gute Vertrautheit mit der Programmiersprache Python sowie Deep-Learning-Frameworks wie TensorFlow oder PyTorch
Zielgruppe
- Machine-Learning-Ingenieure
- KI-Forscher
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Feinabstimmung mithilfe von Reinforcement Learning aus menschlichem Feedback (RLHF) Schulung - Buchung
Feinabstimmung mithilfe von Reinforcement Learning aus menschlichem Feedback (RLHF) Schulung - Anfrage
Feinabstimmung mithilfe von Reinforcement Learning aus menschlichem Feedback (RLHF) - Beratungsanfrage
Kommende Kurse
Kombinierte Kurse
Erweiterte Feinabstimmung und Prompt-Verwaltung in Vertex AI
14 StundenFortgeschrittene Techniken des Transfer-Lernens
14 StundenDieses von einem Instruktor geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an erfahrene Fachkräfte im Bereich des maschinellen Lernens, die moderne Transfer-Lern-Techniken beherrschen und auf komplexe reale Probleme anwenden möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Die fortgeschrittenen Konzepte und Methoden des Transfer-Lernens zu verstehen.
- Domänenspezifische Adaptionstechniken für vortrainierte Modelle umzusetzen.
- Kontinuierliches Lernen anzuwenden, um sich stetig ändernde Aufgaben und Datensätze zu bewältigen.
- Mehrfach-Task-Fine-Tuning beherrschen, um die Modellleistung über verschiedene Aufgaben hinweg zu verbessern.
Strategien zum kontinuierlichen Lernen und zur Modellaktualisierung für feinabgestimmte Modelle
14 StundenDieses von einem Instruktor geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an erfahrene AI-Wartungstechniker sowie MLOps-Experten, die zuverlässige Abläufe für kontinuierliches Lernen und effektive Aktualisierungsstrategien für bereits eingesetzte, feinabgestimmte Modelle implementieren möchten.
Nach Abschluss dieses Trainings werden die Teilnehmer in der Lage sein zu:
- Die Gestaltung und Implementierung von Arbeitsabläufen für kontinuierliches Lernen bei eingesetzten Modellen.
- Dem Vermeiden katastrophaler Verluste durch angemessenes Training sowie optimale Speicherverwaltung.
- Der Automatisierung der Überwachung sowie des Auslösens von Aktualisierungen aufgrund von Modell- oder Datenänderungen.
- Der Integration von Strategien zur Modellaktualisierung in bestehende CI/CD- und MLOps-Prozesse.
Einsatz feinabgestimmter Modelle in der Produktion
21 StundenDieses von einem Experten geleitete Live-Seminar in Deutschland (online oder vor Ort) richtet sich an erfahrene Fachkräfte, die feinabgestimmte Modelle verlässlich und effizient einsetzen möchten.
Am Ende dieses Seminars werden die Teilnehmer folgendes können:
- Die Herausforderungen beim Einsatz feinabgestimmter Modelle in der Produktion erkennen.
- Modelle mithilfe von Tools wie Docker und Kubernetes containerisieren und bereitstellen.
- Überwachung und Protokollierung für bereits eingesetzte Modelle implementieren.
- Modelle hinsichtlich Latenzzeit und Skalierbarkeit in realen Szenarien optimieren.
Branchenspezifisches Feinabstimmen im Finanzwesen
21 StundenDieser von einem Experten geleitete Live-Workshop in Deutschland (online oder vor Ort) richtet sich an Fachleute auf mittlerem Niveau, die praktische Kompetenzen erlangen möchten, wie man KI-Modelle für entscheidende Aufgaben im Finanzwesen optimiert.
Im Abschluss können die Teilnehmenden:
- die Grundlagen des Feinabstimmens für Finanzanwendungen verstehen.
- vorab trainierte Modelle zur Lösung branchenspezifischer Probleme nutzen.
- Techniken zur Betrugserkennung, Risikobewertung sowie automatisierten Beratungsdiensten anwenden.
- regulatorische Anforderungen wie DSGVO und SOX einhalten.
- Datensicherheit und ethische KI-Prinzipien in Finanzlösungen umsetzen.
Feinabstimmung von Modellen und großen Sprachmodellen (LLMs)
14 StundenDieses von einem Instruktor geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Fachkräfte mit mittleren bis fortgeschrittenen Kenntnissen, die vorgetrainnte Modelle für spezifische Aufgaben und Datensätze individualisieren möchten.
Nach Abschluss dieses Trainings werden die Teilnehmenden folgendes können:
- Die Grundprinzipien der Feinabstimmung sowie deren Anwendungsbereiche verstehen.
- Datensätze für die Feinabstimmung vorgetrainnter Modelle vorbereiten.
- Große Sprachmodelle (LLMs) für Aufgaben der natürlichen Sprachverarbeitung feinabstimmen.
- Die Modellleistung optimieren sowie häufige Herausforderungen bewältigen.
Effizientes Fein-Tuning mit Low-Rank Adaptation (LoRA)
14 StundenDieses von einem Instruktor geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Entwickler und KI-Praktiker mittlerer Erfahrung, die Fein-Tuning-Strategien für große Modelle nutzen möchten, ohne überaus viel Rechenkapazität erfordern zu müssen.
Am Ende des Kurses werden die Teilnehmer folgende Fähigkeiten beherrschen:
- Die Grundprinzipien von Low-Rank Adaptation (LoRA) verstehen.
- LoRA erfolgreich zur effizienten Feinabstimmung großer Modelle einsetzen.
- Das Fein-Tuning in ressourcenbegrenzten Umgebungen optimieren.
- Mit LoRA angepasste Modelle auswerten und für reale Anwendungsfälle bereitstellen.
Feinabstimmung multimodaler Modelle
28 StundenDieses von einem Dozenten geleitete Live-Training in Deutschland – entweder online oder vor Ort – richtet sich an Fachkräfte auf fortgeschrittenem Niveau, die die Feinabstimmung multimodaler Modelle für innovative KI-Lösungen beherrschen möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- die Architektur multimodaler Modelle wie CLIP und Flamingo zu verstehen,
- multimodale Datensätze effizient vorzubereiten und zu verarbeiten,
- multimodale Modelle für spezifische Aufgaben feinzustellen,
- die Modelle hinsichtlich Leistung und Einsatzfähigkeit in der Praxis zu optimieren.
Feinabstimmung für die Verarbeitung natürlicher Sprache (NLP)
21 StundenDieses von einem Trainer geleitete Live-Training in Deutschland – online oder vor Ort – richtet sich an Fachkräfte mittleren Niveaus, die ihre NLP-Projekte durch effektives Feinabstimmen vortrainierter Sprachmodelle verbessern möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein zu:
- Die Grundlagen des Feinabstimmens für NLP-Aufgaben zu verstehen.
- Vortrainierte Modelle wie GPT, BERT und T5 für konkrete NLP-Anwendungen feinzustimmen.
- Hyperparameter so zu optimieren, dass die Modellleistung verbessert wird.
- Feinabgestimmte Modelle in realen Anwendungsszenarien auszuwerten und einzusetzen.
Feinabstimmung von KI für Finanzdienstleistungen: Risikovorhersage und Betrugserkennung
14 StundenDieses von einem Instruktor geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an erfahrene Datenwissenschaftler und KI-Ingenieure im Finanzsektor, die Modelle feinabstimmen möchten – etwa für Anwendungen wie Bonitätsbewertung, Betrugserkennung oder Risikomodellierung unter Verwendung spezifischer Finanzdaten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- KI-Modelle anhand von Finanzdatensätzen feinabzustimmen, um Vorhersagen hinsichtlich Betrugsfällen und Risiken zu verbessern.
- Techniken wie Transferlearning, LoRA sowie Regularisierung anzuwenden, um die Effizienz der Modelle zu erhöhen.
- Aspekte der Finanzcompliance in den KI-Modellierungsprozess zu integrieren.
- Die feinabgestimmten Modelle für den Einsatz in Produktionsumgebungen von Finanzdienstleistungsplattformen bereitzustellen.
Feinabstimmung von KI für die Gesundheitsversorgung: Medizinische Diagnose und prädiktive Analytik
14 StundenDieses von Instruktoren geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Entwickler im Bereich Medizinische KI sowie Datenwissenschaftler mittleren bis fortgeschrittenen Kenntnisstands, die Modelle für die klinische Diagnose, Vorhersage von Erkrankungen und Prognose der Patientenergebnisse unter Verwendung strukturierter sowie unstrukturierter medizinischer Daten feinabstimmen möchten.
Nach Abschluss dieses Trainings werden die Teilnehmer in der Lage sein:
- KI-Modelle anhand von Gesundheitsdaten zu feinabstimmen – einschließlich elektronischer Patientenakten, Bilddaten sowie zeitbasierten Datensätzen.
- Transferlernen, domänenspezifische Adaption sowie Modellkomprimierung in medizinischen Anwendungsfällen anzuwenden.
- Aspekte wie Datenschutz, Verzerrungen in den Daten und regulatorische Vorgaben bei der Entwicklung von Modellen zu berücksichtigen.
- Feinabgestimmte Modelle in realen medizinischen Umgebungen bereitzustellen und zu überwachen.
Feinabstimmung von DeepSeek LLM für maßgeschneiderte KI-Modelle
21 StundenDieses von einem Experten geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an erfahrene KI-Forscher, Maschinelle Lern-Ingenieure sowie Entwickler, die DeepSeek LLM-Modelle feinabstimmen möchten, um spezialisierte Anwendungen für bestimmte Branchen, Bereiche oder Geschäftsziele zu entwickeln.
Nach Abschluss dieses Kurses werden die Teilnehmenden in der Lage sein:
- Die Architektur sowie Funktionalitäten der DeepSeek-Modelle – insbesondere von DeepSeek-R1 und DeepSeek-V3 – zu verstehen.
- Datensätze vorzubereiten und für das Feinabstimmen aufzuarbeiten.
- DeepSeek LLM auf Anwendungsbereiche aus bestimmten Domänen feinabzustimmen.
- Die nach dem Feinabstimmen erstellten Modelle effizient zu optimieren und bereitzustellen.
Feinabstimmung von Verteidigungs-KI für autonome Systeme und Überwachung
14 StundenDiese von erfahrenen Dozenten geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Verteidigungs-KI-Ingenieure sowie Entwickler militärischer Technologien, die Deep-Learning-Modelle so feinabstimmen möchten, dass sie in autonomen Fahrzeugen, Drohnen und Überwachungssystemen eingesetzt werden können – dabei müssen außerdem strenge Sicherheits- und Zuverlässigkeitsanforderungen erfüllt werden.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Computer-Vision- und Sensor-Fusions-Modelle für Überwachungs- sowie Zielerkennungsaufgaben feinabzustimmen.
- Autonome KI-Systeme an wechselnde Umgebungen und Missionstypen anzupassen.
- Robuste Validierungs- sowie Sicherheitsmechanismen in Modellpipelines zu implementieren.
- Die Einhaltung verteidigungsspezifischer Compliance-, Sicherheits- und Qualitätsstandards sicherzustellen.
Feinabstimmung von KI-Modellen für den Rechtsbereich: Vertragsprüfung und juristische Recherche
14 StundenDieses von einem Dozenten geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an Juristisch-Technische Ingenieure sowie KI-Entwickler mittleren Niveaus, die Sprachmodelle für Aufgaben wie Vertragsanalyse, Extraktion rechtlicher Klauseln und automatisierte juristische Recherche im rechtsdienstlichen Umfeld feinabstimmen möchten.
Nach Abschluss dieses Trainings werden die Teilnehmer in der Lage sein:
- Rechtliche Dokumente für die Feinabstimmung von NLP-Modellen vorzubereiten und zu bereinigen.
- Strategien zur Feinabstimmung anzuwenden, um die Genauigkeit der Modelle bei rechtlichen Aufgaben zu erhöhen.
- Modelle einzusetzen, um bei der Vertragsprüfung, -klassifizierung sowie Recherche zu helfen.
- Die Konformität, Nachvollziehbarkeit und Überprüfbarkeit von KI-Ergebnissen im rechtlichen Kontext sicherzustellen.
Feinabstimmung großer Sprachmodelle mithilfe von QLoRA
14 StundenDieser von einem Trainer geleitete Live-Kurs in Deutschland (online oder vor Ort) richtet sich an Maschinenlern-Ingenieure, KI-Entwickler sowie Datenwissenschaftler mit mittlerem bis fortgeschrittenem Wissen, die lernen möchten, wie man QLoRA nutzt, um große Modelle gezielt für spezifische Aufgaben und Bedürfnisse zu optimieren.
Am Ende des Kurses werden die Teilnehmenden in der Lage sein:
- Die theoretischen Grundlagen von QLoRA sowie Quantisierungsverfahren für LLMs zu verstehen.
- QLoRA erfolgreich bei der Feinabstimmung großer Sprachmodelle für branchenspezifische Anwendungen einzusetzen.
- Die Leistung des Feinabstimmungsprozesses unter Verwendung von Quantisierung selbst auf begrenzten Rechenressourcen zu optimieren.
- Feinabgestimmte Modelle effizient in realen Anwendungen einzusetzen und zu bewerten.
