Schulungsübersicht
1. Einführung in Deep Reinforcement Learning
- Was ist Reinforcement Learning?
- Unterschiede zwischen überwachten, unüberwachten und Verstärkungs-learning
- Anwendungen von DRL im Jahr 2025 (Robotik, Gesundheitswesen, Finanzen, Logistik)
- Verständnis der Interaktions-Schleife zwischen Agent und Umgebung
2. Grundlagen des Reinforcement Learning
- Markovsche Entscheidungssprobleme (MDP)
- Zustand, Aktion, Belohnung, Politik und Wertfunktionen
- Kompromiss zwischen Exploration und Exploitation
- Monte-Carlo-Methoden und Temporal-Difference (TD)-Lernen
3. Implementierung grundlegender RL-Algorithmen
- Tabellarische Methoden: Dynamische Programmierung, Bewertung und Iteration der Politik
- Q-Learning und SARSA
- Epsilon-greedy-Exploration und abklingende Strategien
- Implementierung von RL-Umgebungen mit OpenAI Gymnasium
4. Übergang zu Deep Reinforcement Learning
- Einschränkungen tabellarischer Methoden
- Verwendung neuronaler Netze zur Funktionsapproximation
- Architektur und Workflow des Deep Q-Networks (DQN)
- Erfahrungspuffer und Zielnetzwerke
5. Fortgeschrittene DRL-Algorithmen
- Double DQN, Dueling DQN und priorisierte Erfahrungswiederverwendung
- Policy-Gradient-Methoden: REINFORCE-Algorithmus
- Actor-Critic-Architekturen (A2C, A3C)
- Proximal Policy Optimization (PPO)
- Soft Actor-Critic (SAC)
6. Arbeit mit kontinuierlichen Aktionsräumen
- Herausforderungen in der kontinuierlichen Steuerung
- Verwendung von DDPG (Deep Deterministic Policy Gradient)
- Twin Delayed DDPG (TD3)
7. Praktische Werkzeuge und Frameworks
- Verwendung von Stable-Baselines3 und Ray RLlib
- Protokollierung und Überwachung mit TensorBoard
- Hyperparameter-Optimierung für DRL-Modelle
8. Belohnungsgestaltung und Umgebungsdesign
- Belohnungsformung und Abwägung von Strafen
- Konzepte des Transfer-Lernens von Simulation zur Realität
- Erstellung benutzerdefinierter Umgebungen in Gymnasium
9. Teilweise beobachtbare Umgebungen und Generalisierung
- Umgang mit unvollständigen Zustandsinformationen (POMDPs)
- Gedächtnisbasierte Ansätze mit LSTMs und RNNs
- Verbesserung der Robustheit und Generalisierungsfähigkeit der Agenten
10. Spieltheorie und Multi-Agent-Reinforcement-Learning
- Einführung in Multi-Agenten-Umgebungen
- Kooperation vs. Wettbewerb
- Anwendungen im adversarialen Training und in der Strategieoptimierung
11. Fallstudien und reale Anwendungen
- Simulationen autonomen Fahrens
- Dynamische Preisgestaltung und Finanzhandelstrategien
- Robotik und industrielle Automatisierung
12. Fehlerbehebung und Optimierung
- Diagnose instabiler Trainingsläufe
- Behandlung von Belohnungsverdünnung und Überanpassung
- Skalierung von DRL-Modellen auf GPUs und verteilten Systemen
13. Zusammenfassung und nächste Schritte
- Wiederholung der DRL-Architektur und wichtiger Algorithmen
- Branchentrends und Forschungsrichtungen (z. B. RLHF, hybride Modelle)
- Weitere Ressourcen und Lesematerialien
Voraussetzungen
- Fortgeschrittene Kenntnisse in der Python-Programmierung
- Verständnis von Analysis und lineare Algebra
- Grundkenntnisse in Wahrscheinlichkeitstheorie und Statistik
- Erfahrung im Aufbau von Machine-Learning-Modellen mit Python sowie NumPy oder TensorFlow/PyTorch
Zielgruppe
- Entwickler mit Interesse an KI und intelligenten Systemen
- Data Scientists, die Reinforcement-Learning-Frameworks erkunden
- Machine-Learning-Ingenieure, die mit autonomen Systemen arbeiten
Erfahrungsberichte (2)
Erfahrungsaufbau im Bereich der Prompt-Wiederholung für Personen, die zuvor keine KI genutzt haben, sowie die Einführung alternativer Methoden der KI-Nutzung für bestehende Anwender.
Matthew Gay - Tarsus Pharmaceuticals
Kurs - Artificial Intelligence (AI) Overview
Maschinelle Übersetzung
Nach grundlegenden Prinzipien arbeiten und sich innerhalb desselben Tages auf die Anwendung von Fallstudien konzentrieren
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Artificial Neural Networks, Machine Learning, Deep Thinking
Maschinelle Übersetzung