Schulungsübersicht
1. Einführung in Deep Reinforcement Learning
- Was ist Reinforcement Learning?
- Unterschiede zwischen überwachten, unüberwachten und Verstärkungs-learning
- Anwendungen von DRL im Jahr 2025 (Robotik, Gesundheitswesen, Finanzen, Logistik)
- Verständnis der Interaktions-Schleife zwischen Agent und Umgebung
2. Grundlagen des Reinforcement Learning
- Markovsche Entscheidungssprobleme (MDP)
- Zustand, Aktion, Belohnung, Politik und Wertfunktionen
- Kompromiss zwischen Exploration und Exploitation
- Monte-Carlo-Methoden und Temporal-Difference (TD)-Lernen
3. Implementierung grundlegender RL-Algorithmen
- Tabellarische Methoden: Dynamische Programmierung, Bewertung und Iteration der Politik
- Q-Learning und SARSA
- Epsilon-greedy-Exploration und abklingende Strategien
- Implementierung von RL-Umgebungen mit OpenAI Gymnasium
4. Übergang zu Deep Reinforcement Learning
- Einschränkungen tabellarischer Methoden
- Verwendung neuronaler Netze zur Funktionsapproximation
- Architektur und Workflow des Deep Q-Networks (DQN)
- Erfahrungspuffer und Zielnetzwerke
5. Fortgeschrittene DRL-Algorithmen
- Double DQN, Dueling DQN und priorisierte Erfahrungswiederverwendung
- Policy-Gradient-Methoden: REINFORCE-Algorithmus
- Actor-Critic-Architekturen (A2C, A3C)
- Proximal Policy Optimization (PPO)
- Soft Actor-Critic (SAC)
6. Arbeit mit kontinuierlichen Aktionsräumen
- Herausforderungen in der kontinuierlichen Steuerung
- Verwendung von DDPG (Deep Deterministic Policy Gradient)
- Twin Delayed DDPG (TD3)
7. Praktische Werkzeuge und Frameworks
- Verwendung von Stable-Baselines3 und Ray RLlib
- Protokollierung und Überwachung mit TensorBoard
- Hyperparameter-Optimierung für DRL-Modelle
8. Belohnungsgestaltung und Umgebungsdesign
- Belohnungsformung und Abwägung von Strafen
- Konzepte des Transfer-Lernens von Simulation zur Realität
- Erstellung benutzerdefinierter Umgebungen in Gymnasium
9. Teilweise beobachtbare Umgebungen und Generalisierung
- Umgang mit unvollständigen Zustandsinformationen (POMDPs)
- Gedächtnisbasierte Ansätze mit LSTMs und RNNs
- Verbesserung der Robustheit und Generalisierungsfähigkeit der Agenten
10. Spieltheorie und Multi-Agent-Reinforcement-Learning
- Einführung in Multi-Agenten-Umgebungen
- Kooperation vs. Wettbewerb
- Anwendungen im adversarialen Training und in der Strategieoptimierung
11. Fallstudien und reale Anwendungen
- Simulationen autonomen Fahrens
- Dynamische Preisgestaltung und Finanzhandelstrategien
- Robotik und industrielle Automatisierung
12. Fehlerbehebung und Optimierung
- Diagnose instabiler Trainingsläufe
- Behandlung von Belohnungsverdünnung und Überanpassung
- Skalierung von DRL-Modellen auf GPUs und verteilten Systemen
13. Zusammenfassung und nächste Schritte
- Wiederholung der DRL-Architektur und wichtiger Algorithmen
- Branchentrends und Forschungsrichtungen (z. B. RLHF, hybride Modelle)
- Weitere Ressourcen und Lesematerialien
Voraussetzungen
- Fortgeschrittene Kenntnisse in der Python-Programmierung
- Verständnis von Analysis und lineare Algebra
- Grundkenntnisse in Wahrscheinlichkeitstheorie und Statistik
- Erfahrung im Aufbau von Machine-Learning-Modellen mit Python sowie NumPy oder TensorFlow/PyTorch
Zielgruppe
- Entwickler mit Interesse an KI und intelligenten Systemen
- Data Scientists, die Reinforcement-Learning-Frameworks erkunden
- Machine-Learning-Ingenieure, die mit autonomen Systemen arbeiten
Erfahrungsberichte (3)
Mir hat besonders der Schluss gefallen, als wir die Zeit nahmen, mit CHAT GPT herumzuspielen. Der Raum war dafür jedoch nicht optimal eingerichtet – anstelle eines großen Tisches wären ein paar kleinere Tische nützlicher gewesen, damit wir in kleinen Gruppen zusammenkommen und brainstormen könnten.
Nola - Laramie County Community College
Kurs - Artificial Intelligence (AI) Overview
Maschinelle Übersetzung
Nach grundlegenden Prinzipien arbeiten und sich innerhalb desselben Tages auf die Anwendung von Fallstudien konzentrieren
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Artificial Neural Networks, Machine Learning, Deep Thinking
Maschinelle Übersetzung
Dass es reale Firmendaten verwendete. Der Trainer hatte einen sehr guten Ansatz, indem er die Teilnehmer aktiv einbezog und sie miteinander wetteifern ließ.
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Kurs - Applied AI from Scratch in Python
Maschinelle Übersetzung
