Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Schulung
Parameter-Efficient Fine-Tuning (PEFT) is a collection of techniques that enable efficient adaptation of large language models (LLMs) by modifying only a small subset of parameters.
This instructor-led, live training (online or onsite) is aimed at intermediate-level data scientists and AI engineers who wish to fine-tune large language models more affordably and efficiently using methods like LoRA, Adapter Tuning, and Prefix Tuning.
By the end of this training, participants will be able to:
- Understand the theory behind parameter-efficient fine-tuning approaches.
- Implement LoRA, Adapter Tuning, and Prefix Tuning using Hugging Face PEFT.
- Compare performance and cost trade-offs of PEFT methods vs. full fine-tuning.
- Deploy and scale fine-tuned LLMs with reduced compute and storage requirements.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training for this course, please contact us to arrange.
Schulungsübersicht
Introduction to Parameter-Efficient Fine-Tuning (PEFT)
- Motivation and limitations of full fine-tuning
- Overview of PEFT: goals and benefits
- Applications and use cases in industry
LoRA (Low-Rank Adaptation)
- Concept and intuition behind LoRA
- Implementing LoRA using Hugging Face and PyTorch
- Hands-on: Fine-tuning a model with LoRA
Adapter Tuning
- How adapter modules work
- Integration with transformer-based models
- Hands-on: Applying Adapter Tuning to a transformer model
Prefix Tuning
- Using soft prompts for fine-tuning
- Strengths and limitations compared to LoRA and adapters
- Hands-on: Prefix Tuning on an LLM task
Evaluating and Comparing PEFT Methods
- Metrics for evaluating performance and efficiency
- Trade-offs in training speed, memory usage, and accuracy
- Benchmarking experiments and result interpretation
Deploying Fine-Tuned Models
- Saving and loading fine-tuned models
- Deployment considerations for PEFT-based models
- Integrating into applications and pipelines
Best Practices and Extensions
- Combining PEFT with quantization and distillation
- Use in low-resource and multilingual settings
- Future directions and active research areas
Summary and Next Steps
Voraussetzungen
- An understanding of machine learning fundamentals
- Experience working with large language models (LLMs)
- Familiarity with Python and PyTorch
Audience
- Data scientists
- AI engineers
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Schulung - Booking
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Schulung - Enquiry
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs - Beratungsanfrage
Beratungsanfrage
Kommende Kurse
Kombinierte Kurse
Advanced Techniques in Transfer Learning
14 StundenDiese von einem Ausbilder geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Fachleute für maschinelles Lernen, die modernste Transfer-Learning-Techniken beherrschen und auf komplexe reale Probleme anwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- fortgeschrittene Konzepte und Methoden des Transferlernens zu verstehen.
- Implementierung domänenspezifischer Anpassungstechniken für vortrainierte Modelle.
- Kontinuierliches Lernen anwenden, um sich entwickelnde Aufgaben und Datensätze zu verwalten.
- Multi-Task-Feintuning zu beherrschen, um die Modellleistung aufgabenübergreifend zu verbessern.
AI Automation with n8n and LangChain
14 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Entwickler und IT-Fachleute aller Qualifikationsstufen, die Aufgaben und Prozesse mithilfe von KI automatisieren möchten, ohne umfangreichen Code zu schreiben.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Komplexe Workflows mit der visuellen Programmierschnittstelle von n8n zu entwerfen und zu implementieren.
- KI-Funktionen mithilfe von LangChain in Workflows zu integrieren.
- Individuelle Chatbots und virtuelle Assistenten für verschiedene Anwendungsfälle zu erstellen.
- Erweiterte Datenanalyse und -verarbeitung mit KI-Agenten durchführen.
Automating Workflows with LangChain and APIs
14 StundenDiese Live-Schulung in Deutschland (online oder vor Ort) unter der Leitung eines Trainers richtet sich an Anfänger im Bereich der Geschäftsanalytik und Automatisierungsingenieure, die verstehen möchten, wie man LangChain und APIs für die Automatisierung von sich wiederholenden Aufgaben und Arbeitsabläufen verwendet.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein
- Die Grundlagen der API-Integration mit LangChain zu verstehen.
- Sich wiederholende Arbeitsabläufe mit LangChain und Python zu automatisieren.
- Nutzung von LangChain zur Verbindung verschiedener APIs für effiziente Geschäftsprozesse.
- Benutzerdefinierte Workflows mithilfe von APIs und den Automatisierungsfunktionen von LangChain erstellen und automatisieren.
Building Conversational Agents with LangChain
14 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Fachleute auf mittlerem Niveau, die ihr Verständnis von Conversational Agents vertiefen und LangChain auf reale Anwendungsfälle anwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundlagen von LangChain und seine Anwendung bei der Entwicklung von Conversational Agents zu verstehen.
- Konversationsagenten mit LangChain entwickeln und einsetzen.
- Konversationsagenten mit APIs und externen Diensten zu integrieren.
- Anwendung von Natural Language Processing (NLP)-Techniken zur Verbesserung der Leistung von Conversational Agents.
Building Private AI Workflows with Ollama
14 StundenDiese von einem Ausbilder geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Fachleute, die sichere und effiziente KI-gesteuerte Arbeitsabläufe mit Ollama implementieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Einsatz und Konfiguration von Ollama für private KI-Verarbeitung.
- KI-Modelle in sichere Unternehmens-Workflows zu integrieren.
- Die KI-Leistung unter Wahrung des Datenschutzes zu optimieren.
- Geschäftsprozesse mit KI-Funktionen vor Ort zu automatisieren.
- die Einhaltung von Sicherheits- und Governance-Richtlinien des Unternehmens zu gewährleisten.
Deploying Fine-Tuned Models in Production
21 StundenDiese von einem Ausbilder geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Fachleute, die feinabgestimmte Modelle zuverlässig und effizient einsetzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Herausforderungen bei der Bereitstellung fein abgestimmter Modelle in der Produktion zu verstehen.
- Modelle mithilfe von Tools wie Docker und Kubernetes zu containerisieren und bereitzustellen.
- Überwachung und Protokollierung für bereitgestellte Modelle zu implementieren.
- Modelle für Latenz und Skalierbarkeit in realen Szenarien zu optimieren.
Deploying and Optimizing LLMs with Ollama
14 StundenDiese von einem Ausbilder geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Fachleute auf mittlerem Niveau, die LLMs mit Ollama einsetzen, optimieren und integrieren möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- LLMs mit Ollama einzurichten und einzusetzen.
- KI-Modelle auf Leistung und Effizienz zu optimieren.
- die Beschleunigung von GPU für verbesserte Inferenzgeschwindigkeiten zu nutzen.
- Ollama in Arbeitsabläufe und Anwendungen zu integrieren.
- Die Leistung von KI-Modellen im Laufe der Zeit zu überwachen und zu erhalten.
Ethical Considerations in AI Development with LangChain
21 StundenDiese von einem Dozenten geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene KI-Forscher und politische Entscheidungsträger, die sich mit den ethischen Auswirkungen der KI-Entwicklung befassen und lernen möchten, wie sie ethische Richtlinien bei der Entwicklung von KI-Lösungen mit LangChain anwenden können.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:
- Die wichtigsten ethischen Fragen bei der KI-Entwicklung mit LangChain zu identifizieren.
- Die Auswirkungen von KI auf die Gesellschaft und Entscheidungsprozesse zu verstehen.
- Strategien für den Aufbau fairer und transparenter KI-Systeme zu entwickeln.
- Ethische KI-Richtlinien in LangChain-basierte Projekte zu implementieren.
Enhancing User Experience with LangChain in Web Apps
14 StundenDiese Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Webentwickler und UX-Designer, die LangChain nutzen möchten, um intuitive und benutzerfreundliche Webanwendungen zu erstellen.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die grundlegenden Konzepte von LangChain und ihre Rolle bei der Verbesserung der Web-Benutzererfahrung zu verstehen.
- Implementierung von LangChain in Webanwendungen, um dynamische und reaktionsschnelle Schnittstellen zu schaffen.
- APIs in Webanwendungen zu integrieren, um die Interaktivität und das Engagement der Benutzer zu verbessern.
- Optimieren Sie die Benutzererfahrung mit den erweiterten Anpassungsfunktionen von LangChain.
- Analysieren Sie Daten zum Benutzerverhalten, um die Leistung und das Erlebnis von Webanwendungen zu optimieren.
Fine-Tuning and Customizing AI Models on Ollama
14 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Fachleute, die KI-Modelle auf Ollama für eine verbesserte Leistung und domänenspezifische Anwendungen feinabstimmen und anpassen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- Eine effiziente Umgebung für die Feinabstimmung von KI-Modellen auf Ollama einzurichten.
- Datensätze für überwachtes Fine-Tuning und Reinforcement Learning vorzubereiten.
- KI-Modelle auf Leistung, Genauigkeit und Effizienz zu optimieren.
- Einsatz von angepassten Modellen in Produktionsumgebungen.
- Evaluierung von Modellverbesserungen und Sicherstellung der Robustheit.
LangChain: Building AI-Powered Applications
14 StundenDiese Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Entwickler und Softwareingenieure, die KI-gestützte Anwendungen mit dem LangChain-Framework erstellen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundlagen von LangChain und seinen Komponenten zu verstehen.
- LangChain mit großen Sprachmodellen (LLMs) wie GPT-4 zu integrieren.
- Modulare KI-Anwendungen mit LangChain zu erstellen.
- Häufige Probleme in LangChain-Anwendungen zu beheben.
Integrating LangChain with Cloud Services
14 StundenDiese von einem Trainer geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Dateningenieure und DevOps-Fachleute, die die Fähigkeiten von LangChain durch Integration mit verschiedenen Cloud-Diensten nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:
- Integration von LangChain mit wichtigen Cloud-Plattformen wie AWS, Azure und Google Cloud.
- Cloud-basierte APIs und Dienste zu nutzen, um LangChain-gestützte Anwendungen zu verbessern.
- Skalierung und Bereitstellung von Conversational Agents in der Cloud für Echtzeit-Interaktionen.
- Implementierung von Best Practices für Überwachung und Sicherheit in Cloud-Umgebungen.
LangChain for Data Analysis and Visualization
14 StundenDiese Live-Schulung in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Datenexperten, die mit LangChain ihre Fähigkeiten zur Datenanalyse und -visualisierung verbessern möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Datenabfrage und -bereinigung mit LangChain zu automatisieren.
- Fortgeschrittene Datenanalyse mit Python und LangChain durchführen.
- Visualisierungen mit Matplotlib und anderen in LangChain integrierten Python-Bibliotheken zu erstellen.
- Nutzung von LangChain zur Generierung von natürlichsprachlichen Erkenntnissen aus der Datenanalyse.
LangChain Fundamentals
14 StundenDiese Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Anfänger und fortgeschrittene Entwickler und Software-Ingenieure, die die Kernkonzepte und die Architektur von LangChain kennenlernen und praktische Fähigkeiten zur Erstellung von KI-gestützten Anwendungen erwerben möchten.
Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:
- Die Grundprinzipien von LangChain zu verstehen.
- Die LangChain-Umgebung einzurichten und zu konfigurieren.
- die Architektur und das Zusammenspiel von LangChain mit großen Sprachmodellen (LLMs) zu verstehen.
- Einfache Anwendungen mit LangChain zu entwickeln.
Getting Started with Ollama: Running Local AI Models
7 StundenDiese von einem Kursleiter geleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an Einsteiger, die Ollama für die Ausführung von KI-Modellen auf ihren lokalen Rechnern installieren, konfigurieren und verwenden möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundlagen von Ollama und seine Möglichkeiten zu verstehen.
- Ollama für die Ausführung lokaler KI-Modelle einzurichten.
- LLMs mit Ollama einsetzen und mit ihnen interagieren.
- Optimieren der Leistung und Ressourcennutzung für KI-Workloads.
- Erkunden von Anwendungsfällen für den Einsatz lokaler KI in verschiedenen Branchen.