Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in LLMOps
- LLMOps im Vergleich zu MLOps: Besonderheiten des Betriebs großer Sprachmodelle
- Der Lebenszyklus von LLM-Anwendungen: Entwurf, Bewertung, Bereitstellung und Überwachung
- Checkliste für die Vorbereitung auf den Produktivbetrieb generativer KI-Anwendungen
Prompt-Management und Versionskontrolle
- Systeme zur Erstellung von Prompt-Vorlagen sowie deren variable Ausfüllung
- Semantische Versionierung von Prompts mit automatisierten Regressionstests
- Prompt-Registries und gemeinsame Arbeitsprozesse für Teams
Evaluierung großer Sprachmodelle im Großen Maßstab
- Evaluationskriterien: Genauigkeit, Relevanz, Sicherheit sowie Inhaltliche Plausibilität
- Metriken zur automatischen Bewertung mittels LLMs selbst sowie Verfahren der human-based Evaluation
- Automatisierte Evaluations-Frameworks: RAGAS, DeepEval sowie eigene Bewertungsalgorithmen
- Nachweisfähige Qualitätsstandards in CI/CD-Pipelines für LLM-Implementierungen
Sicherheitsvorkehrungen und Inhaltskontrolle
- Schutzmechanismen für Eingaben und Ausgaben: Tools wie NeMo Guardrails und Guardrails AI
- Erkennung personenbezogener Daten, Filterung toxischer Inhalte sowie Festlegung zulässiger Themenbereiche
- Strategien zur Abwehr von Angriffen wie Jailbreak-Techniken und Prompt-Injection-Versuchen
- Red-Team-Analysen, um die Sicherheit LLM-basierter Anwendungen zu prüfen
Beobachtbarkeit und Monitoring von LLMs
- Aufzeichnung relevanter Telemetriedaten: Token-Verbrauch, Latenzzeit, Kosten sowie Qualitätskennzahlen
- Erkennung von Veränderungen im Modellverhalten sowie in den verwendeten Vektorrepräsentationen
- Aufzeichnungsmechanismen für mehrstufige Gespräche zwischen Benutzern und KI-Assistenten
- Visualisierung der Messwerte mittels Dashboards von LangSmith, Arize oder OpenTelemetry
AI-Gateways und Orchestrierung mehrerer Modelle
- Routing zwischen unterschiedlichen Modellen durch Tools wie LiteLLM und Portkey
- Strategien zum automatischen Umleiten bei Ausfällen, Wiederholungsmechanismen sowie Absicherungen gegen Fehlverhalten von Modellen
- Auswahl des kosteneffizientesten Modells basierend auf Lastverteilung und Bedarfen der Anwendung
- Verwaltung von Nutzungsgrenzen, Zugriffsrechten sowie API-Schlüsseln im Teamkontext
Optimierung der Systemleistung
- Nutzung semantischen Cachings mittels Vektordatenbanken oder exakter Abgleichsverfahren
- Gewährleistung strukturierter Antwortformaten durch eingeschränktes Decodieren von Ausgaben
- Effiziente Verarbeitungsmethoden wie Batching, Streaming sowie parallele Ausführung verschiedener Tasks
- Verringerung der Latenz bei unterschiedlichen Cloud-Anbietern und Modellen
Governance, Compliance und Nachvollziehbarkeit
- Dokumentation aller Aktivitäten: Protokollierung der verwendeten Prompts sowie der Modellantworten zur späteren Analyse
- Beachtung gesetzlicher Vorgaben hinsichtlich Datenschutz und Standortgebundenheit von Daten bei LLM-APIs
- Einführung policy-basierter Steuerungsmechanismen für den sicheren Einsatz großer Sprachmodelle im Unternehmen
- Erstellung eines internen Handbuchs zum effektiven Betrieb von LLMs in Firmenumgebungen
Voraussetzungen
- Erfahrung im Entwickeln oder Integrieren von Anwendungen, die auf großen Sprachmodellen basieren.
- Grundkenntnisse in Python sowie REST-APIs.
- Vorwissen zu Konzepten des Prompt-Engineerings.
Zielgruppe
- Machine-Learning-Ingenieure sowie MLOps-Spezialisten, die sich nun auf den Betrieb von LLMs spezialisieren.
- Plattformingenieure, die für die Infrastruktur im Umfeld großer Sprachmodelle verantwortlich sind.
- Technische Leiter, die Produktionsumgebungen mit generativen KI-Anwendungen betreuen.
14 Stunden
Erfahrungsberichte (2)
Einsatz von angemessenen und wirksamen Prompts
Marses Pacaldo
Kurs - Generative AI and Prompt Engineering for Corporate Professionals
Maschinelle Übersetzung
Der interaktive Stil, die Übungen
Tamas Tutuntzisz
Kurs - Introduction to Prompt Engineering
Maschinelle Übersetzung
