Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
Einführung in Mistral im Large-Scale-Betrieb
- Überblick über Mistral Medium 3
- Abwägung von Leistung und Kosten
- Aspekte im Unternehmensmaßstab
Bereitstellungsmuster für LLMs
- Serving-Topologien und Designentscheidungen
- On-Premises- vs. Cloud-Bereitstellung
- Hybride und Multi-Cloud-Strategien
Optimierungstechniken für die Inferenz
- Batching-Strategien für hohen Durchsatz
- Quantisierungsmethoden zur Kostenreduzierung
- Nutzung von Beschleunigern und GPUs
Skalierbarkeit und Zuverlässigkeit
- Skalierung von Kubernetes-Clustern für die Inferenz
- Lastausgleich und Traffic-Routing
- Fehlertoleranz und Redundanz
Kosten-Engineering-Frameworks
- Messung der Kosteneffizienz der Inferenz
- Dimensionierung von Compute- und Speicherressourcen
- Überwachung und Benachrichtigungen zur Optimierung
Sicherheit und Compliance im Produktivbetrieb
- Absicherung von Bereitstellungen und APIs
- Aspekte der Datenverwaltung
- Regulatorische Compliance im Kosten-Engineering
Fallstudien und Best Practices
- Referenzarchitekturen für Mistral im Large-Scale-Betrieb
- Erfahrungen aus Unternehmens-Bereitstellungen
- Zukunftstrends in der effizienten LLM-Inferenz
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegendes Verständnis des Deployments von Machine-Learning-Modellen
- Erfahrung mit Cloud-Infrastrukturen und verteilten Systemen
- Vertrautheit mit Performance-Tuning und Kostenoptimierungsstrategien
Zielgruppe
- Infrastrukturingenieure
- Cloud-Architekten
- MLOps-Leitende