Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in Mistral bei Skalierung
- Übersicht über Mistral Medium 3
- Abwägung zwischen Leistung und Kosten
- Berücksichtigung von Anforderungen im Unternehmensumfeld
Bereitstellungsmuster für LLMs
- Serving-Topologien und Designentscheidungen
- On-Premises- versus Cloud-Deployments
- Hybride und Multi-Cloud-Strategien
Techniken zur Inferenzoptimierung
- Batching-Strategien für hohen Durchsatz
- Quantisierungsmethoden zur Kostensenkung
- Nutzung von Beschleunigern und GPUs
Skalierbarkeit und Zuverlässigkeit
- Skalierung von Kubernetes-Clustern für Inferenz
- Lastverteilung und Traffic-Routing
- Fehlertoleranz und Redundanz
Rahmenwerke für Kosten-Ingenieurwesen
- Messung der Effizienz der Inferenzkosten
- Dimensionierung von Compute- und Speicherressourcen
- Überwachung und Alarmierung zur Optimierung
Sicherheit und Compliance im Produktivbetrieb
- Sicherung von Deployments und APIs
- Aspekte der Datenverwaltung
- Regulatorische Compliance im Kosten-Ingenieurwesen
Fallstudien und Best Practices
- Referenzarchitekturen für Mistral bei Skalierung
- Erfahrungen aus Unternehmensdeployments
- Zukunftstrends in der effizienten LLM-Inferenz
Zusammenfassung und nächste Schritte
Voraussetzungen
- Gutes Verständnis der Deployment-Prozesse von Machine-Learning-Modellen.
- Erfahrung mit Cloud-Infrastrukturen und verteilten Systemen.
- Kenntnis von Strategien zur Performance-Optimierung und Kostensenkung.
Zielgruppe
- Infrastruktur-Ingenieure
- Cloud-Architekten
- MLOps-Lead
14 Stunden
