Kontakt aufnehmen
 Dauer 14 Stunden

Schulungsübersicht

Einführung in Mistral im Large-Scale-Betrieb

  • Überblick über Mistral Medium 3
  • Abwägung von Leistung und Kosten
  • Aspekte im Unternehmensmaßstab

Bereitstellungsmuster für LLMs

  • Serving-Topologien und Designentscheidungen
  • On-Premises- vs. Cloud-Bereitstellung
  • Hybride und Multi-Cloud-Strategien

Optimierungstechniken für die Inferenz

  • Batching-Strategien für hohen Durchsatz
  • Quantisierungsmethoden zur Kostenreduzierung
  • Nutzung von Beschleunigern und GPUs

Skalierbarkeit und Zuverlässigkeit

  • Skalierung von Kubernetes-Clustern für die Inferenz
  • Lastausgleich und Traffic-Routing
  • Fehlertoleranz und Redundanz

Kosten-Engineering-Frameworks

  • Messung der Kosteneffizienz der Inferenz
  • Dimensionierung von Compute- und Speicherressourcen
  • Überwachung und Benachrichtigungen zur Optimierung

Sicherheit und Compliance im Produktivbetrieb

  • Absicherung von Bereitstellungen und APIs
  • Aspekte der Datenverwaltung
  • Regulatorische Compliance im Kosten-Engineering

Fallstudien und Best Practices

  • Referenzarchitekturen für Mistral im Large-Scale-Betrieb
  • Erfahrungen aus Unternehmens-Bereitstellungen
  • Zukunftstrends in der effizienten LLM-Inferenz

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundlegendes Verständnis des Deployments von Machine-Learning-Modellen
  • Erfahrung mit Cloud-Infrastrukturen und verteilten Systemen
  • Vertrautheit mit Performance-Tuning und Kostenoptimierungsstrategien

Zielgruppe

  • Infrastrukturingenieure
  • Cloud-Architekten
  • MLOps-Leitende

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien