Schulungsübersicht

Einführung in Mistral im großen Maßstab

  • Überblick über Mistral Medium 3
  • Leistung vs. Kosten-Abwägungen
  • Überlegungen für das Unternehmensmaßstab

Bereitstellungsmuster für LLMs

  • Serving-Topologien und Designentscheidungen
  • Lokale vs. Cloud-Bereitstellungen
  • Hybride und multicloud-Strategien

Inferenzoptimierungstechniken

  • Batching-Strategien für hohe Durchsatzleistung
  • Kvantisierungsverfahren zur Kosteneinsparung
  • Verwendung von Beschleunigern und GPUs

Skalierbarkeit und Verlässlichkeit

  • Skalieren von Kubernetes-Clustern für die Inferenz
  • Lastverteilung und Traffic-Routing
  • Fehlertoleranz und Redundanz

Kostenmanagement-Frameworks

  • Messen der Inferenzkosteneffizienz
  • Optimales Dimensionieren von Rechen- und Speicherressourcen
  • Monitoring und Warnungen zur Optimierung

Sicherheit und Compliance in der Produktion

  • Sichern von Bereitstellungen und APIs
  • Datengovernance-Überlegungen
  • Regulatory Compliance im Kostenmanagement

Fallstudien und Best Practices

  • Referenzarchitekturen für Mistral im großen Maßstab
  • Gelernte Lektionen aus Unternehmensbereitstellungen
  • Zukünftige Trends in der effizienten LLM-Inferenz

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Grundlegendes Verständnis der Bereitstellung von Maschinelles-Lernen-Modellen
  • Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
  • Kenntnisse in Performance-Tuning und Kostenoptimierungsstrategien

Zielgruppe

  • Infrastruktur-Ingenieure
  • Cloud-Architekten
  • MLOps-Verantwortliche
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien