Kontakt aufnehmen

Schulungsübersicht

Einführung in das Skalieren von Ollama

  • Architektur von Ollama sowie Aspekte der Skalierung
  • Häufige Engpässe bei Multi-User-Deploys
  • Beste Vorgehensweisen für die Vorbereitung der Infrastruktur

Ressourcenzuweisung und GPU-Optimierung

  • Strategien zur effizienten Nutzung von CPU und GPU
  • Aspekte bezüglich Speicherplatz sowie Datenbandbreite
  • Einschränkungen der Ressourcennutzung auf Container-Ebene

Bereitstellung mit Containern und Kubernetes

  • Containerisierung von Ollama mittels Docker
  • Ausführung von Ollama in Kubernetes-Clustern
  • Lastverteilung sowie Service-Discovery-Verfahren

Automatische Skalierung und Bündelung von Anfragen

  • Ausgestaltung geeigneter Autoscaling-Richtlinien für Ollama
  • Verfahren zum Zusammenfassen von Abfragen zur Steigerung des Durchsatzes
  • Abbägung zwischen Latenz und Durchsatz bei der Modellverarbeitung

Latenz-Optimierung

  • Analyse der Ausführungsleistung von Inferenzen
  • Caching-Verfahren sowie Maßnahmen zur Vorwärmung des Modells
  • Einschränkung von Ein-/Ausgabe- und Kommunikationsaufwanden

Überwachung und Beobachtbarkeit der Infrastruktur

  • Einsatz von Prometheus zur Datenerfassung
  • Erstellung übersichtlicher Dashboards mit Grafana
  • Alarmierung sowie Problemlösung bei Störungen in der Ollama-Infrastruktur

Kostenmanagement und Strategien zur Skalierung

  • Ressourcenzuweisung unter Berücksichtigung von Kostenaspekten
  • Aspekte bezüglich Cloud- vs. lokalen Bereitstellungsmöglichkeiten
  • Langfristig tragfähige Konzepte für die Skalierung von Systemen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung in der Administration von Linux-Systemen
  • Grundkenntnisse in Container-Technologien und Orchestrierungswerkzeugen
  • Bekanntheit mit dem Bereitstellen von maschinellen Lernalgorithmen

Zielgruppe

  • DevOps-Entwickler
  • Teams für die Bereitstellung von Machine-Learning-Infrastrukturen
  • Site Reliability Engineers
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien