Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Infrastructure-as-Code mit EXO
- Übersicht über Einsatzmöglichkeiten: Einzelknoten-, Mehrknoten- sowie RDMA-Cluster
- Automatisierung der Abhängigkeitsinstallation (Xcode, uv, Node.js, Rust) mittels Konfigurationsverwaltung.
- Nutzung von Nix Flakes zur Erstellung reproduzierbarer EXO-Builds sowie Entwicklungsumgebungen.
- Erstellung von Ansible-Playbooks bzw. Shell-Skripten für die unbeaufsichtigte Cluster-Einrichtung.
Reproduzierbare Builds und CI-Integration
- Festlegung von Abhängigkeiten sowie Generierung des Dashboards innerhalb von CI-Pipelines.
- Durchführung von EXO-Routinetests in GitHub Actions bzw. GitLab CI-Umgebungen.
- Erstellung standardisierter Basis-Images sowie Rollback-Prozeduren für VMs unter macOS und Linux basierend auf Snapshots.
- Versionierung benutzerdefinierter Modellkonfigurationen parallel zu Anwendungscode.
Automatisierte Cluster-Erkundung und Netzwerkeinrichtung
- Einstellungen für mDNS sowie statische DNS-Konfiguration zur reibungslosen Erkennung der libp2p-Knoten.
- Automatisierung von Netzwerkprofil-Erstellungen und Verwaltung der Thunderbolt-Verbindungen unter macOS.
- Nutzung benutzerdefinierter Namespaces (EXO_LIBP2P_NAMESPACE) zur Unterscheidung zwischen Entwicklungs-, Test- und Produktions-Clustern.
- Definition geeigneter Firewallregeln sowie Netzwerksegmentierung in Umgebungen mit mehreren Mandanten.
Speicherverwaltung und Modell-Lebenszyklus-Management
- Auswahl der passenden Verzeichnisse für Modelle (EXO_MODELS_DIRS) sowie Schutzmodi-Einstellungen (EXO_MODELS_READ_ONLY_DIRS).
- Einbindung von NFS- oder SAN-Shared-Speicher als read-only-Modellarchive zur Beschleunigung der Cluster-Initialisierung.
- Entsorgung veralteter Caches sowie Definition nachhaltiger Strategien zur Aufbewahrung alter Modellgewichte.
- Automatische Vorbereitung und Prüfung neuer Modelle vor geplanten Updates.
Überwachung und Alarmierung
- Einspeichern von EXO-Logs in zentrale Systeme wie ELK, Loki oder Splunk.
- Erstellung spezialisierter Grafana-Dashboards aus Ergebnissen der Trace-Ausgaben (EXO_TRACING_ENABLED).
- Konfiguration von Warnmeldungen bei Veränderungen des Cluster-Zustands, Speicherplatzauslastung oder zeitweise Anstiegen der Antwortzeiten.
- Vergleich von hardwarebezogenen Sensordaten mit Modellleistungsvergleichen zur Fehleraufklärung.
Aktualisierung, Rollback-Möglichkeiten sowie Notfallwiederherstellung
- Schrittweise Einführung neuer EXO-Binärversionen zuerst in einzelnen Testknoten.
- Rollback-Strategien auf Modell-Ebene: Umstellung zwischen verschiedenen quantisierten Ausgaben ohne erneute Downloadprozeduren.
- Sicherung und Rückspielung von Clusterdaten, individuellen Namespaces sowie aktuellen Modell-Caches.
- Dokumentation standardisierter Wiederherstellungsverfahren für den Fall einer kompletten Neukonfiguration des Clusters.
Sicherheitsoptimierung und Compliance-Vorgaben
- Einsatz von TLS-Technologien im Bereich der Reverse-Proxy-Schicht (z.B. nginx, Traefik) für das Dashboard sowie die API.
- Begrenzung des Zugriffs auf EXO-APIs mittels Rate-Limit-Mechanismen und IP-Weißlisten.
- Isolierung von Clustern durch VLAN-Einstellungen bzw. Zero-Trust-Richtlinien.
- Auditierungsprozesse zur Überwachung des Zugriffs sowie Dokumentation sämtlicher eingesetzten Modelle und deren Versionen.
Voraussetzungen
- Erfahrung mit DevOps-Praktiken (CI/CD, Infrastructure-as-Code sowie Container-Orchestrierung)
- Bekanntheit mit der Systemverwaltung und Paketverwaltung unter macOS oder Linux
- Grundkenntnisse zu Netzwerken, DNS sowie Speicherkonzepten
Zielgruppe
- DevOps-Ingenieure
- Infrastrukturarchitekten
- SREs, die für On-Premise-KI-Arbeitslasten verantwortlich sind
21 Stunden
Erfahrungsberichte (2)
Craig war extrem engagiert im Training und hat stets darauf geachtet, dass wir aufmerksam sind. Er passte die Beispiele an unsere täglichen Aktivitäten an und gab immer eine Antwort, wenn danach gefragt wurde, auch wenn die Information nicht im Präsentationsmaterial enthalten war.
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
Kurs - DevOps Foundation®
Maschinelle Übersetzung
Hoher Einsatz und Fachwissen des Trainers
Jacek - Softsystem
Kurs - DevOps Engineering Foundation (DOEF)®
Maschinelle Übersetzung
