Kontakt aufnehmen

Schulungsübersicht

Ausführung von EXO im Offline-Modus

  • Nutzung von EXO_OFFLINE zur Verhinderung jeglichen Internetzugriffs während der Laufzeit
  • Vorabladen von Modellen in den Ordner EXO_MODELS_READ_ONLY_DIRS aus vertrauenswürdigen internen Spiegeln
  • Überprüfung der Integrität der Modellgewichte mittels SHA-256-Checksummen und signierter Modellbeschreibungen
  • Betrieb von EXO in abgeschirmten Netzwerken ohne Abhängigkeit von HuggingFace

Zugriffssteuerung für Dashboard und API

  • Einrichten und Konfiguration von Reverse-Proxy-Servern (nginx, Caddy) inklusive TLS-Verschlüsselung
  • Durchsetzung einer rollenbasierten Zugriffskontrolle für das EXO-Dashboard sowie die REST-API
  • Speichern von Authentifizierungsdaten in dem macOS-Schlüsselbund oder dem Linux-Pass-Tool
  • Einschränkung der Verwaltungszugriffe auf bestimmte IP-Adressbereiche

Cluster-Isolation und Netzwerksicherheit

  • Trennung von EXO-Clustern mittels EXO_LIBP2P_NAMESPACE sowie VLANs
  • Konfiguration der Host-Firewalls (macOS Firewall, iptables, nftables) für den Schutz der EXO-Ports
  • Vermeidung unbefugter Geräteerkennung und Verhindern von Angriffen durch manipulierte Knoten
  • Verschlüsselung des libp2p-Datenverkehrs, falls keine RDMA-Verbindungen verfügbar sind

Governance und Nachverfolgbarkeit von Modellen

  • Einrichtung eines internen Model-Registers mit genehmigten Modellen samt Metadaten
  • Versionsverwaltung quantisierter Gewichte (4-Bit, 8-Bit) sowie deren Zuordnung zu Ursprungs-Checkpoints
  • Sicherstellung, dass ausschließlich bestimmte HuggingFace-Repositories oder interne Artefakte geladen werden können
  • Dokumentation der Modellherkunft, Lizenzbedingungen sowie Nutzungsregeln

Audit-Protokollierung und Compliance-Verwaltung

  • Konfiguration des automatischen EXO-Log-Forwardings zu unveränderlichen Audit-Systemen (z.B. SIEM oder WORM-Speicher)
  • Zuordnung von API-Aufrufen zu den jeweiligen Benutzern und Zeitstempeln
  • Erfassung sämtlicher Ereignisse bezüglich der Erstellung, Löschung sowie Verwendung von Modellen
  • Erstellung regelmäßiger Compliance-Berichte für interne und externe Auditoren

Gefährdungsanalyse und Reaktionsplanung bei Vorfällen

  • Erfassung möglicher Bedrohungen: Datenabfluss über Modellausgaben, Prompt-Injection-Angriffe sowie Seitenkanal-Exploits
  • Implementierung von Mechanismen zur Überwachung und Filterung eingehender Prompts<\/li>
  • Entwicklung von Anweisungen für das schnelle Eingreifen bei Sicherheitsvorfällen im Clusterbereich
  • Isolierung betroffener Knoten, Sicherstellung der Verfügbarkeit forensischer Logs sowie Wiederherstellung sauberer Systemumgebungen

Physische Sicherheit und Hardware-Schutzmaßnahmen

  • Sicherung der Thunderbolt-Anschlüsse, um unbefugte RDMA-Verbindungen zu verhindern
  • Einsatz von sicheren Umgebungen sowie Hardware-Attestation bei Apple-Silicon-Geräten
  • Überwachung des physischen Zugangs zu Clustern aus Mac-Rechnern und gemeinsam genutztem Speicherplatz
  • Dokumentation der Lebenszyklen sowie Entsorgungsverfahren für Hardwarekomponenten

Regulatorische Aspekte und Vorgaben

  • Ausrichtung von EXO-Installationen auf die Anforderungen der GDPR, HIPAA sowie SOC 2-Vorgaben
  • Sicherstellung der Datensouveränität durch reine On-Premise-Verarbeitung von Inferenzprozessen
  • Bewertung möglicher Risiken entlang der Lieferkette (MLX, EXO sowie Modellgewichte)
  • Vorbereitung auf künftige Regelungen zur KI-Governance wie Artikel 53 des EU-KI-Gesetzes

Voraussetzungen

  • Erfahrung mit EXO oder einem anderen lokalen LLM-Runtime-System
  • Kenntnisse über Berechtigungen im Unix-Dateisystem sowie Netzwerk-ACLs
  • Bekanntheit mit der Verwaltung von TLS/SSL-Zertifikaten und grundlegenden Verschlüsselungsverfahren

Zielgruppe

  • Sicherheitsingenieure
  • Compliance-Beauftragte
  • Administratoren von KI-Infrastrukturen, die mit sensiblen Daten arbeiten
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (1)

Kommende Kurse

Verwandte Kategorien