Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Ausführung von EXO im Offline-Modus
- Nutzung von EXO_OFFLINE zur Verhinderung jeglichen Internetzugriffs während der Laufzeit
- Vorabladen von Modellen in den Ordner EXO_MODELS_READ_ONLY_DIRS aus vertrauenswürdigen internen Spiegeln
- Überprüfung der Integrität der Modellgewichte mittels SHA-256-Checksummen und signierter Modellbeschreibungen
- Betrieb von EXO in abgeschirmten Netzwerken ohne Abhängigkeit von HuggingFace
Zugriffssteuerung für Dashboard und API
- Einrichten und Konfiguration von Reverse-Proxy-Servern (nginx, Caddy) inklusive TLS-Verschlüsselung
- Durchsetzung einer rollenbasierten Zugriffskontrolle für das EXO-Dashboard sowie die REST-API
- Speichern von Authentifizierungsdaten in dem macOS-Schlüsselbund oder dem Linux-Pass-Tool
- Einschränkung der Verwaltungszugriffe auf bestimmte IP-Adressbereiche
Cluster-Isolation und Netzwerksicherheit
- Trennung von EXO-Clustern mittels EXO_LIBP2P_NAMESPACE sowie VLANs
- Konfiguration der Host-Firewalls (macOS Firewall, iptables, nftables) für den Schutz der EXO-Ports
- Vermeidung unbefugter Geräteerkennung und Verhindern von Angriffen durch manipulierte Knoten
- Verschlüsselung des libp2p-Datenverkehrs, falls keine RDMA-Verbindungen verfügbar sind
Governance und Nachverfolgbarkeit von Modellen
- Einrichtung eines internen Model-Registers mit genehmigten Modellen samt Metadaten
- Versionsverwaltung quantisierter Gewichte (4-Bit, 8-Bit) sowie deren Zuordnung zu Ursprungs-Checkpoints
- Sicherstellung, dass ausschließlich bestimmte HuggingFace-Repositories oder interne Artefakte geladen werden können
- Dokumentation der Modellherkunft, Lizenzbedingungen sowie Nutzungsregeln
Audit-Protokollierung und Compliance-Verwaltung
- Konfiguration des automatischen EXO-Log-Forwardings zu unveränderlichen Audit-Systemen (z.B. SIEM oder WORM-Speicher)
- Zuordnung von API-Aufrufen zu den jeweiligen Benutzern und Zeitstempeln
- Erfassung sämtlicher Ereignisse bezüglich der Erstellung, Löschung sowie Verwendung von Modellen
- Erstellung regelmäßiger Compliance-Berichte für interne und externe Auditoren
Gefährdungsanalyse und Reaktionsplanung bei Vorfällen
- Erfassung möglicher Bedrohungen: Datenabfluss über Modellausgaben, Prompt-Injection-Angriffe sowie Seitenkanal-Exploits
- Implementierung von Mechanismen zur Überwachung und Filterung eingehender Prompts<\/li>
- Entwicklung von Anweisungen für das schnelle Eingreifen bei Sicherheitsvorfällen im Clusterbereich
- Isolierung betroffener Knoten, Sicherstellung der Verfügbarkeit forensischer Logs sowie Wiederherstellung sauberer Systemumgebungen
Physische Sicherheit und Hardware-Schutzmaßnahmen
- Sicherung der Thunderbolt-Anschlüsse, um unbefugte RDMA-Verbindungen zu verhindern
- Einsatz von sicheren Umgebungen sowie Hardware-Attestation bei Apple-Silicon-Geräten
- Überwachung des physischen Zugangs zu Clustern aus Mac-Rechnern und gemeinsam genutztem Speicherplatz
- Dokumentation der Lebenszyklen sowie Entsorgungsverfahren für Hardwarekomponenten
Regulatorische Aspekte und Vorgaben
- Ausrichtung von EXO-Installationen auf die Anforderungen der GDPR, HIPAA sowie SOC 2-Vorgaben
- Sicherstellung der Datensouveränität durch reine On-Premise-Verarbeitung von Inferenzprozessen
- Bewertung möglicher Risiken entlang der Lieferkette (MLX, EXO sowie Modellgewichte)
- Vorbereitung auf künftige Regelungen zur KI-Governance wie Artikel 53 des EU-KI-Gesetzes
Voraussetzungen
- Erfahrung mit EXO oder einem anderen lokalen LLM-Runtime-System
- Kenntnisse über Berechtigungen im Unix-Dateisystem sowie Netzwerk-ACLs
- Bekanntheit mit der Verwaltung von TLS/SSL-Zertifikaten und grundlegenden Verschlüsselungsverfahren
Zielgruppe
- Sicherheitsingenieure
- Compliance-Beauftragte
- Administratoren von KI-Infrastrukturen, die mit sensiblen Daten arbeiten
14 Stunden
Erfahrungsberichte (1)
Der Trainer hatte ein ausgezeichnetes Wissen über FortiGate und vermittelte den Inhalt sehr gut. Vielen Dank an Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Kurs - FortiGate 7.4 Administration
Maschinelle Übersetzung