EXO: End-to-End-Einführung eines lokalen KI-Clusters Schulung

Einführung in EXO sowie das Konzept des lokalen KI-Clusterings

• Überblick über das EXO-Framework sowie das exo-explore-Ökosystem.
• Vergleich zwischen zentralisierter Cloud-basierter Ausführung und verteiltem lokalen KI-Betrieb.
• Systemarchitektur: libp2p für die Geräteerkennung, MLX als Rechenkern sowie Dashboard- und API-Ebene.
• Hardwarevoraussetzungen: Apple Silicon-Prozessoren (M3 Ultra, M4 Pro/Max), Thunderbolt 5 sowie gemeinsame Speicherressourcen.

Installation von EXO auf macOS

• Einrichtung von Xcode, Metal ToolChain sowie weiteren Systemvoraussetzungen unter macOS.
• Installation von uv, Node.js und der Rust-Nightly-Toolchain.
• Aufspielen des speziell angepassten macmon-Forks zur Überwachung von Apple Silicon-Geräten.
• Klonen des Repositorys sowie Erstellung des Dashboards mithilfe von npm.
• Ausführen von EXO direkt aus dem Quellcode und Prüfen der Funktionalität am localhost:52415-Dashboard.

Installation von EXO auf Linux

• Installation der erforderlichen Pakete via apt oder Homebrew unter Linux.
• Einrichten von uv, Node.js 18+ sowie der Rust-Nightly-Version.
• Bauen des Dashboards und Start von EXO im CPU-only-Modus.
• Strukturierung der Verzeichnisse gemäß den XDG-Richtlinien: Konfiguration, Daten, Cache und Protokolle werden separat gespeichert.

Automatische Geräteerkennung sowie Cluster-Einrichtung

• Funktionen von libp2p zur automatischen Erkennung von Geräten im lokalen Netzwerk.
• Konfiguration benutzerdefinierter Namespaces mittels EXO_LIBP2P_NAMESPACE für eine isolierte Cluster-Zusammensetzung.
• Überprüfung der Teilnahme einzelner Knoten im Dashboard.
• Lösungsansätze bei fehlgeschlagener Geräteerkennung oder Problemen durch Netzsegmentierung.

Aktivierung von RDMA über Thunderbolt 5

• Die Funktionsweise von RDMA und der damit verbundene Latenzverringerungsvorteil von rund 99 Prozent.
• Aktivierung von RDMA unter macOS im Wiederherstellungsmodus mittels des Tools rdma_ctl.
• Voraussetzungen hinsichtlich Kabeltypen und Port-Konfiguration beim Einsatz mit Mac Studio-Geräten.
• Gleichzeitige Ausführung desselben macOS-Updates auf allen Cluster-Knoten erforderlich.
• Fehlerbehebung bei Problemen in der RDMA-Erkennung sowie DHCP-Konfiguration.

Bereitstellung fortschrittlicher KI-Modelle

• Nutzung des Dashboards zum Laden und Aufteilen von Modellen wie DeepSeek v3.1, Qwen3-235B sowie der Llama-Familie.
• Vorschau der vorgeschlagenen Gerätezuweisungen via /instance/previews-API-Endpunkt.
• Einrichten der Modelle unter Verwendung von Pipeline- oder Tensor-Parallel-Sharding.
• Erstellung individueller Modell-Konfigurationen über das HuggingFace Hub.

Überwachung und Fehleranalyse

• Auswertung der EXO-Protokolle sowie Verständnis der verteilten Tracking-Mechanismen.
• Einschätzung des Gesundheitszustands des Clusters mittels Dashboard-Ansicht.
• Identifikation und Diagnose von Ausfällen einzelner Arbeitsknoten sowie deren automatischem Wiederanschluss.
• Einsatz von EXO_TRACING_ENABLED zur Erkennung möglicher Performanz-Engpässe.

Wartung und Updates des Clusters

• Aktualisierung der EXO-Binärdateien sowie Neuerstellung des Dashboards.
• Migration bestehender Modell-Caches sowie Verwaltung heruntergeladener Modelle über ein NFS-Netzwerk.
• Ordnungsgemäße Entfernung von Knoten aus dem Cluster sowie Ausgleich der verbleibenden Lastverteilung.