Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
KI-Souveränität und lokale Bereitstellung von LLMs
- Risiken der Nutzung von Cloud-basierten Sprachmodellen: Datenspeicherung, Trainierung auf Benutzereingaben sowie ausländische Rechtsordnungen.
- Ollama-Architektur: Modellserver, zentrale Registry und OpenAI-kompatible Schnittstelle.
- Vergleich mit vLLM, llama.cpp sowie Text Generation Inference.
- Lizenzbedingungen der Modelle Llama, Mistral, Qwen und Gemma.
Installation und Hardware-Setup
- Ollama auf Linux mit CUDA- und ROCm-Unterstützung installieren.
- Fallback-Betrieb nur mit CPU sowie Optimierungen durch AVX/AVX2.
- Einsatz in Docker-Umgebungen samt persistenter Datenspeicherzuweisung.
- Mehrfach-GPU-Konfigurationen sowie Strategien zur VRAM-Zuweisung.
Modellverwaltung
- Modelle aus der Ollama-Registry beziehen: ollama pull llama3.
- Einführung von GGUF-Modellen von HuggingFace sowie TheBloke.
- Durchsicht unterschiedlicher Quantisierungsstufen – z. B. Q4_K_M, Q5_K_M, Q8_0.
- Wechsel zwischen verschiedenen Modellen und Begrenzungen beim gleichzeitigen Laden mehrerer Modelle.
Eigene Modelfiles erstellen
- Syntaxregeln für Modelfiles: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Parametereinstellungen wie Temperature, top_p und Repeat Penalty anpassen.
- System-Prompts zur Steuerung des Verhaltens der Modelle optimieren.
- Eigene Modelle entwickeln und in die lokale Registry hochladen.
API-Integration
- Nutzung des OpenAI-kompatiblen Endpunkts /v1/chat/completions.
- Ablauf von Streaming-Antworten sowie Einstellung im JSON-Modus.
- Verbindung mit LangChain, LlamaIndex und eigenen Anwendungen.
- Sicherheitsmechanismen wie Authentifizierung sowie Rate-Limiting durch Reverse Proxy.
Leistungsoptimierung
- Größe des Kontext-Fensters und Verwaltung des KV-Caches steuern.
- Batch-Inferenz sowie parallele Verarbeitung vieler Anfragen realisieren.
- Einstellungen der CPU-Kerne und Einbindung von NUMA berücksichtigen.
- Überwachung der GPU-Auslastung sowie der Speichernutzung prüfen.
Sicherheit und Compliance
- Netzwerkisolation der Modell-Dienstendpunkte einrichten.
- Eingabefilterung sowie Ausgabeüberwachungsverfahren implementieren.
- Protokollierung sämtlicher Prompts und Antworten für Audits.
- Rückverfolgung der Modellherkunft mittels Hash-Überprüfungen.
Voraussetzungen
- Grundlegende Kenntnisse im Umgang mit Linux sowie Container-Technologien.
- Ein Grundverständnis von maschinellem Lernen und Transformermodellen.
- Vertrautheit mit REST-APIs sowie JSON-Datenformaten.
Zielgruppe
- KI-Ingenieure und Entwickler, die Cloud-basierte LLM-APIs ersetzen wollen.
- Organisationen mit strengen Datenschutzvorgaben, die Cloud-Modelle nicht nutzen dürfen.
- Regierungs- bzw. Verteidigungsbehörden, die völlig isolierte Sprachmodelle benötigen.
14 Stunden
