Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
KI-Souveränität und lokale Bereitstellung von LLMs
- Risiken bei Cloud-LLMs: Datenspeicherung, Training auf Eingaben, ausländische Gerichtsbarkeit.
- Ollama-Architektur: Modellserver, Registry und OpenAI-kompatible API.
- Vergleich mit vLLM, llama.cpp und Text Generation Inference.
- Modell-Lizenzierung: Bedingungen für Llama, Mistral, Qwen und Gemma.
Installation und Hardware-Einrichtung
- Installation von Ollama unter Linux mit CUDA- und ROCm-Unterstützung.
- Fallback auf reine CPU und AVX/AVX2-Optimierung.
- Docker-Bereitstellung und Mapping persistenter Volumes.
- Multi-GPU-Setups und Strategien für VRAM-Zuweisung.
Modellverwaltung
- Übernehmen von Modellen aus der Ollama-Registry: ollama pull llama3.
- Importieren von GGUF-Modellen von HuggingFace und TheBloke.
- Quantisierungsstufen: Q4_K_M, Q5_K_M, Q8_0 – Abwägung der Trade-offs.
- Modellwechsel und Grenzen des gleichzeitigen Ladens von Modellen.
Angepasste Modelfiles
- Syntax von Modelfiles schreiben: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Tuning von Temperature, top_p und repeat_penalty.
- System-Prompt-Engineering für rollenspezifisches Verhalten.
- Erstellen und Veröffentlichen eigener Modelle in der lokalen Registry.
API-Integration
- OpenAI-kompatibler Endpunkt /v1/chat/completions.
- Streaming-Antworten und JSON-Modus.
- Integration mit LangChain, LlamaIndex und benutzerdefinierten Apps.
- Authentifizierung und Rate-Limiting über Reverse Proxy.
Performance-Optimierung
- Größe des Kontextfensters und Verwaltung des KV-Caches.
- Batch-Inferenz und parallele Bearbeitung von Anfragen.
- Thread-Zuweisung für CPUs und NUMA-Bewusstsein.
- Überwachung der GPU-Auslastung und des Speicherdrucks.
Sicherheit und Compliance
- Netzwerktrennung für Modellbereitstellungs-Endpunkte.
- Eingabe-Filterung und Ausgaben-Moderation-Pipelines.
- Audit-Protokollierung von Prompts und Completion.
- Herkunftsnachweis der Modelle und Hash-Verifizierung.
Voraussetzungen
- Mittlere Kenntnisse in Linux- und Container-Administration.
- Grundlegendes Verständnis von Machine Learning und Transformer-Modellen.
- Vertrautheit mit REST-APIs und JSON.
Zielgruppe
- KI-Engineers und Entwickler, die Cloud-LLM-APIs ersetzen möchten.
- Organisationen, bei denen datenschutzrelevante Bedenken die Nutzung von Cloud-Modellen verhindern.
- Teams in Regierung und Verteidigung, die luftgedämmte (air-gapped) Sprachmodelle benötigen.
