Ollama: Selbst gehostete Large Language Models, die OpenAI- und Claude-APIs ersetzen Schulung
Ollama ist ein Open-Source-Tool zum lokalen Ausführen von Large Language Models auf Consumer- und Enterprise-Hardware. Es abstrahiert die Modellsquantisierung, GPU-Zuteilung und API-Bereitstellung in einer einzigen Befehlszeilenschnittstelle und ermöglicht es Organisationen, LLMs wie Llama, Mistral und Qwen selbst zu hosten, ohne Prompts oder Daten an OpenAI, Anthropic oder Google zu senden.
Diese vom Instructor geleitete Live-Schulung (online oder vor Ort) richtet sich an fortgeschrittene KI-Ingenieure und Plattformbetreiber, die Ollama nutzen möchten, um Cloud-LLM-APIs durch selbst gehostete, souveräne LLM-Inferenz zu ersetzen.
Nach Abschluss dieser Schulung werden die Teilnehmer in der Lage sein:
- Ollama auf Linux, macOS und Windows mit GPU-Unterstützung zu installieren.
- Modelle aus dem Ollama-Registry und HuggingFace zu ziehen, zu quantisieren und bereitzustellen.
- Benutzerdefinierte Modelfiles mit System-Prompts und Parameteroptimierung zu erstellen.
- Lokale LLMs über die OpenAI-kompatible API in Anwendungen zu integrieren.
- Die Inferenzleistung für CPU-only- und Multi-GPU-Konfigurationen zu optimieren.
Kursformat
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxisanteile.
- Praktische Implementierung in einer Live-Lab-Umgebung.
Anpassungsoptionen für den Kurs
- Für eine maßgeschneiderte Schulung zu diesem Kurs kontaktieren Sie uns bitte, um dies zu vereinbaren.
Schulungsübersicht
KI-Souveränität und lokale Bereitstellung von LLMs
- Risiken von Cloud-LLMs: Datenspeicherung, Training mit Eingaben, fremde Rechtsprechung.
- Ollama-Architektur: Modelserving-Server, Registry und OpenAI-kompatible API.
- Vergleich mit vLLM, llama.cpp und Text Generation Inference.
- Modelllizenzen: Bedingungen für Llama, Mistral, Qwen und Gemma.
Installation und Hardware-Einrichtung
- Ollama-Installation auf Linux mit CUDA- und ROCm-Unterstützung.
- Fallback-Lösungen nur für CPUs und AVX/AVX2-Optimierung.
- Docker-Bereitstellung und persistente Volume-Zuordnung.
- Multi-GPU-Einrichtung und VRAM-Zuteilungsstrategien.
Modellverwaltung
- Modelle aus dem Ollama-Registry ziehen: ollama pull llama3.
- GGUF-Modelle von HuggingFace und TheBloke importieren.
- Quantisierungsstufen: Abwägungen zwischen Q4_K_M, Q5_K_M und Q8_0.
- Modellwechsel und Grenzen beim gleichzeitigen Laden von Modellen.
Benutzerdefinierte Modelfiles
- Schreiben der Modelfile-Syntax: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Optimierung von Temperature, top_p und repeat_penalty.
- System-Prompt-Engineering für rollenspezifisches Verhalten.
- Erstellen und Veröffentlichen benutzerdefinierter Modelle im lokalen Registry.
API-Integration
- OpenAI-kompatibles /v1/chat/completions-Endpunkt.
- Streaming-Antworten und JSON-Modus.
- Integration mit LangChain, LlamaIndex und benutzerdefinierten Anwendungen.
- Authentifizierung und Rate Limiting über einen Reverse Proxy.
Leistungsoptimierung
- Kontextfenstergröße und KV-Cache-Verwaltung.
- Batch-Inferenz und parallele Anforderungsverarbeitung.
- Allokation von CPU-Threads und NUMA-Bewusstsein.
- Überwachung der GPU-Auslastung und Speicherdynamik.
Sicherheit und Compliance
- Netzwerkisolierung für Modelserving-Endpunkte.
- Eingabe-Filterung und Ausgabemoderations-Pipelines.
- Audit-Logging von Prompts und Vervollständigungen.
- Nachweis der Modellherkunft und Hash-Überprüfung.
Voraussetzungen
- Fortgeschrittene Kenntnisse in Linux- und Container-Verwaltung.
- Grundlegendes Verständnis von Machine Learning und Transformer-Modellen auf hohem Niveau.
- Vertrautheit mit REST-APIs und JSON.
Zielgruppe
- KI-Ingenieure und Entwickler, die Cloud-LLM-APIs ersetzen möchten.
- Organisationen mit strengen Datenschutzanforderungen, die die Nutzung von Cloud-Modellen verhindern.
- Teams in Regierung und Verteidigung, die isoliert laufende (air-gapped) LLMs benötigen.
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Ollama: Selbst gehostete Large Language Models, die OpenAI- und Claude-APIs ersetzen Schulung - Buchung
Ollama: Selbst gehostete Large Language Models, die OpenAI- und Claude-APIs ersetzen Schulung - Anfrage
Ollama: Selbst gehostete Large Language Models, die OpenAI- und Claude-APIs ersetzen - Beratungsanfrage
Kommende Kurse
Kombinierte Kurse
Erweiterte Ollama-Modell-Debugging und -Evaluierung
35 StundenAdvanced Ollama Model Debugging & Evaluation ist ein umfassender Kurs, der sich auf das Diagnostizieren, Testen und Messen des Verhaltens von Modellen konzentriert, wenn lokale oder private Ollama-Deploymnets ausgeführt werden.
Dieser vom Trainer geleitete Live-Kurs (online oder vor Ort) richtet sich an fortgeschrittene AI-Ingenieure, ML-Ops-Profi\-sionales und QA-Praktiker, die sicherstellen möchten, dass Ollama-basierte Modelle in der Produktion zuverlässig, hochwertig und betriebsbereit sind.
Am Ende dieses Kurses können die Teilnehmer Folgendes:
- Systematisches Debugging von Ollama-gestützten Modellen durchführen und Ausfallmodi zuverlässig reproduzieren.
- Robuste Bewertungspipelines mit quantitativen und qualitativen Metriken entwerfen und ausführen.
- Observability (Logs, Spuren, Metriken) implementieren, um das Modell-Wohlbefinden und -Drift zu überwachen.
- Testing, Validierung und Regression Checks automatisieren, die in CI/CD-Pipelines integriert sind.
Kursformat
- Interaktive Vorlesungen und Diskussionen.
- Hände-dirty Labs und Debugging-Übungen unter Verwendung von Ollama-Deploymnets.
- Fallstudien, Gruppen-Diagnosesitzungen und Automatisierungsworkshops.
Kursanpassungsoptionen
- Zum Anfragen eines angepassten Trainings für diesen Kurs kontaktieren Sie uns bitte, um dies zu vereinbaren.
Private AI-Workflows mit Ollama erstellen
14 StundenDiese von einem Dozenten geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Fachkräfte, die sicher und effiziente AI-gestützte Workflows mit Ollama implementieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Ollama für private AI-Verarbeitung bereitzustellen und zu konfigurieren.
- AI-Modelle in sichere Unternehmensworkflows zu integrieren.
- Die AI-Leistung zu optimieren, während die Datensicherheit gewahrt wird.
- Geschäftsvorgänge mit On-Premise-AI-Fähigkeiten zu automatisieren.
- Die Einhaltung von Unternehmenssicherheits- und Governance-Richtlinien sicherzustellen.
Bereitstellung und Optimierung von LLMs mit Ollama
14 StundenDieser von Dozenten geleitete, lebende Training in Deutschland (online oder vor Ort) richtet sich an Fachkräfte auf mittlerem Niveau, die LLMs mit Ollama bereitstellen, optimieren und integrieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- LLMs mit Ollama einzurichten und bereitzustellen.
- AI-Modelle für Leistung und Effizienz zu optimieren.
- GPU-Beschleunigung für verbesserte Inferenzgeschwindigkeiten zu nutzen.
- Ollama in Arbeitsabläufe und Anwendungen zu integrieren.
- Die Leistung von AI-Modellen über die Zeit zu überwachen und zu warten.
EXO: End-to-End-Bereitstellung eines lokalen AI-Clusters
21 StundenDieses dozentengeführte Live-Training in Deutschland (online oder vor Ort) richtet sich an Systemadministratoren und DevOps-Ingenieure, die EXO-Cluster für private LLM-Inferenz über mehrere Apple-Silicon- oder Linux-Knoten hinweg bereitstellen, konfigurieren und verwalten möchten.
EXO für DevOps: Aufbau privater KI-Infrastruktur
21 StundenDieses instruktionsgeleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an DevOps-Ingenieure und Infrastrukturarchitekten, die die Provisioning, Überwachung und Lebenszyklusverwaltung privater KI-Cluster auf Basis von EXO automatisieren möchten.
EXO-Sicherheit und Governance: Verwaltung von Offline-Modellen
14 StundenDieser dozentengeleitete, live durchgeführte Kurs in Deutschland (online oder vor Ort) richtet sich an Sicherheitsexperten und Compliance-Beauftragte, die ihre EXO-Installationen härten, den Modellzugriff kontrollieren und KI-Workloads verwalten möchten, die vollständig on-premise laufen.
Feinabstimmung und Anpassung von KI-Modellen auf Ollama
14 StundenDieses von einem Dozenten geleitete Live-Training in Deutschland (online oder vor Ort) richtet sich an fortgeschrittene Fachleute, die KI-Modelle auf Ollama für verbesserte Leistung und domänenspezifische Anwendungen feinabstimmen möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Eine effiziente Umgebung für die Feinabstimmung von KI-Modellen auf Ollama einzurichten.
- Datensätze für überwachte Feinabstimmung und Reinforcement Learning vorzubereiten.
- KI-Modelle hinsichtlich Leistung, Genauigkeit und Effizienz zu optimieren.
- Anpassungen in Produktionsumgebungen bereitzustellen.
- Verbesserungen des Modells zu bewerten und dessen Robustheit sicherzustellen.
Sichere lokale agentic KI: On-Prem Ollama-Entwicklung für regulierte Branchen
21 StundenDieser instruktionsgeleitete, live durchgeführte Trainingskurs in Deutschland (online oder vor Ort) richtet sich an Entwickler und technische Teams, die Ollama und offene Modelle nutzen möchten, um private agentic KI-Lösungen auf interner Infrastruktur zu erstellen und auszuführen.
Am Ende dieses Trainings sind die Teilnehmer in der Lage: Ollama zu installieren und zu konfigurieren, offene Modelle lokal zu bewerten und auszuführen, einfache agentic und retrieval-basierte Workflows zu erstellen sowie Sicherheits- und Governance-Kontrollen für regulierte Umgebungen anzuwenden.
Multimodale Anwendungen mit Ollama
21 StundenOllama ist eine Plattform, die das Ausführen und Feinjustieren großer Sprach- und multimodaler Modelle lokal ermöglicht.
Dieses von Dozenten geführte Live Training (online oder vor Ort) richtet sich an fortgeschrittene ML-Ingenieure, AI-Forscher und Produktentwickler, die.multimodale Anwendungen mit Ollama erstellen und bereitstellen möchten.
Am Ende des Trainings werden die Teilnehmer in der Lage sein:
- Multimodale Modelle mit Ollama einzurichten und auszuführen.
- Text-, Bild- und Audioeingaben für Anwendungen im realen Leben zu integrieren.
- Dokumentverstehen und visuelle QA-Systeme aufzubauen.
- Multimodale Agenten zu entwickeln, die über Modalkäufe hinweg nachdenken können.
Format des Kurses
- Interaktive Vorlesungen und Diskussionen.
- Praxisübungen mit realen multimodalen Datensätzen.
- Live-Lab-Implementierung von multimodalen Pipelines unter Verwendung von Ollama.
Anpassungsoptionen des Kurses
- Für ein angepasstes Training für diesen Kurs wenden Sie sich bitte an uns, um eine Anfrage zu stellen.
Erste Schritte mit Ollama: Lokale AI-Modelle ausführen
7 StundenDieses von einem Ausbilder geleitete, live Training in Deutschland (online oder vor Ort) richtet sich an Einsteiger, die Ollama installieren, konfigurieren und verwenden möchten, um AI-Modelle auf ihren lokalen Rechnern zu betreiben.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Die Grundlagen von Ollama und seine Fähigkeiten zu verstehen.
- Ollama für das Betreiben lokaler AI-Modelle einzurichten.
- LLMs mit Ollama bereitzustellen und zu interagieren.
- Die Leistung und die Ressourcennutzung für AI-Aufgaben zu optimieren.
- Anwendungsfälle für lokale AI-Bereitstellungen in verschiedenen Branchen zu erkunden.
Ollama & Datenschutz: Sichere Bereitstellungsmuster
14 StundenOllama ist eine Plattform, die das Ausführen großer Sprach- und multimodaler Modelle lokal ermöglicht und sichere Bereitstellungsstrategien unterstützt.
Dieses von Dozenten geführte Live-Seminar (online oder vor Ort) richtet sich an Fortgeschrittene, die Ollama mit starken Datenschutzmaßnahmen und regulatorischer Einhaltung einsetzen möchten.
Am Ende des Trainings werden die Teilnehmer in der Lage sein:
- Ollama sicher in containerisierten und internen Umgebungen bereitzustellen.
- Differential Privacy-Techniken anwenden, um sensible Daten zu schützen.
- Sichere Protokollierungs-, Überwachungs- und Prüfpraktiken implementieren.
- Datenzugriffssteuerung einhalten, die den Einhaltungsvorgaben entspricht.
Format des Kurses
- Interaktive Vorlesungen und Diskussionen.
- Hände-an-Schulungen mit sicheren Bereitstellungsmustern.
- Fallstudien und praktische Übungen zum Thema Einhaltung.
Anpassungsoptionen des Kurses
- Um eine angepasste Schulung für diesen Kurs zu beantragen, kontaktieren Sie uns bitte zur Absprache.
Ollama-Anwendungen in der Finanzwelt
14 StundenOllama ist eine leichte Plattform zur lokalen Ausführung großer Sprachmodelle.
Dieses vom Trainer geleitete, live Training (online oder vor Ort) richtet sich an fortgeschrittene Finanzpraktiker und IT-Mitarbeiter, die Ollama-basierte KI-Lösungen in finanztechnischen Umgebungen implementieren, anpassen und operationalisieren möchten.
Durch das Absolvieren dieses Trainings werden die Teilnehmer die Fähigkeiten erwerben, um:
- Ollama für sichere Anwendungen in finanztechnischen Operationen bereitzustellen und einzurichten.
- Lokale LLMs in analytische und Berichtserstellungsabläufe zu integrieren.
- Modelle an finanzspezifische Terminologie und Aufgaben anzupassen.
- Sicherheits-, Datenschutz- und Compliance-Best Practices anzuwenden.
Kursformat
- Interaktiver Vortrag und Diskussion.
- Praktische Übungen mit finanztechnischen Daten.
- Live-Lab-Implementierung von finanzfokussierten Szenarien.
Kursanpassungsoptionen
- Für eine angepasste Schulung zu diesem Kurs kontaktieren Sie uns bitte, um die Anforderungen abzustimmen.
Ollama-Anwendungen im Gesundheitswesen
14 StundenOllama ist eine leichtgewichtige Plattform zur lokalen Ausführung großer Sprachmodelle.
Diese vom Lehrenden geleitete Live-Schulung (online oder vor Ort) richtet sich an Gesundheitsexperten mit mittlerem Erfahrungslevel sowie IT-Teams, die darauf abzielen, auf Ollama basierende KI-Lösungen in klinischen und administrativen Umgebungen einzusetzen, anzupassen und operativ zu nutzen.
Nach Abschluss dieser Schulung werden die Teilnehmer in der Lage sein:
- Ollama sicher für den Einsatz im Gesundheitswesen zu installieren und zu konfigurieren.
- Lokale LLMs in klinische Abläufe und administrative Prozesse zu integrieren.
- Modelle auf medizinische Fachbegriffe und spezifische Aufgaben zuzuschneiden.
- Bewährte Praktiken für Datenschutz, Sicherheit und regulatorische Compliance anzuwenden.
Format des Kurses
- Interaktiver Vortrag und Diskussion.
- Praktische Demonstrationen und angeleitete Übungen.
- Umsetzung in einer abgeschotteten Simulationsumgebung für das Gesundheitswesen.
Möglichkeiten zur Kursanpassung
- Um eine maßgeschneiderte Schulung für diesen Kurs zu beantragen, kontaktieren Sie uns bitte zur Vereinbarung.
Ollama für verantwortungsbewusste KI und Governance
14 StundenOllama ist eine Plattform für die lokale Ausführung großer Sprach- und multimodaler Modelle, die Governance und verantwortungsbewusste KI-Praktiken unterstützt.
Dieses von Dozenten angeführte Live-Seminar (Online oder vor Ort) richtet sich an fortgeschrittene Profis, die Fairness, Transparenz und Rechenschaftspflicht in Ollama-gesteuerten Anwendungen umsetzen möchten.
Am Ende des Trainings können Teilnehmer folgendes:
- Verantwortungsbewusste KI-Grundsätze in Ollama-Bereitstellungen anwenden.
- Inhaltsfilterung und Maßnahmen zur Verminderung von Bias umsetzen.
- Governance-Arbeitsabläufe für die Ausrichtung und Rechenschaftspflicht von KI entwerfen.
- Überwachungs- und Berichtsrahmewerke zur Einhaltung der Vorschriften aufbauen.
Format des Kurses
- Interaktive Vorlesungen und Diskussionen.
- Hände-drecken Labs zur Entwurfsphase von Governance-Arbeitsabläufen.
- Fallstudien und Übungen mit Compliance-Fokus.
Möglichkeiten der Anpassung des Kurses
- Um einen angepassten Kurs anzufragen, kontaktieren Sie uns bitte zur Absprache.
Souveräne KI für regulierte Organisationen: Kontrolle über Daten, Modelle und Inferenzumgebungen
7 StundenDiese dozentengeleitete Live-Schulung in Deutschland (online oder vor Ort) richtet sich an IT-Führungskräfte, Compliance-Experten, Sicherheitsteams und Enterprise-Architekten mit mittlerem Kenntnisstand, die souveräne KI-Prinzipien und Governance-Praktiken nutzen möchten, um KI-Umgebungen zu entwerfen, die sensible Daten schützen, lokalen Anforderungen gerecht werden und die Abhängigkeit von Anbietern reduzieren.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein: souveräne KI-Konzepte zu erklären, Hosting- und Governance-Optionen zu bewerten, Kontrollen für Prompts und Logs zu definieren sowie einen praktischen Umsetzungsplan zu erstellen.
