Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale KI und Ollama

  • Überblick über das Konzept des multimodalen Lernens
  • Die wichtigsten Herausforderungen bei der Integration von Bild- und Sprachdaten
  • Funktionen sowie Architektur von Ollama

Einrichtung der Ollama-Umgebung

  • Installation und Konfiguration von Ollama
  • Lokale Bereitstellung von Modellen vornehmen
  • Integration von Ollama in Python- sowie Jupyter-Umgebungen

Umgang mit multimodalen Eingaben

  • Kombination von Text und Bildern
  • Einbindung von Audiodaten sowie strukturierten Informationen
  • Ausgestaltung geeigneter Vorverarbeitungsprozesse

Anwendungen zur Dokumentenverarbeitung

  • Extraktion strukturierter Daten aus PDF-Dateien und Bildern
  • Kombination von OCR-Verfahren mit Sprachmodellen
  • Entwicklung intelligenter Workflows zur Dokumentenanalyse

Visuelle Frage-Antwort-Systeme (VQA)

  • Einrichtung von VQA-Datensätzen sowie Vergleichsmaßstäben
  • Training und Bewertung multimodaler Modelle
  • Entwicklung interaktiver Anwendungen basierend auf VQA-Prinzipien

Konzeption multimodaler Agenten

  • Grundsätze der Konstruktion von Agenten, die über mehrere Modalitäten denken können
  • Kombination aus Wahrnehmung, Sprachverarbeitung und Ausführungshandlungen
  • Einsatz solcher Agenten in echten Anwendungsszenarien

Fortgeschrittene Integration und Optimierung

  • Feinabstimmung multimodaler Modelle unter Verwendung von Ollama
  • Steigerung der Effizienz beim Inferenzprozess
  • Aspekte hinsichtlich Skalierbarkeit und Implementierung in produktiven Umgebungen

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Gründliches Verständnis der Grundlagen des maschinellen Lernens
  • Erfahrung mit Deep-Learning-Frameworks wie PyTorch oder TensorFlow
  • Kenntnisse im Bereich der natürlichen Sprachverarbeitung sowie Computer Vision

Zielgruppe

  • Machine-Learning-Ingenieure
  • KI-Forscher
  • Produktentwickler, die Arbeitsabläufe aus Sicht- und Textverarbeitung integrieren müssen
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien