Kontakt aufnehmen

Schulungsübersicht

Einführung in Vision-Sprach-Modelle

  • Überblick über VLMs sowie deren Rolle im Bereich multimodaler KI
  • Gängige Architekturen: CLIP, Flamingo, BLIP usw.
  • Einsatzgebiete: Suche, Bildbeschreibung, autonome Systeme sowie Inhaltsanalyse

Vorbereitung der Umgebung für die Feinabstimmung

  • Einrichtung von OpenCLIP sowie weiteren VLM-Bibliotheken
  • Gebräuchliche Datensatzformate für Bild-Text-Paare
  • Datenaufbereitungsprozesse für visuelle und sprachliche Eingaben

Feinabstimmung von CLIP und ähnlichen Modellen

  • Kontrastive Verlustfunktionen sowie gemeinsame Embedding-Räume
  • Praktische Übung: Feinabstimmung von CLIP anhand eigener Datensätze
  • Umgang mit datenspezifischen sowie mehrsprachigen Inhalten

Fortgeschrittene Techniken der Feinabstimmung

  • Einsatz von LoRA sowie adapterbasierten Verfahren zur Effizienzsteigerung
  • Prompt-Tuning und visuelle Prompt-Techniken
  • Abwägung zwischen Zero-Shot-Methoden und feinabgestimmten Modellen

Evaluation und Bewertungsmethoden

  • Geeignete Kennzahlen für VLMs: Abrufgenauigkeit, BLEU, CIDEr sowie Trefferquote
  • Diagnosemöglichkeiten zur visuell-textlichen Übereinstimmung
  • Visualisierung von Embedding-Räumen und Fehlerklassifikationen

Einsatz in der Praxis und Integration

  • Export von Modellen für die Inferenz (TorchScript, ONNX)
  • Integration von VLMs in bestehende Systemprozesse oder APIs
  • Ressourcenbedarf sowie Skalierbarkeit der Modelle

Fallstudien und praktische Anwendungen

  • Analyse von Medieninhalten und Inhaltsmoderation
  • Suche und Informationsabruf in E-Commerce-Umgebungen sowie digitalen Bibliotheken
  • Multimodale Interaktion bei Robotik und autonomen Systemen

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Grundkenntnisse im Bereich Deep Learning für Computer Vision und natürliche Sprachverarbeitung
  • Erfahrung mit PyTorch sowie Transformermodellen
  • Bekanntschaft mit Architekturen multimodaler Modelle

Zielgruppe

  • Computer-Vision-Ingenieure
  • KI-Entwickler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien