Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale Modelle

  • Überblick über das Gebiet des multimodalen Maschinellen Lernens


  • Anwendungsbereiche multimodaler Modelle


  • Herausforderungen beim Umgang mit mehreren Datentypen


Architekturen für multimodale Modelle

  • Vorstellung von Modellen wie CLIP, Flamingo und BLIP


  • Einordnung der Mechanismen des cross-modalen Attention-Mechanismus


  • Aspekte zur Skalierbarkeit und Effizienz bei der Architekturgestaltung


Vorbereitung multimodaler Datensätze

  • Methoden zur Datenerhebung und Annotation


  • Verarbeitung von Text-, Bild- und Videodaten


  • Ausgewogene Aufbereitung der Daten für multimodale Aufgaben


Feinabstimmungstechniken für multimodale Modelle

  • Einrichtung von Trainingspipelines für multimodale Modelle


  • Bewältigung von Speicher- und Rechenbeschränkungen bei der Modellanpassung


  • Methoden zur korrekten Synchronisation der verschiedenen Modalitäten


Anwendungen feinabgestimmter multimodaler Modelle

  • Visuelle Frage-Beantwortung


  • Beschreibung von Bildern und Videos mittels Text


  • Erstellung von Inhalten mit Hilfe multimodaler Eingaben


Leistungsoptimierung und Bewertung

  • Geeignete Bewertungskriterien für Aufgaben mit mehreren Modalitäten


  • Erhöhung von Geschwindigkeit sowie Effizienz im Produktionsumfeld


  • Sicherstellung der Robustheit und Konsistenz zwischen den Modalitäten


Deployment multimodaler Modelle

  • Verpackung der Modelle für eine reibungslose Einsetzbarkeit


  • Skalierbares Inferenzieren auf Cloud-Plattformen


  • Einsatz in Echtzeit-Anwendungen und Integrationen


Fallstudien und praktische Übungen

  • Feinabstimmung von CLIP für die bildbasierte Inhaltssuche


  • Trainieren eines multimodalen Chatbots auf Basis von Text- und Videodaten


  • Einrichtung von Systemen zur cross-modalen Suche nach Informationen


Zusammenfassung sowie nächste Schritte

Voraussetzungen

  • Sichere Kenntnisse in der Python-Programmierung


  • Grundverständnis von Konzepten des Deep Learnings


  • Erfahrung im Feinabstimmen vortrainierter Modelle


Zielgruppe

  • KI-Forscher


  • Datenwissenschaftler


  • Praktiker im Bereich Maschinelles Lernen


 28 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien