Multimodale LLM-Workflows in Vertex AI Schulung

Einführung in multimodale LLMs in Vertex AI

• Übersicht der multimodalen Funktionen in Vertex AI
• Gemini-Modelle und unterstützte Modalitäten
• Use Cases in Unternehmen und Forschung

Einrichtung der Entwicklungsumgebung

• Konfiguration von Vertex AI für multimodale Workflows
• Arbeiten mit Daten über verschiedene Modalitäten hinweg
• Praxisübung: Einrichtung der Umgebung und Vorbereitung der Datensätze

Lang-Kontextfenster und fortschrittliche Schlussfolgerungen

• Verständnis von Long-Context-Workflows
• Anwendungen in der Planung und Entscheidungsfindung
• Praxisübung: Implementierung von Long-Context-Analysen

Gestaltung von Cross-Modal-Workflows

• Kombination von Text-, Audio- und Bildanalyse
• Kettenbildung multimodaler Schritte in Pipelines
• Praxisübung: Entwurf einer multimodalen Pipeline

Arbeiten mit Gemini-API-Parametern

• Konfiguration multimodaler Eingaben und Ausgaben
• Optimierung der Inferenz und der Effizienz
• Praxisübung: Anpassung der Gemini-API-Parameter

Fortschrittliche Anwendungen und Integrationen

• Interaktive multimodale Agenten und Assistenten
• Integration externer APIs und Tools
• Praxisübung: Aufbau einer multimodalen Anwendung

Evaluation und Iteration

• Testen der multimodalen Leistungsfähigkeit
• Metriken für Genauigkeit, Ausrichtung und Drift
• Praxisübung: Bewertung von multimodalen Workflows

Zusammenfassung und nächste Schritte