Kafka für Administratoren Schulung

Grundlagen der Kafka-Verwaltung

• Die Rolle von Kafka in modernen Datenplattformen sowie typische Aufgaben im Produktivbetrieb
• Kernthemen für Betreiber: Broker, Themen, Partitionen, Offsets und Consumer-Gruppen
• Grundlagen der Replikation: Leader- und Follower-Knoten, synchronisierte Replikate sowie Auswirkungen auf die Verfügbarkeit
• Wichtige Aspekte des Kafka-Betriebs und übliche Fachbegriffe aus den Betriebshandbüchern

KRaft-Modus sowie Cluster-Design

• Grundlagen des KRaft-Modus: Controller, Metadaten-Quorum, Wahlen und deren Bedeutung für den Betrieb
• Planung der Cluster-Bereitstellung: Dimensionierung hinsichtlich Durchsatz, Anzahl an Partitionen, Datenspeicherung sowie zukünftigem Wachstum
• Knotenfunktionen und Topologie: gemeinsame bzw. getrennte Controller-Einrichtungen sowie Überlegungen zu Fehlerbereichen
• Praxisübung: Analyse der KRaft-Metadaten, Prüfung des Quorum-Zustands und Auswertung von Controller-Protokollen

Installation, Konfiguration und alltäglicher Betrieb

• Installationsmethoden (Pakete, Tar-Archive oder Container) sowie Standardisierungsempfehlungen für Unternehmensumgebungen
• Entscheidende Konfigurationseinstellungen der Broker: Listener, Replikation, Verzeichnisse für Logs sowie Aufbewahrungsregeln
• Sicheres Betreiben der Dienste: korrekte Startreihenfolge, sauberer Herunterfahren und Validierungsüberprüfungen
• Praxisübung: Aufbau eines Mehrknoten-Cluster, Überprüfung der Broker-Registrierung sowie Test des Basis-Produzierens bzw. Konsumierens

Verwaltung von Themen, Partitionen und Datendistribution

• Lebenszyklus von Themen über die Kafka-CLI: Erstellung, Konfigurationsanpassungen sowie Löschung
• Auswahl der optimalen Anzahl an Partitionen und Replikationsfaktoren für reale Workloads – auch häufige Fehlerquellen
• Umverteilung und Ausgleich der Partitionen: wann diese zu verschieben sind sowie sichere Überprüfungsmethoden
• Praxisübung: Erstellen von Themen, Initiieren einer Reassign-Maßnahme, Simulation eines Broker-Ausfalls und Bestätigung der Wiederherstellung

Sicherung des Kafka-Clusters für den Produktivbetrieb

• Einsatz von TLS für Client- und interne Broker-Kommunikation: Zertifikate, Vertrauenskette sowie Validierungsschritte
• Authentifizierung per SASL: Auswahl geeigneter Mechanismen sowie Vorbeugung von Konfigurationsfehlern
• Berechtigungsvergabe mittels ACLs: Umsetzung des Grundsatzes der geringstmöglichen Rechte für Administratoren, Produzenten und Konsumenten
• Praxisübung: Aktivierung von TLS und SASL, Validierung der Client-Verbindungen sowie Zuweisung von ACLs nach Anwendungsbedarf

Beobachtbarkeit, Zuverlässigkeit und Fehlerbehebung

• Überwachungsaspekte: Gesundheitsstatus der Controller, Anzahl unterrepräsentierter Partitionen, Latenzzeiten von Anfragen sowie Belegung von Speicherplatz und Netzwerkkapazität
• Protokolle und Kennzahlen: Auswertung der Broker-Protokolle sowie Export von Metriken mittels JMX an gängige Überwachungswerkzeuge
• Standardisierte Betriebsverfahren: Rollouts bei Neustarts, sichere Konfigurationsänderungen sowie Abhilfe bei Plattenvollstand oder Problemen im ISR-Quorum
• Praxisübung: Erstellung eines Grund-Alarmsets, Diagnose einer beeinträchtigten Cluster-Performance sowie Wiederherstellung der normalen Replikationsprozesse

Aktualisierungen und Disaster Recovery-Vorbereitung

• Planung von Kafka-Updates: Kompatibilitätsprüfungen, Testphasen sowie Vorgehensweise beim Rollback
• Erwartungen bei Backups und Wiederherstellung: Was sich sichern lässt, was nicht – dazu grundlegende Konfigurations-Restaurierungsmethoden
• Überblick über die Kreuz-Cluster-Replikation sowie Nutzungsempfehlungen für MirrorMaker 2 im Rahmen von Notfallwiederherstellung und Migrationen
• Abschluss: Checkliste für den operativen Betrieb, Übergabedokumentation und nächste Schritte zur erfolgreichen Produktionsimplementierung