België
Nederland
France
Deutschland
United Kingdom
Australia
日本
International
Mexico
Telearbeit: So machen wir das bei uns
In diesen außergewöhnlichen Zeiten der Isolation und Vorsicht suchen alle Unternehmen nach neuen Wegen, um den Kontakt aufrechtzuerhalten.
Der Softwareentwickler erläutert: Kafka
Jeden Monat sprechen wir mit einem Sofico-Kollegen über eine Anwendung oder ein Tool, das Sofico täglich verwendet. Diesen Monat erläutern uns Petar Pilipovic (Lead Developer) und Wim Van Den Eynde (Technical Consultant) Apache Kafka.
Sie muss schnell sein – fast ohne Latenz – und in der Lage sein, hohe Datenmengen performant und skalierbar zu verarbeiten. Für uns war die Lösung Apache Kafka.
Was ist Kafka?
Apache Kafka ist eine dezentrale Streamingplattform. Ihre drei Haupteigenschaften sind:
Mit ihr lassen sich Datenströme veröffentlichen und abonnieren. In dieser Hinsicht ähnelt Kafka einer Message Queue oder einem Enterprise Messaging System.
Sie können Datenströme mit Fehlertoleranz speichern.
Sie können Datenströme in Echtzeit verarbeiten.
Kafka ist ein von LinkedIn entwickeltes Open-Source-Projekt, das seit 2012 der Apache Software Foundation angehört. Einer der Kafka-Gründer, Jay Kreps, benannte die Software nach dem Schriftsteller Franz Kafka, da es sich um ein „zum publizieren optimiertes System“ handelt".
Warum verwendet Sofico Kafka?
„Vor einigen Jahren gab es die Anforderung, dass Analysen und Berichte in Echtzeit zur Verfügung stehen sollten. Mit dem damaligen Setup und der Architektur hätte diese Anforderung deutliche Auswirkungen auf die Leistung unseres Kernsystems gehabt, also suchten wir nach einer Lösung.
Sie muss schnell sein – fast ohne Latenz – und in der Lage sein, hohe Datenmengen performant und skalierbar zu verarbeiten. Für uns war die Lösung Apache Kafka.“
Strimzi liefert Container Images und Operatoren damit Kafka auf Kubernetes laufen kann.
Wie wird Kafka bei Sofico eingesetzt?
„Wir verwenden Kafka als Streamingplattform. Wir streamen Daten von unserem Miles-Kernsystem zu unserer Miles-Microservice-Plattform. Daten aus Miles Core werden zu Topics gestreamt, wo sie verarbeitet werden. Die Daten werden dann in ein kanonisches Domain-Modell umgewandelt und in Domain-Topics veröffentlicht.“
Wir setzen Kafka innerhalb unserer auf Kubernetes basierenden Miles-Microservice-Plattform ein. Strimzi verwenden wir, um Kafka-Cluster in Kubernetes in unterschiedlichen Implementierungskonfigurationen zu deployen.
Gibt es Abhängigkeiten und besondere Arbeitsweisen?
Ein typisches Kafka-Setup enthält mehrere Broker und Zookeeper-Instanzen, die als Diensterkennung fungieren. Aktuell wird Zookeeper noch benötigt jedoch in künftigen Versionen wird er aus dem Kafka-Setup entfernt.
„Wir setzen Kafka innerhalb unserer auf Kubernetes basierenden Miles-Microservice-Plattform ein. Strimzi verwenden wir, um Kafka-Cluster in Kubernetes in unterschiedlichen Implementierungskonfigurationen zu deployen.“
Strimz liefert Container Images und Operatoren die zur Ausführung von Kafka auf Kubernetes notwendig sind. Operatoren vereinfachen den Prozess der Implementierung und den Betrieb von Kafka-Clustern und -Komponenten. Darüber hinaus ermöglichen diese uns, den Zugriff auf Kafka zu konfigurieren, Kafka zu aktualisieren und Broker zu verwalten, wie z. B. die Erstellung und Verwaltung von Topics und Benutzern.
Möchtest Du noch ein paar nützliche Tipps mitgeben?
„Kafka ist extrem konfigurierbar. So lässt sich ein höherer Datendurchsatz oder eine höhere Datenkonsistenz erzielen. Wir konfigurieren Kafka für einen solch hohen Datendurchsatz immer dann, wenn weniger wichtige, aber in Echtzeit verfügbare Daten zu streamen sind, die dann aggregiert werden.
Wenn wir wichtige Daten, z.B. Kundentransaktionen, sicher und verlustfrei streamen möchten, konfigurieren wir Kafka entsprechend dieser Anforderung.“
---
Abbildung: Franz Kafka
Gibt es Alternativen zu Apache Kafka?
„Ja, Alternativen wären beispielsweise IBM MQ oder Rabbit MQ aber da Kafka große Datenmengen auf sehr performante Weise verarbeiten kann und weitere für uns interessante Funktionen bietet, haben wir uns für Apache Kafka entschieden.
Wir nutzen die Software oder Frameworks, die am besten zu unseren Anforderungen innerhalb unserer Projekte passen. Das ist letztlich das Wichtigste für unsere Kunden.“
Schlagworte
Verfolgen Sie im Detail mit, was bei Sofico so alles passiert
Sofico erhält die Investors in People Silver-Akkreditierung
Sofico wurde für Initiativen im Rahmen seiner ‚Learning Organization‘-Philosophie mit der Silver Level-Akkreditierung von Investors in People ausgezeichnet.
Wie ist das Wetter?
Vor ein paar Monaten begannen wir bei Sofico mit „Sofico – Wie ist das Wetter“, einem wöchentlichen Plausch unter Kollegen.
„SWOT – die Lösung für meinen neuen Job“
Nach 21 Jahren bei BMW Financial Services kam Bert Vanden Bergh zu dem Entschluss, dass es Zeit für eine neue berufliche Herausforderung sei. „Ich musste...