Apache NiFi Meetup
Details
Unser nächstes Meetup steht an!
Liebe NiFi-Enthusiasten,
wir freuen uns sehr, euch zu unserem kommenden Apache NiFi Meetup einzuladen, eine Veranstaltung für Data-Flow-Professionals und -Enthusiasten, die die neuesten Entwicklungen und Best Practices in der Welt von NiFi entdecken möchten.
🔹 Event Details:
- Datum: 03/12/2026
- Uhrzeit: 16:30 CET
- Ort: Online
🔹Agenda:
· NiFi on Kubernetes: first make it boring, then make it scale (Sönke Liebau)
· 3.500 Prozessoren, hunderte Prozessgruppen und NiFi 1.28.1: Wie migriere ich auf 2.10, ohne eine Million Mal klicken zu müssen? Ein Erfahrungsbericht vom Captain und seinem Copilot (Matthias Laudt)
🔹Talks:
Talk 1: NiFi on Kubernetes: first make it boring, then make it scale
Ich arbeite am Apache NiFi Operator innerhalb der Stackable Data Platform (SDP). Das bedeutet, dass NiFi-Cluster, die ich vermutlich nie zu Gesicht bekommen werde, mit den von uns festgelegten Standardeinstellungen betrieben werden.
Hinter einigen dieser Einstellungen stecken interessante Geschichten. Eine davon war mit dem Kommentar „for testing“ versehen und wurde trotzdem so ausgeliefert. Eine andere betraf eine leere Aufbewahrungseinstellung, die NiFi als „für immer“ interpretierte – bis beim Start plötzlich Millionen archivierter Dateien durchsucht werden mussten. Und dann gab es da noch eine ziemlich optimistisch konfigurierte Readiness Probe ...
Doch damit nicht genug: Auch dort, wo unsere Arbeit endet und NiFi selbst übernimmt, lauern Herausforderungen. NiFi wurde in einer Zeit vor Kubernetes entwickelt, als IP-Adressen noch stabil und zuverlässig erreichbar waren und Speicher nicht einfach während des laufenden Betriebs verschwinden konnte. Heute müssen wir ganz neue Szenarien berücksichtigen.
Im ersten Teil des Vortrags geht es darum, NiFi 2 auf Kubernetes möglichst stabil und vorhersehbar zu betreiben. Wir beschäftigen uns mit dem Clusterzustand ohne ZooKeeper, der Bedeutung der ersten fünf Minuten nach dem Start und der Frage, wie sich ein Node sauber herunterfahren lässt, ohne dabei seine eigenen Repositories zu beschädigen.
Im zweiten Teil widmen wir uns dem Thema Autoscaling. Das Hochskalieren ist einfach. Beim Herunterskalieren wird es komplizierter: Wie entfernt man einen Node, auf dessen Festplatte sich noch FlowFiles befinden?
Die naheliegende Kubernetes-Lösung ist dabei nicht die richtige – eine Erkenntnis, die auch bei uns etwas Zeit gebraucht hat.
Ich zeige, welche Ansätze heute funktionieren, woran wir aktuell arbeiten und welche Alternativen wir entwickeln. Außerdem freue ich mich auf den Austausch mit euch, denn ich vermute, dass bisher niemand eine wirklich perfekte Lösung für dieses Problem gefunden hat.
🔹 Speaker: Sönke Liebau
Sönke Liebau ist Mitgründer und Chief Product Officer (CPO) von Stackable, das er 2020 mitgegründet hat.
Mit der Stackable Data Platform (SDP) entwickelt das Unternehmen eine Open-Source-Datenplattform, die nativ auf Kubernetes betrieben wird.
Sönke bringt rund 15 Jahre Erfahrung im Open-Source- und Big-Data-Umfeld mit. Gemeinsam mit Kunden entwickelt er Datenarchitekturen auf Basis verschiedenster Open-Source-Technologien. Seine praktischen Erfahrungen fließen dabei direkt in die Weiterentwicklung der Plattform ein.
🔹 Wichtiger Hinweis
Der Vortrag findet auf Deutsch statt!
Nutzt die Gelegenheit, euer Wissen rund um Apache NiFi zu erweitern, praktische Einblicke in den Betrieb auf Kubernetes zu gewinnen und euch mit anderen NiFi-Enthusiasten auszutauschen!
Talk 2: 3.500 Prozessoren, hunderte Prozessgruppen und NiFi 1.28.1: Wie migriere ich auf 2.10, ohne eine Million Mal klicken zu müssen? Ein Erfahrungsbericht vom Captain und seinem Copilot.
🔹 Speaker: Matthias Laudt
Lead Expert & Manager @ Scalian Germany AG | Data Engineering, Integration & Platforms | Backpressure-Manager & Daten-Schrauber im Herzen
🔹 Wichtiger Hinweis
Der Vortrag findet auf Deutsch statt!
Wir freuen uns darauf, euch online begrüßen zu dürfen!
---
[English]
Join Our Online Apache NiFi Meetup – Get real Insights into Best Practices in the Field!
Dear NiFi Enthusiasts,
We're thrilled to invite you to our upcoming online Apache NiFi Meetup, a virtual gathering designed for data flow professionals and enthusiasts eager to explore the latest advancements and best practices in the world of NiFi.
🔹 Event Details:
- Date: 03/12/2026
- Time: 16:30 CET
- Location: Online
🔹Talks
Talk 1: NiFi on Kubernetes: first make it boring, then make it scale
I work on the Apache NiFi operator in the Stackable Data Platform (SDP), which means NiFi clusters I will never see run on defaults we picked. Some of those defaults have stories. One had “for testing” in a comment next to it and shipped like that anyway. Another was an empty retention setting that NiFi read as “forever”, right up until startup meant scanning millions of archived files. And then there was that very optimistic readiness probe ... But it doesn't stop there, even where our job ends and NiFi starts there is havoc to be found, NiFi was written in an era before Kubernetes, ips were stable and always reachable, storage didn't "just go away" underneath your process .. all kinds of fun new scenarios to take into account.
The first half is about making NiFi 2 on Kubernetes boring: cluster state without ZooKeeper, why the first five minutes after startup matter, and how to stop a node without wrecking its own repositories.
The second half is autoscaling. Up is easy. Down means removing a node that still has FlowFiles on its disk, and the obvious Kubernetes answer is wrong in a way that took us a while to admit. I’ll show what works today, what we’re designing instead, and I’d like to hear how you do it, because I suspect nobody has a clean answer yet.
🔹Speaker: Sönke Liebau co-founded Stackable in 2020 and is its CPO. The company’s Stackable Data Platform (SDP) is an open source data platform that runs natively on Kubernetes. Sönke shapes it directly: drawing on around 15 years in the open source and big data world, he designs data architectures together with customers across numerous open source projects and feeds that hands-on experience straight into the product.
Talk 2: 3,500 Processors, Hundreds of Process Groups, and NiFi 1.28.1: How Do I Migrate to 2.10 Without Clicking a Million Times? Lessons Learned from the Captain and His Copilot.
🔹 Speaker: Matthias Laudt
Lead Expert & Manager @ Scalian Germany AG | Data Engineering, Integration & Platforms | Backpressure Manager & Data Tinkerer at Heart
🔹 Important Note
The talk will be held in German!
We look forward to seeing you online!
