Proof Of Kafka

Hey Kafkateers!

E' arrivato il caldo e noi abbiamo deciso di rinfrescare il prossimo meetup con una nuova formula: un primo talk frontale più "tradizionale", seguito da una open discussion, per coinvolgervi maggiormente e condividere esperienze e punti di vista.

Protagonisti del prossimo evento i ragazzi di Alten Italia, che oltre a presentarci un loro caso d'uso, apriranno la scottante discussione: "il tuo prossimo progetto può usare Kafka come unico sistema di storage?"

Tutto ovviamente accompagnato da una birretta fresca. Mercoledì 17, dagli amici di Mikamai, save the date!

-----

TITLE
Proof Of Kafka

ABSTRACT
Nel perimetro di una revisione architetturale generale, al fine di verificare con mano il funzionamento di Kafka in un ambiente di produzione, abbiamo realizzato un cluster in cui configurare un topic dati con i seguenti requisiti:

• gestione del messaggio tale che non fosse possibile la perdita del messaggio una volta dato l'ok al chiamante
• garanzia di mantenimento dell'ordinamento in fase di elaborazione per i messaggi provenienti dalla stessa fonte
• per ogni messaggio doveva venir chiamata una API json via http
• la garanzia di gestione di 100 msg/s in con messaggi costituiti da un json composto da 260 insiemi di valori
• dimensionamento dello storage per un retention time di 12 ore
• gestione affidabile che garantisse la disponibilità del servizio anche in presenza di fault con particolare enfasi su soluzioni che garantissero il fatto che i dati non fossero persi anche in caso di perdita definitiva delle macchine
• gestione della scalabilità orizzontale per i consumatori
  Abbiamo realizzato un cluster su AWS che rispettasse tutti i requisiti esposti sia in termini di performance, sia in termini di affidabilità.
  Abbiamo realizzato un servizio che generasse dei flussi dati verificabili con frequenza controllabile in modo da dimostrare il comportamento del sistema a diversi livelli di carico.
  Abbiamo integrato il producer ed i consumer con una piattaforma di monitoring in modo da mostrare in real-time le performance del sistema ed il comportamento del sistema in occasione di eventi significativi (perdita di un nodo del cluster, aggiunta di di un consumer parallelo,....)
  Questa "Proof Of Kafka" ci ha permesso di analizzare in maniera concreta i concetti base di Kafka, verificandone il funzionamento anche in casi limite, permettendoci di distillare delle configurazioni necessarie al soddisfacimento dei vincoli espressi dal cliente.

SPEAKERS

• Alessandro Leoni: Senior Software engineer presso ALTEN Italia. Il percorso lavorativo è stato incentrato sulla progettazione e realizzazione di sistemi distribuiti con forti vincoli rispetto alla coerenza dei dati, soprattutto in ambito di sistemi per la gestione di pagamenti. I principali clienti per cui ho lavorato sono Poste Italiane e Telecom Italia.
• Riccardo Pascoletti: Senior Software engineer presso ALTEN Italia. Il percorso lavorativo è stato incentrato sulla progettazione e realizzazione di sistemi distribuiti con forti vincoli rispetto alle prestazioni, soprattutto in ambito gaming and gambling. I principali clienti per cui ho lavorato sono Sisal, Eurobet e Telecom Italia.

-----

Se hai voglia di presentare o ospitare il nostro prossimo evento, non esitare a contattarmi: matteo [at] bottega52.it - https://calendly.com/matteo-ferroni/30min

Ti aspettiamo sullo Slack della nostra community (https://slackpass.io/confluentcommunity)!