4° Meetup Engenharia de Dados

Bem vindo ao 4° Meetup Engenharia de Dados!

Agenda

1° palestra:
"GCP vs AWS vs Azure: qual escolho para um produto de live analytics?"
Lucas Silva - SRE / Eng. de Software @ Samba Tech.

Descrição:

A coleta de dados em tempo real é uma funcionalidade importante para análise de dados e pode apresentar vários desafios em seu desenvolvimento. Nesta palestra apresentaremos o passo a passo de como montar uma arquitetura, resiliente, escalável e de fácil operação para serviços de Live Analytics utilizando um dos principais serviços na nuvem.

2° palestra
"Gerindo grandes volumes de logs na AWS com economia e resiliência.",
Jonatas Renan - DevOps Engineer @ Hotmart.

Descrição:

Nesta palestra será apresentada uma solução para grandes volumes de logs com foco em custo sem perder resiliência. Veremos como coletamos, processamos, guardamos e analisamos 25 TB/mês de logs de 220 aplicações em cerca de 1000 containers usando Docker, Fluentd, AWS Kinesis, AWS Data Firehose, AWS Lambda, AWS Athena, AWS EMR, Apache Spark, Elasticsearch e Kibana. Também veremos o motivo desta solução nos fazer economizar 70%.