Building a fully-automated Fast Data Platform

Hallo zusammen,

endlich ist es wieder soweit, nochmal ein Meetup in Köln.

Vortrag 1:

Aufgrund eines Missverständnisses müssen wir Vortrag 1 kurzfristig ändern.
Entscheiden wir dann vor Ort.

Vortrag 2:

Aufbau einer vollautomatischen Fast Data Plattform

Aktuell hört man oft, dass Fast Data der Nachfolger von Big Data sei. Zusammen mit dem Begriff Fast Data ist häufig von der Idee einer Ende zu Ende Daten-Pipeline die Rede, die aus Spark, Mesos, Akka, Cassandra und Kafka besteht. Eine solcher Pipeline wird auch SMACK-Stack genannt und ist eine ideale Umgebung für alle Datenanalyse-Bedürfnisse, wie nächtliche Batch Jobs, die Echtzeit-Aufnahme von Sensor-Daten und zum Beantworten vieler Business Intelligence Fragestellungen. Allerdings beinhaltet der SMACK-Stack viele Komponenten, die auf verschiedene Rechner installiert werden müssen. In diesem Vortrag betrachten wir deshalb wie man ein solches System mit Hilfe von Terraform aufbauen kann. Dabei hilft uns auch Mesospheres Datacenter Operating System (DC/OS).

Bio:

Bernd Zuther ist seit mehren Jahren im IT-Projektgeschäft tätig und arbeitet als Berater im Bereich Agile Software Factory bei der codecentric AG, wo er sich vor allen Dingen mit Themen wie Big Data, Continuous Delivery und agilen Software-Architekturen beschäftigt. Im Rahmen seiner praktischen Arbeit erstellt er meistens hochverfügbare Web-Systemen.

English version:

Building a fully-automated Fast Data Platform

Talk 2:

Many people promise fast data as the next step after big data. The idea of creating a complete end-to-end data pipeline that combines Spark, Akka, Cassandra, Kafka, and Apache Mesos came up two years ago, sometimes called the SMACK stack. The SMACK stack is an ideal environment for handling all sorts of data-processing needs which can be nightly batch-processing tasks, real-time ingestion of sensor data or business intelligence questions. The SMACK stack includes a lot of components which have to be deployed somewhere. Let’s see how we can create a distributed environment in the cloud with Terraform and how we can provision a Mesos-Cluster with Mesosphere Datacenter Operating System (DC/OS) to create a powerful fast data platform.

Bio:

Bernd Zuther is a Bleeding Edge IT Rockstar at codecentric AG in Munich. He describes himself as a "Java enterprise dinosaur for turning beer into code" and has expertise in the areas of Java, Spring, Wicket, MongoDB, Hadoop and various others.