HBase a MySQL ekosystém pro real-time pohledy nad daty

Tomáš Komenda & Michal Kuchta z Sklik (Seznam.cz).

V rámci reklamního systému Sklik.cz používáme rozsáhlý databázový ekosystém, jenž je postaven na Hadoop technologiích (Spark, MPR, HBase, Solr, Impala, Hive, Sqoop), MySQL technologiích (Percona Server, MariaDB) a dalších databázových systémech (MongoDB, Cassandra, Aerospike, Cauchbase, Redis). Jednou z funkcionalit jsou masivní near real-time agregace a filtrace kombinující relační a statistická data. Statistická data jsou uložena ve dvou HBase clusterech a relační data v rozsáhlém databázovém clusteru postaveném na MySQL technologiích (XtraDB, Memory).

V rámci prezentace popíšeme náš Hadoop ekosystém, naše vlastní agregační řešení a představíme HBase (v porovnání k tradičním databázovým systémům). Zaměříme se hlavně na datový model, near real-time zpracování a agregace dat, coprocessory, indexace a cross-site replikace v HBase a MySQL.

17:30 občerstvení a "big data small talk"

18:00 prezentace Skliku

Těšíme se na vás,

Katka