Что нового в Hadoop 3.0, Greenplum 5.0, Hive2?

1. Близится релиз Hadoop 3.0, включающий множество новых возможностей в части контейнеризации, репликации и управления ресурсами распределенных кластеров.

Поговорим о новых возможностях Hadoop 3.0: изменение подхода к репликации и восстановления блоков, использование Yarn ATS v2, Docker в Yarn и многое другое.

2. Когда распределенные системы становятся СУБД

• Базы данных и то хорошее, к чему они нас приучили (SQl, Persistence, ACID)
• Что умеют распределенные системы, что в них хорошо и что плохо
• Почему сложно совместить ужа и ежа
• Как задача решена в Apache Ignite: Native Persistent Data Storage

3. Greenplum: слива и слон, или дружим Greenplum и Hadoop по-новому.

Выход первого open-source-релиза Greenplum 5.0 привнёс в СУБД новый, более гибкий механизм интеграции с кластерами Hadoop. Обсудим сильные и слабые стороны нового механизма, а также примеры его использования.

4. Hive2 – Hive со скоростью резидентных вычислений.

Выход Hive2 привнёс важное изменение – возможность выполнения интерактивных запросов благодаря кэшированию данных в памяти. В докладе я расскажу, что такое LLAP и как он помогает выполнять запросы до 25 раз быстрее по сравнению с HIVE1.