Distribuyendo datos para escalar: trabajando con Greenplum software libre

Después del encuentro de Diciembre sobre Postgres Distribuido, continuamos nuestra serie de distribuir carga a múltiples nodos desde una perspectiva diferente, con Greenplum open source.

En esta ocasión, vamos a contar con dos ponentes de la ESA (Agencia Espacial Europea) que saben muy muy bien de lo que hablan manejando volúmenes de datos en los cientos de TB y más.

Nuestros agradecimientos a Liferay por sponsorizar el evento organizándolo en sus oficinas.

Distribuyendo datos para escalar: trabajando con Greenplum software libre
¿Cuál es la mejor solución para manejar 100 TB de datos y seguir creciendo con Postgres? ¡Necesitamos una solución escalable! Presentaremos cómo utilizamos Greenplum de código abierto maximizando el uso de postgres, reduciendo nuestros tiempos de consulta e ingesta en un 80 % en comparación con una solución ampliada.

Al proporcionar a nuestros usuarios formas de analizar grandes cantidades de datos, en nuestro caso, catálogos de estrellas, los científicos pueden consumirlos para escribir los artículos científicos más interesantes que se publicarán en revistas científicas relevantes y comprender por qué el Universo funciona como lo hace. Repasaremos: nuestra configuración, pruebas realizadas, trabajos futuros y lecciones aprendidas en un proyecto "universal".

PILAR DE TEODORO
Empresa: European Space Agency
Twitter: @pteodoro
Pilar de Teodoro trabaja como experta en bases de datos en el Centro Europeo de Astronomía Espacial en Madrid (ESA), España. Pilar trabaja en los archivos de la ESA gestionando las bases de datos de las diferentes misiones de los satélites. Manejo de GB a TB de datos, trabajando principalmente con bases de datos PostgreSQL de código abierto. Pilar es física y trabaja desde hace 16 años en la ESA. Anteriormente Pilar ha trabajado para Oracle España durante casi 9 años.
Pilar ha presentado 5 veces en pgconf'NY abordando principalmente bases de datos distribuidas.
JOAQUIM OLIVEIRA
Empresa: European Space Agency
Twitter: @joaquimanuel
Ingeniero de Software trabajando para la Industria Espacial y de Defensa desde hace más de 15 años. Actualmente trabajando como Ingeniero de Software y Experto en Bases de Datos en el Centro de Datos Científicos de la ESA (Agencia Espacial Europea). Trabaja principalmente para la misión Euclid, lanzada el 1 de julio y se espera que genere PB de datos mientras mapea la geometría del Universo y comprende mejor la misteriosa materia y energía oscuras.