Ma prod a 1 Milliards de séries temporelles, au secours !


Details
De l'informatique industrielle à l'IoT en passant évidemment par l'observabilité des infrastructures logicielles, beaucoup de données sont structurées comme des séries temporelles.
Cela implique de construire un arsenal de nouvelles techniques pour exploiter ces données à des fins d'analyse, d'alerting ou d'audit.
Les bases de données OLAP traditionnelles ne sont généralement pas suffisantes pour ce genre d'usages, car les besoins en mémoire explosent après quelques milliers de séries différentes.
Une nouvelle galaxie de bases de données a émergé et parmi celles-ci une sort du lot : Warp10.
Développée par SenX, cette base s'appuie sur des technologies éprouvées pour assurer une montée en charge efficace : Hadoop, Kafka et maintenant FoundationDB !
Au sein de Clever Cloud, nous avons fait le choix de Warp10 pour construire la plateforme d'observabilité Clever Metrics.
Après plusieurs années à opérer cette technologie at scale, nous souhaitons partager cette expérience opérationnelle et présenter son usage au sein de Clever Cloud.
C'est pourquoi nous allons voir :
- Qu'est-ce qu'une série temporelle et pourquoi il y en a partout
- Ce que le marché propose pour les traiter
- Les limites à ces solutions at scale
- Comment faire scale un cluster Warp10 jusqu'à 1 Mrd de séries temporelles

Ma prod a 1 Milliards de séries temporelles, au secours !