Random Testing temporal para Spark Streaming

Aunque el testing basado en propiedades está en auge en múltiples áreas y lenguajes es todavía difícil encontrar una herramienta de este tipo para sistemas de stream processing, incluso aunque sea posible encontrarlas a nivel de procesamiento batch.

Para empezar a llenar este vacío presentamos SSCheck, una herramienta implementada en Scala que extiende ScalaCheck para su uso con Spark streaming. SSCheck trata de proporcionar alusuario un lenguaje sencillo y unificado para definir tanto los streams como las propiedades. Así, las fórmulas se construyen con operadores de la forma “siempre”, “alguna vez” o “a continuación”,entre otros, donde el transcurrir del tiempo se corresponde con el avance del stream y donde podemos fijar un timeout para que las fórmulas sean decidibles, evitando así resultados inconclusivos.Estas propiedades se prueban sobre stream construidos usando generadores ScalaCheck para Spark batch, y generadores temporales como los anteriores para Spark Streaming.

En resumen, en esta charla comenzaremos explicando cómo son las propiedades y los generadores que podemos usar en SSCheck, que formalmente se corresponden con fórmulas en lógica linealtemporal de tiempo finito, y después pasaremos a ver cómo podemos usar esta herramienta con nuestros programas Spark.

// La charla será impartida por Adrián Riesco (http://maude.sip.ucm.es/~adrian), investigador de la UCM