Saltar al contenido

Random Testing temporal para Spark Streaming

Foto de Juan Manuel Serrano
Hosted By
Juan Manuel S.
Random Testing temporal para Spark Streaming

Detalles

Aunque el testing basado en propiedades está en auge en múltiples áreas y lenguajes es todavía difícil encontrar una herramienta de este tipo para sistemas de stream processing, incluso aunque sea posible encontrarlas a nivel de procesamiento batch.

Para empezar a llenar este vacío presentamos SSCheck, una herramienta implementada en Scala que extiende ScalaCheck para su uso con Spark streaming. SSCheck trata de proporcionar alusuario un lenguaje sencillo y unificado para definir tanto los streams como las propiedades. Así, las fórmulas se construyen con operadores de la forma “siempre”, “alguna vez” o “a continuación”,entre otros, donde el transcurrir del tiempo se corresponde con el avance del stream y donde podemos fijar un timeout para que las fórmulas sean decidibles, evitando así resultados inconclusivos.Estas propiedades se prueban sobre stream construidos usando generadores ScalaCheck para Spark batch, y generadores temporales como los anteriores para Spark Streaming.

En resumen, en esta charla comenzaremos explicando cómo son las propiedades y los generadores que podemos usar en SSCheck, que formalmente se corresponden con fórmulas en lógica linealtemporal de tiempo finito, y después pasaremos a ver cómo podemos usar esta herramienta con nuestros programas Spark.

// La charla será impartida por Adrián Riesco (http://maude.sip.ucm.es/~adrian), investigador de la UCM

Photo of ScalaMAD: Scala Programming @ Madrid group
ScalaMAD: Scala Programming @ Madrid
Ver más eventos
Indizen
Paseo de la Castellana, 130 · Madrid