Internet of Things Madrid Meetup Message Board › Propuesta de grupo de trabajo para el Hacking party del 13 de Septiembre

Propuesta de grupo de trabajo para el Hacking party del 13 de Septiembre

Félix P.
fpedrera
Colmenar Viejo, ES
Post #: 3
Hola,

En línea con lo que se plantea de aprender a extraer datos de calidad del aire del Ayto. de Madrid hacia COSM y visualizarlos, propongo plantear algún reto concreto para contrastar con datos alguno de los titulares sobre calidad del aire que la prensa publica de vez en cuando.

Por ejemplo: "Diez estaciones rebasaron los límites de ozono este verano".

Tal vez se pueda crear un grupo de trabajo majo que pueda abordar tareas como:


  • Con lo que nos cuenten Ed y Joe, hacer scraping de la web del Ayto. de Madrid sobre calidad del aire y publicar en COSM, CartoDB o cualquier otro almacén de datos que pueda ser útil.
  • Leer desde R, usando la librería open source OpenAir, los datos de las estaciones de calidad del aire publicados en COSM o CartoDB. Tengo alguna referencia sobre cómo hacerlo tanto bebiendo de COSM como de CartoDB.
  • Mostrar gráficamente los niveles de algún contaminante (p.ej los promedio horarios de O³) en un periodo de tiempo y con referencia a los umbrales legales y de la OMS, para ver visualmente el nº de superaciones.


La librería OpenAir facilita realizar análisis y obtener gráficas específicas para datos de calidad del aire muy interesantes, tanto para los AQE como para los datos oficiales:


  • Relación lineal entre dos contaminantes.
  • Gráficas polares que tienen en cuenta la dirección del viento.
  • Gráficas de calendario.
  • Tendencias.
  • etc.


Podéis obtener el manual en http://www.openair-pr...­ y el código fuente está en CRAN: http://cran.r-project...­, seguro que puede ser una herramienta de análisis muy interesante para los datos de los AQE, aunque yo de R no tengo mucha idea... ¡todo es ponerse!

Sabiendo hacer esto, más adelante cuando los datos de los AQE vayan siendo más fiables puede ser más sencillo comparar series de datos de los AQE respecto a las estaciones oficiales, e incorporar más estaciones de otras ciudades al feed de COSM o a CartoDB.

Podemos intentar reclutar a algún periodista y a algún experto en R en las listas de Periodismo de Datos de MediaLabPrado y la de usuarios de R (https://stat.ethz.ch/...­) para participar en la jornada y que nos echen una mano.

¿Cómo lo véis?

Saludos.
Juan Félix M.
jfmateos
Madrid, ES
Post #: 5
Publicar los datos del Ayuntamiento en Cosm estaría muy bien.

Yo he estado investigando este asunto y no he encontrado los datos del ayuntamiento en modo "legible", sino sólo incrustados en imágenes png de este tipo http://www.mambiente....­.

Una estrategia para publicarlos en Cosm podría ser crear un script (PHP por ejemplo) que obtuviera esas imágenes PNG, realizase un OCR simple sobre las zonas de la imagen en las que se encuentran los valores que nos interesan (NO2 y CO), y los publicase en Cosm. Luego tendríamos que poner este script en un CRON para que se ejecute cada 10 minutos.

¿Se os ocurre otro procedimiento mejor?
Félix P.
fpedrera
Colmenar Viejo, ES
Post #: 4
Hola,

Hay un CSV con datos prevalidados del último mes: http://www.mambiente....­

Los datos de última hora están disponibles en HTML, por lo que para tratarlos hay que hacer 'scraping', con ejecutarlo cada hora sería suficiente porque la frecuencia de muestreo no es menor, recoger los datos y publicar en COSM: http://www.mambiente....­. No obstante, son datos no validados que pueden variar tras su revisión por parte del Ayto.

Los datos históricos se pueden pedir a través de este formulario, y están en formato TXT documentado: http://www.mambiente....­.

Saludos.
Juan Félix M.
jfmateos
Madrid, ES
Post #: 6
Fenomenal Félix, no había encontrado la página "Informe de última hora".

¿Qué lenguaje/aplicación usarías tú para hacer el scraping?
Félix P.
fpedrera
Colmenar Viejo, ES
Post #: 5
Yo me inclinaría por Python porque tiene buen soporte de librerías de scraping (Scrapy, Mechanize, BeautifoulSoup) y para comunicaciones, pero la opinión es parcial porque lo estoy aprendiendo y me apetece seguir profundizando.

Ruby o PHP también son buenas opciones, en ScraperWiki dan soporte a estos tres lenguajes (PHP, Python y Ruby): https://scraperwiki.c...­. Perl es otra opción.

ScraperWiki es una herramienta genial, el problema es que la cuenta "free" solo permite planificar los scripts una vez al día, y tienes que apañarte con las librerías que incluye. Nosotros necesitamos hacerlo cada hora y puede ser util incluir librerías para publicar en COSM y/o CartoDB.

De todas formas, ¡vamos a ver qué nos cuentan Ed y Joe el jueves! Yo de todas formas ya le he estado dando vueltas un poco a la manera de poder luego hacer más sencillo leer los datos de otras ciudades y publicar en COSM o CartoDB.

¡Nos vemos!
César G.
CesarGarcia
Group Organizer
Madrid, ES
Post #: 12
Hola a todos,

La idea del grupo de trabajo para adelantar propuestas para el próximo día 13 me parece genial. Vamos a ver quien se anima. Creo que es una de las mejores formas de aprender a trabajar con casos prácticos.

Me he peleado un poco con python y los scrapper y creo que pueden ser buenas soluciones. Además pienso que el código queda bastante legible smile

Respecto a ScrapperWiki, pienso que es posible que la gente de Cosm ya tenga una cuenta para scappear datos y generar feeds. Voy a preguntar a ver si hay suerte. Nos vemos!

A former member
Post #: 3
A mi me parece muy bien, la propuesta ya que tal y como ha salido en los ya varios meetup de los AQE, la creciente preocupacion de los ciudadanos por lo que respiramos en Madrid. Creo que es importante ademas de distribuir este tipo de noticas como la del link, respaldarlo con datos.
Los datos apuntan a que la mayoria de los ciudadanos piensa que el Ayuntamiento oculta y manipula los datos de la calidad del aire sistematicamente a espaldas de los ciudadanos y las noticias al respecto lo demuestran, si respaldamos estas noticias con datos, mejor que mejor:


http://www.change.org...­

http://www.publico.es...­

http://es.globedia.co...­

http://elpais.com/dia...­


A former member
Post #: 4
Nerea ya tiene solucionado el tema de coger los datos que presenta el ayuntamiento en la web. Despues los representan en tiempo real y 3D
Juan Félix M.
jfmateos
Madrid, ES
Post #: 7
Yo había empezado a hacerlo en PHP porque es lo que manejo habitualmente, pero también creo que será mejor esperar a ver qué nos cuentan por si es mejor plantearlo en scraperwiki.


Otro reto podría ser diseñar una ampliación para el AQE que midiese la intensidad sonora y que se comunicase con él por I2C.
César G.
CesarGarcia
Group Organizer
Madrid, ES
Post #: 13
Nerea ya tiene solucionado el tema de coger los datos que presenta el ayuntamiento en la web. Despues los representan en tiempo real y 3D

Sería interesante poder visualizar los datos que se generan con "In The Air" y compararlos con los que podamos generar en base a los Air Quality Egg y los que se publican.

Por otra parte, no se si In the Air es código abierto, pero podría ser muy interesante ver cómo han resuelto ellos la captura de datos en tiempo real desde la web del Ayuntamiento, ver qué estaciones están consultando para generar las mallas, que valores se pueden consultar/correlar, etc.

He estado revisando la página de la herramienta y aunque piensan liberar el código todavía no está disponible.
Powered by mvnForum

Our Sponsors

  • Intel

    Supported by Intel

People in this
Meetup are also in:

Sign up

Meetup members, Log in

By clicking "Sign up" or "Sign up using Facebook", you confirm that you accept our Terms of Service & Privacy Policy