Name: Scraping At Scale
Start: 2017-12-14T19:00:00+01:00
End: 2017-12-14T20:00:00+01:00
Location: Geoblink

En diciembre nos veremos en las oficinas de Geoblink, que además nos invitarán a refrescos y pizzas terminada la charla. Nota: hay sólo unas 30 sillas y el resto tendrá que quedarse de pie, así que ¡procurad llegar pronto!

Scraping At Scale

Scrapear es una tarea sencilla, pero que se puede volver tediosa si hay que recoger información de muchas webs diferentes. Además, si la información obtenida tiene que mantenerse actualizada, hay que repetir el proceso periódicamente, con la complejidad de que la estructura puede que haya cambiado y que haya que actualizar los scripts.

Una librería estándar que se suele utilizar es Scrapy para Python, pero tiene dos problemas, por un lado hay que repetir mucho código y por otro no es capaz de ejecutar Javascript de cliente, lo cual puede ser necesario cuando la web es dinámica. Es por eso que en Geoblink usamos habitualmente la extensión de Chrome Webscraper. La ventaja es que en un par de clics es posible construir una araña y al ejecutarse en el navegador puede ejecutar el código cliente si lo hubiera.

El principal problema con esta extensión es que automatizar estos procesos es complicado, porque corren en el navegador. Motivados por el lanzamiento de Chrome Headless hemos adaptado la extensión para correr tanto en el navegador como en Node.js https://www.npmjs.com/package/web-scraper-headless

En la charla explicaremos cómo es la arquitectura de las extensiones de Chrome en general, cómo hemos automatizado los procesos de scrapeo usando Webscraper y los problemas que hemos tenido para adaptar el código de una extensión para funcionar en Node.js. Si te gusta el código isomórfico ésta es tu charla.

Gabriel Fürstenheim

Matemático y desarrollador Senior en Geoblink. Es raro verle separado de su bicicleta.

Alex Fernández

Gabriel

Node.js Madrid

Technology

Software Development

New Technology

nodeJS

JavaScript

JavaScript Libraries

JavaScript Frameworks

Web Development

Computer Programming

Front-end Development

Web Technology

Internet of Things (IOT)

Open Source

Internet Professionals

JavaScript Applications

Scraping At Scale

Geoblink

Share

Node.js Madrid

Scraping At Scale

Node.js Madrid

Details

Members are also interested in