Serverless Web Scrapping (Démo)

Si le Web Polynésien regorge de données intéressantes, l'Open Data est encore rare voir inexistant.

Lorsqu'on veut utiliser des données produites et diffusées par d'autres, on n'a souvent pas d'autre choix que de les copier depuis leur site web. Et lorsque ces données sont mises à jour régulièrement, autant automatiser cette tâche.

Le web scrapping est une technique d'extraction du contenu de sites Web que nous allons mettre en œuvre dans un script Python utilisant la bibliothèque Beautiful Soup.

Nous installerons ce script sur AWS Lambda et programmerons son exécution automatique toutes les heures.