Collecte de données web

Description du Projet

Ce projet de troisième semestre vise à développer un outil décisionnel basé sur la collecte de données web. Il se décompose en deux parties principales : le Web Scraping et l'exploitation d'une API.

Partie 1 : Web Scraping

L'objectif était de choisir librement un site à scraper, d'analyser les données, et de produire des indicateurs pertinents. J'ai été en charge de cette partie, incluant la recherche de données géographiques, le scraping vers un DataFrame, et la création d'un tableau de bord avec carte et graphiques.

Partie 2 : API Météo (Synop)

Cette partie, réalisée avec mes collègues Mathieu LOPES-MOREIRA et Octave ROMER, consistait à exploiter l'API "Données SYNOP essentielles" pour produire des indicateurs visuels :

• Carte Folium interactive des températures moyennes par commune.
• Graphiques comparatifs par région et année (pluviométrie, pression, humidité...).
• Analyse des observations à moins de 100km de Poitiers.

Mon Rôle

Outre la réalisation complète de la partie Web Scraping, j'ai également défini l'univers visuel global de l'application pour assurer une cohérence entre les différents livrables.

Compétences Développées

• Collecte de données : Techniques de Web Scraping et requêtage d'API REST.
• Traitement de données : Nettoyage et structuration avec Pandas.
• Visualisation : Création de cartes interactives (Folium) et graphiques statistiques (Matplotlib/Seaborn).
• Développement : Automatisation de scripts Python et gestion des erreurs.
• Travail d'équipe : Répartition des tâches et intégration des travaux.

Résultats et Apprentissages

Résultats obtenus

Une application complète capable de récupérer, traiter et visualiser des données météorologiques et géographiques en temps réel ou différé. Le projet a été validé par une soutenance orale et la livraison d'un code fonctionnel et documenté.

Ce que j'ai appris

J'ai approfondi mes compétences en Python, notamment sur la manipulation de flux de données externes. J'ai également appris à concevoir des indicateurs pertinents pour l'aide à la décision et à soigner l'ergonomie d'une application de data visualisation.