COMEDIA

Extraire des données d’un site

Quand l’information est publique mais qu’aucun fichier n’existe, il faut la reconstituer page par page. Faisable, utile, et encadré par des règles qu’on ne peut pas ignorer.

Ouvrir cette carte dans l’explorateur interactif

En un mot. Récupérer automatiquement des informations dispersées sur des centaines de pages d’un site, pour en faire un tableau.

Définition

Collecte automatisée de données publiées sur des pages web, employée lorsque l’information est accessible mais non téléchargeable : registres consultables page par page, annuaires, listes de marchés, décisions publiées sans export.

Pourquoi c’est important

Une information peut être parfaitement publique et rester inexploitable : mille délibérations consultables une par une ne permettent aucune comparaison. Les reconstituer en tableau fait apparaître ce que la consultation individuelle ne montre jamais — une récurrence, une anomalie, une concentration. C’est souvent la seule voie quand l’administration ne fournit pas d’export.

Comment ça marche

Trois cadres se superposent, et aucun ne s’ignore. Le cadre technique : une collecte trop rapide dégrade le service pour les autres usagers, ce qui n’est jamais justifiable — on espace les requêtes et on s’identifie. Le cadre contractuel : les conditions d’utilisation du site peuvent l’interdire, et leur violation expose, même si le contenu est public. Le cadre des données personnelles : rassembler des informations éparses sur des personnes crée un traitement soumis aux règles applicables, y compris lorsque chaque élément était public isolément — c’est le point que l’on sous-estime le plus. La règle de méthode, elle, est constante : conserver les pages d’origine, pas seulement le tableau produit.

Méthode, étape par étape

Un cas concret

La vérification manuelle d’un échantillon est l’étape que l’on saute et qui rattrape le plus d’erreurs. Une page qui change de structure en cours de site — une colonne déplacée, un champ vide traité comme un zéro — produit un tableau cohérent et faux. Trente lignes comparées à la main au site d’origine suffisent à le détecter.

Les erreurs à éviter

Les bons réflexes

À lire à côté

Cette carte comporte 1 question de contrôle, dans la version interactive.