Scraping : définition, fonctionnement, outils et cadre légal

Qu'est-ce que le scraping ?

Définition du scraping

Le scraping, ouweb scraping lorsqu’il concerne des pages internet, désigne l’utilisation d’un programme ou d’un logiciel pour récupérer automatiquement certaines informations présentes sur un site web.

Le principe est relativement simple : au lieu qu’une personne consulte une page, repère les données qui l’intéressent puis les copie manuellement dans un fichier, un scraper réalise automatiquement ces opérations.

Il peut par exemple ouvrir successivement plusieurs milliers de fiches d’entreprises et récupérer :

• le nom de l’entreprise ;
• son secteur d’activité ;
• son adresse ;
• son site internet ;
• certaines coordonnées professionnelles ;
• les informations visibles sur ses produits ou services.

Les résultats peuvent ensuite être stockés dans un tableur, une base de données B2B ou directement envoyés vers un CRM.

Le scraping ne doit donc pas être confondu avec une simple copie de page web. Son objectif consiste généralement àtransformer des informations dispersées et peu structurées en données exploitables à grande échelle.

Bon à savoir

Une information visible publiquement sur Internet n’est pas automatiquement une information librement réutilisable. La CNIL rappelle notamment que les données personnelles accessibles publiquement restent des données personnelles et que leur réutilisation doit respecter le RGPD.

À quoi sert le scraping ?

Le scraping répond avant tout à un problème de volume.

Collecter manuellement les tarifs de 20 concurrents peut être envisageable. Répéter cette opération chaque jour sur 10 000 références produits ne l’est plus. C’est précisément à ce moment que l’automatisation devient intéressante.

Une entreprise peut utiliser le scraping pour :

• suivre les évolutions tarifaires de ses concurrents ;
• identifier de nouvelles entreprises correspondant à ses critères de prospection ;
• alimenter une base de données ;
• suivre des annonces ou des offres d’emploi ;
• collecter des avis ou des informations publiques ;
• analyser les résultats des moteurs de recherche ;
• détecter des changements sur des pages spécifiques ;
• réaliser des études de marché ;
• enrichir des données déjà présentes dans un CRM.

En B2B, le scraping peut notamment intervenir en amont d’une démarche de génération de leads B2B. L’objectif n’est alors pas nécessairement de contacter immédiatement toutes les personnes identifiées, mais de disposer d’informations permettant de mieux cibler les entreprises ou profils à analyser.

Quels types de données peuvent être collectés ?

Techniquement, un scraper peut récupérer de nombreux éléments visibles ou présents dans le code d’une page :

• textes ;
• titres et descriptions ;
• tableaux ;
• liens ;
• prix ;
• références produits ;
• catégories ;
• notes et avis ;
• dates ;
• informations relatives à des entreprises ;
• attributs HTML ;
• certaines métadonnées ;
• données structurées intégrées au code source.

Les images ou documents peuvent également être identifiés et leurs liens récupérés, même si leur téléchargement ou leur réutilisation pose ensuite d’autres questions liées notamment aux droits d’auteur.

Une distinction essentielle doit également être faite entredonnées concernant une entrepriseetdonnées permettant d’identifier une personne physique.

Un numéro SIREN ou le secteur d’activité d’une entreprise n’a pas le même statut juridique qu’un nom, une adresse électronique nominative ou un numéro de téléphone personnel.

Cette distinction doit être intégrée dès la conception du projet de scraping.

Comment fonctionne le scraping ?

Les étapes d'un processus de scraping

Un projet de scraping suit généralement cinq grandes étapes.

1. Identifier les sources

Il faut commencer par déterminer précisément quels sites ou quelles pages contiennent les informations recherchées.

2. Identifier les données à extraire

Le scraper doit savoir quels éléments récupérer : nom d’entreprise, prix, catégorie, URL, date, description, etc.

3. Télécharger ou afficher les pages

Le programme envoie des requêtes vers les pages ciblées ou utilise un navigateur automatisé lorsqu’une partie du contenu est générée dynamiquement.

4. Analyser le contenu

Le scraper identifie les éléments correspondant aux règles définies : balises HTML, classes CSS, attributs, structures JSON ou autres éléments présents dans la page.

5. Stocker et nettoyer les données

Les informations obtenues sont enregistrées dans un fichier ou une base de données, puis contrôlées, normalisées et éventuellement dédupliquées.

Dans un environnement professionnel, une sixième étape devient rapidement indispensable :l’automatisation de l’exécution et de la mise à jour.

Comment un scraper récupère les données d'une page web

Une page web est construite à partir de plusieurs technologies, principalement HTML, CSS et JavaScript.

Le HTML contient une grande partie de la structure de la page. Prenons un exemple simplifié :

<span class="prix">49 €</span>

Un scraper peut recevoir comme instruction : « récupère le contenu de tous les éléments dont la classe estprix».

Le résultat obtenu sera ici :49 €.

Sur une page contenant 100 produits construits de manière similaire, la même règle permet de récupérer automatiquement les 100 tarifs.

Dans la réalité, les sites modernes sont évidemment plus complexes. Les informations peuvent être :

• chargées uniquement après l’ouverture de la page ;
• récupérées via une requête JavaScript ;
• affichées après un clic ;
• réparties sur plusieurs pages ;
• accessibles uniquement après authentification ;
• chargées lors du défilement.

Le choix de la technologie utilisée pour scraper dépend donc directement de la manière dont le site affiche ses données.

Les principaux formats de données extraites (CSV, Excel, JSON, XML)

Une fois collectées, les informations doivent être stockées dans un format adapté à leur utilisation.

CSV

Le CSV est particulièrement pratique pour des données tabulaires simples. Il peut facilement être ouvert dans Excel, Google Sheets ou importé dans de nombreux logiciels.

Excel

Le format Excel convient lorsque les utilisateurs souhaitent directement consulter, filtrer ou retravailler les données dans un tableur.

JSON

JSON est très utilisé pour transmettre des données entre applications. Il permet de représenter des structures plus complexes et s’intègre particulièrement bien avec les API et les applications web.

XML

XML est également un format structuré de données. Il reste utilisé dans de nombreux systèmes professionnels, même si JSON est aujourd’hui très courant dans les applications web modernes.

Le bon format dépend donc du traitement prévu après l’extraction. Pour une analyse ponctuelle, CSV ou Excel sont souvent suffisants. Pour alimenter automatiquement une application ou une plateforme, JSON sera généralement plus adapté.

Les différents types de scraping

Tous les projets de scraping ne reposent pas sur la même méthode. La technique dépend principalement de la source, du volume de données et de la complexité du site.

Web scraping

Le web scraping consiste à récupérer directement des informations présentes sur des pages web.

Il s’agit de l'usage auquel on fait généralement référence lorsque l’on parle simplement de « scraping ».

Un scraper web peut par exemple parcourir un catalogue en ligne, ouvrir chaque fiche produit et récupérer :

• le titre ;
• le prix ;
• la disponibilité ;
• la référence ;
• la catégorie.

Il est particulièrement adapté aux informations organisées selon une structure relativement répétitive.

Data scraping

Le terme data scraping possède un sens plus large.

Il décrit l’extraction automatisée de données depuis une source numérique, qui n’est pas nécessairement une page web classique.

Il peut s’agir d’extraire des données depuis :

• des documents ;
• des fichiers ;
• des applications ;
• des flux ;
• des interfaces numériques.

Le web scraping constitue donc une forme particulière de data scraping.

Screen scraping

Le screen scraping consiste davantage à récupérer des informations telles qu’elles apparaissent à l’écran.

Cette technique est notamment utilisée lorsque les données sont difficilement accessibles sous une forme directement exploitable dans le code ou lorsque l’on travaille avec certaines interfaces anciennes.

Elle est généralement moins robuste qu’une extraction basée directement sur la structure des données. Une modification visuelle de l’interface peut suffire à perturber le fonctionnement du scraper.

Scraping via API

Certaines applications web communiquent avec leurs serveurs via des API.

Dans ce cas, il peut parfois être plus efficace de récupérer les informations directement depuis une interface prévue pour transmettre des données structurées, lorsque son utilisation est autorisée.

Une réponse d’API en JSON est généralement beaucoup plus simple à traiter que le HTML d’une page entière.

Attention toutefois : découvrir qu’un site utilise une API en arrière-plan ne signifie pas automatiquement que cette interface peut être utilisée librement. Il faut vérifier les conditions d’accès et d’utilisation applicables.

Scraping statique et scraping dynamique (JavaScript)

La différence entre scraping statique et dynamique est fondamentale.

Un sitestatique, dans ce contexte, renvoie directement les informations recherchées dans le HTML reçu par le scraper. Une simple requête HTTP suivie d’une analyse HTML peut donc suffire.

Sur un sitedynamique, certaines données apparaissent uniquement après l’exécution de JavaScript.

Dans ce cas, un outil capable de piloter un navigateur peut devenir nécessaire. Il charge la page comme le ferait un utilisateur, laisse les scripts s’exécuter puis récupère les informations une fois celles-ci affichées.

Voici une synthèse des principales approches :

Bon à savoir

Avant d’utiliser un navigateur automatisé, vérifiez que les informations recherchées ne sont pas déjà présentes dans le HTML ou disponibles via une API autorisée. Une architecture plus simple sera généralement plus rapide, plus stable et moins coûteuse à maintenir.

Les principaux cas d'usage du scraping

Génération de leads B2B

Le scraping peut faciliter l’identification d’entreprises correspondant à certains critères :

• secteur ;
• localisation ;
• taille ;
• technologie utilisée ;
• présence sur certains annuaires ;
• activité particulière.

Ces informations peuvent ensuite servir de point de départ à une qualification commerciale.

L’enjeu consiste toutefois à éviter une logique purement quantitative. Accumuler des milliers de contacts sans stratégie de ciblage produit rarement de bons résultats.

Une démarche structurée doit relier collecte de données, qualification et stratégie de prospection B2B.

Une agence de prospection B2B peut justement accompagner cette réflexion en travaillant sur le ciblage, la qualification et la prise de rendez-vous plutôt que sur la simple accumulation de données.

Veille concurrentielle

Le scraping permet d’automatiser une partie de la veille concurrentielle.

Une entreprise peut surveiller régulièrement :

• l’apparition de nouvelles offres ;
• les modifications de prix ;
• le lancement de nouvelles fonctionnalités ;
• la publication de contenus ;
• les évolutions d’un catalogue ;
• certaines informations publiques concernant ses concurrents.

Le principal avantage réside dans la fréquence de la collecte. Au lieu de réaliser ponctuellement une étude concurrentielle, l’entreprise peut construire un dispositif de veille continue.

Surveillance des prix

Le suivi des prix est l’un des usages historiques du scraping.

Dans l’e-commerce, il peut permettre de comparer régulièrement les tarifs pratiqués sur différentes plateformes.

Les informations collectées peuvent ensuite alimenter :

• un tableau de bord ;
• des alertes ;
• une analyse de positionnement ;
• un système de pricing.

Il faut néanmoins tenir compte des droits applicables et des conditions contractuelles des sites concernés. Certaines plateformes encadrent ou interdisent explicitement les outils automatiques d’extraction.

Collecte d'avis clients

Les avis publics peuvent être intéressants pour identifier les attentes, objections ou motifs d’insatisfaction des consommateurs.

Une analyse structurée peut par exemple faire ressortir :

• les fonctionnalités les plus appréciées ;
• les problèmes régulièrement signalés ;
• les attentes récurrentes ;
• le vocabulaire employé par les clients ;
• les arguments différenciants des concurrents.

Une collecte d’avis doit néanmoins tenir compte des droits associés aux contenus et, le cas échéant, des données personnelles apparaissant dans les contributions.

Recherche de prospects

Le scraping peut aider à identifier des organisations correspondant à un profil de client idéal.

Il est notamment possible de rechercher des signaux tels que :

• l’activité de l’entreprise ;
• sa localisation ;
• certains recrutements ;
• l’utilisation de technologies particulières ;
• son développement sur de nouveaux marchés ;
• certains changements visibles publiquement.

L’objectif est d’obtenir des données de contexte permettant de prioriser la prospection.

La collecte d’une adresse email constitue toutefois une problématique distincte. Pour aller plus loin sur ce sujet, consultez également notre guide consacré aux méthodes permettant de trouver les adresses mail des entreprises.

Enrichissement de bases de données

Une base existante devient progressivement obsolète : entreprises ayant changé d’adresse, nouveaux collaborateurs, changements de fonctions ou informations manquantes.

Le scraping peut participer à un processus d’ enrichissement de données en recherchant automatiquement certaines informations complémentaires.

Une étape de vérification reste néanmoins indispensable. Les informations accessibles en ligne peuvent être anciennes, contradictoires ou incorrectes.

Analyse SEO

Le scraping est également très présent dans les outils SEO.

Il permet notamment de récupérer :

• balises title ;
• meta descriptions ;
• titres Hn ;
• liens internes ;
• codes HTTP ;
• balises canonical ;
• informations présentes dans les pages ;
• données relatives au maillage interne.

Les crawlers SEO utilisent précisément cette logique pour parcourir un site et analyser sa structure.

Le scraping est-il légal ?

Il n’existe pas de réponse universelle à cette question.

Le scraping n’est pas automatiquement interdit, mais le simple fait qu’une information soit accessible depuis un navigateur ne signifie pas qu’elle puisse être copiée, stockée puis réutilisée sans aucune restriction.

La légalité d’un projet dépend notamment :

• des données collectées ;
• de l’existence éventuelle de données personnelles ;
• de l’objectif du traitement ;
• des droits attachés aux contenus ou aux bases de données ;
• des conditions d’utilisation du site ;
• des modalités techniques employées ;
• de la quantité d’informations extraite ;
• de la manière dont les données seront ensuite exploitées.

Ce que dit la réglementation

Plusieurs ensembles de règles peuvent s’appliquer simultanément.

Lorsqu’une base représente un investissement substantiel, le droit européen reconnaît notamment au fabricant de cette base un droit permettant d’interdire l’extraction ou la réutilisation de tout ou partie substantielle de son contenu. La directive européenne sur les bases de données vise également certaines extractions répétées et systématiques de parties non substantielles lorsqu’elles portent atteinte à l’exploitation normale de la base.

Les droits d’auteur peuvent également intervenir lorsque les éléments collectés constituent des œuvres protégées : textes, photographies, créations graphiques ou autres contenus originaux.

Enfin, les données personnelles sont soumises aux règles du RGPD.

Il faut donc raisonner projet par projet plutôt que de rechercher une règle générale selon laquelle « tout scraping est autorisé » ou « tout scraping est interdit ».

Scraping et RGPD

Le RGPD devient pertinent dès lors que les informations collectées permettent d’identifier directement ou indirectement une personne physique.

Cela peut notamment concerner :

• un prénom et un nom ;
• une adresse email nominative ;
• un numéro de téléphone personnel ou professionnel rattaché à une personne ;
• un profil individuel ;
• certaines informations professionnelles associées à une personne.

La CNIL rappelle explicitement que des données personnelles accessibles publiquement sur Internetrestent des données personnelles. Leur caractère public ne permet donc pas de les réutiliser librement pour n’importe quelle finalité.

Un responsable de traitement doit notamment déterminer une base légale, respecter les principes de finalité et de minimisation, informer les personnes lorsque cela est requis et leur permettre d’exercer leurs droits.

La CNIL recommande par ailleurs, dans le cadre du moissonnage de données publiquement accessibles, de limiter la collecte aux données nécessaires et de définir en amont des critères précis permettant de réduire les informations collectées.

Pour approfondir cette problématique dans un contexte commercial, consultez notre contenu consacré aux règles de prospection commerciale et CNIL.

Bon à savoir

Le principe de minimisation du RGPD signifie concrètement qu’un scraper ne devrait pas collecter « tout ce qui est disponible au cas où ». Il faut déterminer à l’avance quelles informations sont réellement nécessaires à la finalité poursuivie.

Les conditions d'utilisation des sites web

Les conditions générales d’utilisation constituent un autre élément à vérifier avant de scraper un site.

Certaines plateformes interdisent explicitement :

• les robots ;
• les crawlers non autorisés ;
• le scraping ;
• l’extraction automatisée ;
• le contournement des limitations d’accès.

LinkedIn, par exemple, indique actuellement dans son User Agreement qu’il est interdit de développer ou d’utiliser des logiciels, scripts, robots, crawlers ou technologies destinés à scraper ou copier ses services, y compris les profils et autres données de la plateforme.

Les conditions de Google encadrent également l’accès automatisé aux contenus et interdisent notamment l’utilisation de moyens automatisés lorsqu’elle contrevient aux instructions lisibles par machine des pages, telles que certaines directivesrobots.txt.

Certaines conditions de services Amazon interdisent elles aussi explicitement l’utilisation de techniques de data mining, robots ou outils similaires de collecte et d’extraction sans autorisation.

Avant de lancer un scraper sur une plateforme tierce, lire ses conditions d’utilisation n’est donc pas une formalité : c’est une étape du projet.

Les risques juridiques

Un projet mal encadré peut exposer l’entreprise à plusieurs risques :

• mise en cause sur le terrain de la protection des données ;
• violation contractuelle des conditions d’un service ;
• atteinte à des droits sur une base de données ;
• atteinte au droit d’auteur ;
• blocage ou suppression d’un compte ;
• restrictions techniques ;
• demande de cessation de la collecte ;
• litige avec l’exploitant de la plateforme.

Le niveau de risque augmente notamment lorsque l’extraction porte sur des volumes importants, repose sur le contournement de protections ou concerne des informations personnelles sensibles ou non pertinentes.

Les bonnes pratiques pour rester conforme

Avant tout projet de scraping, mettez en place une checklist.

Commencez par identifier précisément la source et la finalité de la collecte.

Vérifiez ensuite :

1. les conditions d’utilisation du site ;
2. les éventuelles instructions destinées aux robots ;
3. la nature personnelle ou non des données ;
4. la base légale lorsque le RGPD s’applique ;
5. les droits associés aux contenus ou à la base ;
6. la quantité réellement nécessaire ;
7. les modalités d’information et d’exercice des droits ;
8. la durée de conservation ;
9. les mesures de sécurité appliquées aux données.

Pour un projet comportant des enjeux importants, une validation juridique en amont est beaucoup plus simple que de tenter de corriger une collecte non conforme une fois plusieurs millions de données déjà stockées.

Quels outils utiliser pour faire du scraping ?

Il n’existe pas de meilleur outil de scraping dans l’absolu.

Le choix dépend surtout du niveau technique de l’utilisateur, de la complexité des pages, du volume d’extraction et du niveau d’automatisation recherché.

Pour aider à choisir, voici une première synthèse :

Les outils no-code

Les outils no-code permettent de construire un scraper sans développer entièrement un programme.

Ils sont particulièrement intéressants pour :

• les besoins ponctuels ;
• les équipes marketing ;
• les tests rapides ;
• les projets ne nécessitant pas une architecture complexe.

Octoparse

Octoparse propose une approche visuelle du web scraping permettant de sélectionner les données recherchées et de créer des workflows sans écrire entièrement le code du scraper.

La plateforme met notamment en avant la création de scrapers no-code et l’extraction depuis des sites dynamiques.

Octoparse peut être intéressant lorsque l’on souhaite rapidement :

• extraire des listes ;
• gérer une pagination ;
• organiser les données ;
• automatiser des tâches récurrentes.

Sa simplicité ne dispense évidemment pas de vérifier que la collecte envisagée est autorisée.

ParseHub

ParseHub fonctionne également autour d’une interface visuelle.

L’utilisateur peut sélectionner directement sur une page les informations qu’il souhaite récupérer. La plateforme indique notamment prendre en charge certaines interactions avec des pages utilisant AJAX, formulaires ou menus déroulants et permettre des exports vers JSON ou Excel.

Il peut convenir à des utilisateurs souhaitant scraper des pages interactives sans développer un crawler complet.

Web Scraper

Web Scraper est notamment connu pour son extension de navigateur permettant de construire des sitemaps d’extraction.

Une offre cloud permet ensuite d’ajouter des fonctions telles que :

• planification ;
• API ;
• exécution automatisée ;
• export ;
• suivi des tâches.

La documentation officielle présente notamment ces fonctionnalités dans son offre Web Scraper Cloud.

Les bibliothèques pour développeurs

Dès que le projet devient spécifique, volumineux ou fortement intégré au système d’information de l’entreprise, les solutions programmatiques apportent davantage de contrôle.

Beautiful Soup

Beautiful Soup est une bibliothèque Python permettant d’extraire des informations depuis des documents HTML et XML.

Elle permet notamment de parcourir et interroger l’arbre d’un document afin de retrouver facilement les balises ou attributs recherchés.

Elle convient particulièrement bien pour :

• analyser une page HTML ;
• sélectionner des éléments ;
• extraire textes et attributs ;
• nettoyer certaines structures.

Beautiful Soup n’est toutefois pas un navigateur. Utilisée seule, elle ne constitue donc pas la solution la plus adaptée lorsque les données nécessitent l’exécution complexe de JavaScript avant d’apparaître.

Scrapy

Scrapy est un framework Python spécialement conçu pour le crawling et le web scraping.

Sa documentation le présente comme un framework de haut niveau permettant de parcourir des sites et d’en extraire des données structurées.

Il devient particulièrement intéressant lorsque le projet doit gérer :

• de nombreuses pages ;
• plusieurs types d’URL ;
• des règles de crawling ;
• des pipelines de traitement ;
• des extractions importantes et répétées.

Son apprentissage demande davantage de compétences qu’une solution no-code, mais il permet de construire des architectures beaucoup plus personnalisées.

Selenium

Selenium permet d’automatiser un véritable navigateur.

Le programme peut donc reproduire des interactions telles que :

• ouvrir une page ;
• cliquer ;
• saisir un texte ;
• sélectionner un élément ;
• attendre qu’un contenu apparaisse.

Le projet Selenium indique que WebDriver pilote les navigateurs de manière native et permet l’automatisation des principales technologies de navigation.

Cette approche est utile lorsque le contenu dépend fortement d’interactions réalisées dans la page.

Elle est en revanche généralement plus lourde qu’une simple requête HTTP pour des pages statiques.

Playwright

Playwright est également une solution d’automatisation de navigateur.

Il permet notamment de piloter Chromium, Firefox et WebKit.

Pour des projets de scraping impliquant des applications web modernes, il peut notamment servir à :

• charger une page dynamique ;
• attendre certains éléments ;
• effectuer des actions ;
• récupérer le contenu généré après exécution de JavaScript.

Comme Selenium, il faut toutefois l’utiliser lorsque cette complexité est réellement nécessaire.

Les plateformes de scraping en ligne

Au-delà des outils installés localement, il existe aujourd’hui de nombreuses plateformes proposant une infrastructure complète de collecte de données.

Ces services peuvent prendre en charge une partie de :

• l’exécution des scrapers ;
• la planification ;
• le stockage ;
• la surveillance ;
• l’export ;
• l’intégration via API.

Leur avantage est principalement opérationnel : l’entreprise évite de maintenir elle-même toute l’infrastructure technique.

En contrepartie, les coûts peuvent augmenter rapidement avec le volume et la fréquence d’exécution.

Pour des usages directement orientés prospection commerciale, il peut également être pertinent de comparer le scraping avec unlogiciel de prospection B2Bdisposant déjà de données ou de fonctionnalités adaptées au besoin.

Les limites et difficultés du scraping

Un scraper parfaitement fonctionnel lors de sa création ne le restera pas nécessairement.

Le web évolue en permanence : structure HTML modifiée, changement d’URL, nouvelle authentification, changement de pagination ou apparition de nouvelles protections.

Les protections anti-scraping

Les sites peuvent mettre en place différents mécanismes destinés à détecter ou limiter les accès automatisés.

Par exemple :

• limitation du nombre de requêtes ;
• contrôle du comportement de navigation ;
• authentification ;
• restrictions d’accès ;
• détection de trafic automatisé ;
• blocage temporaire.

L’objectif d’un projet professionnel ne devrait pas être de mener une course permanente au contournement de ces protections.

Lorsque le site manifeste clairement sa volonté de limiter l’accès automatique, la meilleure solution consiste à rechercher une API, une licence, un partenariat ou une autre source de données.

Les CAPTCHAs

Les CAPTCHA servent notamment à différencier un utilisateur humain d’un système automatisé.

Lorsqu’un scraper déclenche régulièrement des CAPTCHA, cela constitue généralement un signal : le site ne souhaite pas que cette navigation soit automatisée dans ces conditions.

Chercher systématiquement à contourner ce mécanisme augmente à la fois la complexité technique et les risques associés au projet.

Les limitations d'adresse IP

Un serveur peut également limiter le nombre de requêtes provenant d’une même adresse IP.

Une augmentation brutale du trafic peut être considérée comme abusive, même lorsque les pages sont accessibles publiquement.

La réponse la plus saine consiste donc à :

• ralentir le rythme de collecte ;
• espacer les requêtes ;
• mettre en cache les informations déjà récupérées ;
• éviter de recharger inutilement les mêmes pages ;
• utiliser une API lorsque celle-ci existe ;
• solliciter une autorisation lorsque le volume devient conséquent.

Les sites utilisant JavaScript

Les applications web modernes affichent souvent une partie des informations uniquement après l’exécution de JavaScript.

Dans ce cas, une simple requête HTML peut renvoyer une page quasiment vide.

Deux solutions peuvent alors être étudiées :

• identifier une source structurée autorisée permettant d’obtenir les données ;
• utiliser un navigateur automatisé comme Selenium ou Playwright.

Le deuxième choix consomme toutefois davantage de ressources et demande généralement plus de maintenance.

La qualité des données collectées

Le scraping ne garantit jamais que les données obtenues sont exactes.

Une page web peut contenir :

• des informations obsolètes ;
• des valeurs mal formatées ;
• des doublons ;
• des données partielles ;
• des informations incohérentes.

Un scraper qui fonctionne parfaitement peut donc produire une base de mauvaise qualité.

C’est pourquoi le contrôle et le nettoyage doivent être considérés comme une partie du projet, et non comme une opération facultative réalisée après coup.

Comment réussir un projet de scraping ?

Définir les données à collecter

Une erreur fréquente consiste à démarrer par l’outil.

La bonne question n’est pas : « Quel scraper allons-nous utiliser ? »

La première question devrait être :« De quelles données avons-nous réellement besoin ? »

Formalisez précisément :

• la source ;
• les champs ;
• la fréquence ;
• le volume ;
• l’usage prévu ;
• la durée de conservation.

Cette étape réduit considérablement la complexité du projet et permet également de mieux respecter le principe de minimisation lorsqu’il concerne des données personnelles.

Respecter les limites des serveurs

Un scraper doit éviter de créer une charge inutile sur le site ciblé.

Une collecte raisonnable repose notamment sur :

• une fréquence maîtrisée ;
• des délais entre les requêtes lorsque nécessaire ;
• l’absence de téléchargement répété des mêmes données ;
• la prise en compte des limitations affichées ;
• l’utilisation d’une API adaptée lorsqu’elle existe.

Une extraction plus lente mais fiable et conforme vaut généralement mieux qu’un volume maximal obtenu pendant quelques heures avant un blocage complet.

Nettoyer et structurer les données

Les données brutes sont rarement directement exploitables.

Il faut souvent :

• normaliser les noms ;
• supprimer les espaces inutiles ;
• harmoniser les dates ;
• convertir les devises ;
• standardiser les numéros de téléphone ;
• supprimer les doublons ;
• identifier les données manquantes.

Un projet d’extraction doit donc prévoir un véritable pipeline :

collecte → validation → nettoyage → enrichissement → stockage → exploitation.

Bon à savoir

Dans un projet de données, la difficulté se situe souvent moins dans l’extraction elle-même que dans la normalisation. Deux pages peuvent afficher exactement la même information sous des formats totalement différents.

Automatiser les extractions

Un scraper exécuté manuellement peut suffire pour une étude ponctuelle.

Pour une veille quotidienne ou une alimentation régulière d’une base, il faut en revanche prévoir une exécution automatique.

L’automatisation peut notamment inclure :

• un déclenchement quotidien ou hebdomadaire ;
• une surveillance des erreurs ;
• des alertes ;
• la détection des doublons ;
• l’import automatique vers une base ou un CRM.

Cette logique rejoint plus largement les enjeux de prospection automatisée lorsqu’une collecte de données vient alimenter un processus commercial.

Mettre à jour les données régulièrement

Une donnée n’a de valeur que si elle reste suffisamment fraîche pour son usage.

La fréquence idéale dépend du contexte.

Un prix e-commerce peut nécessiter plusieurs contrôles par jour. Une information institutionnelle sur une entreprise peut être mise à jour beaucoup moins souvent.

L’enjeu consiste donc à définir une fréquence adaptée à la vitesse réelle d’évolution des informations.

Multiplier les extractions sans nécessité augmente les coûts, la charge imposée aux serveurs et le volume de données à traiter sans nécessairement produire davantage de valeur.

Scraping, crawling et API : quelles différences ?

Ces notions sont proches, mais elles ne désignent pas exactement la même opération.

Scraping vs Crawling

Le crawling consiste principalement àparcourir des pages et découvrir des URL.

Le scraping consiste principalement àextraire certaines données à l’intérieur de ces pages.

Un crawler peut par exemple partir d’une page d’accueil, suivre tous les liens internes et découvrir 30 000 URL.

Un scraper peut ensuite ouvrir certaines de ces pages et récupérer leur titre, leur prix ou toute autre donnée recherchée.

Les deux techniques sont donc fréquemment utilisées ensemble.

Scraping vs Data Mining

Le scraping concerne la collecte.

Le data mining concerne davantagel’analyse de données afin d’identifier des tendances, relations ou modèles.

Prenons un exemple :

• scraper 100 000 avis clients = collecte ;
• analyser ces avis pour détecter les principaux motifs d’insatisfaction = data mining ou analyse de données.

Le scraping produit donc souvent la matière première qui sera ensuite analysée.

Scraping vs API

Une API constitue une interface organisée permettant à deux systèmes informatiques de communiquer.

Lorsque vous interrogez une API, vous recevez généralement directement une réponse structurée.

Avec le scraping, vous devez souvent :

1. télécharger une page ;
2. identifier l’information dans sa structure ;
3. l’extraire ;
4. la transformer.

Une API est généralement plus stable lorsque le fournisseur la met officiellement à disposition pour le besoin concerné.

Voici les principales différences :

Quand privilégier une API plutôt que le scraping ?

Lorsqu’une API officielle permet d’obtenir exactement les données recherchées à des conditions compatibles avec votre projet, elle constitue généralement le premier choix.

Elle apporte souvent :

• une structure de données stable ;
• une documentation ;
• des règles d’utilisation claires ;
• des quotas connus ;
• moins de dépendance à la mise en page du site.

Le scraping devient particulièrement pertinent lorsqu’aucune interface adaptée n’existe et que la collecte envisagée reste juridiquement et contractuellement possible.

Les erreurs à éviter

Scraper sans vérifier les conditions d'utilisation

Lancer immédiatement un outil parce qu’une page est accessible depuis un navigateur est une mauvaise approche.

Avant toute automatisation, consultez :

• les CGU ;
• les éventuelles politiques développeurs ;
• les règles d’accès automatisé ;
• les indications destinées aux crawlers.

Cette vérification est particulièrement indispensable sur les grandes plateformes.

Collecter des données personnelles sans base légale

Le fait qu’une personne ait publié certaines informations sur Internet ne transforme pas celles-ci en données utilisables sans restriction.

La CNIL rappelle que la récupération de données publiquement accessibles en ligne reste soumise au RGPD lorsqu’il s’agit de données personnelles.

Définissez donc avant la collecte :

• la finalité ;
• la base juridique ;
• les catégories de données réellement nécessaires ;
• les modalités d’information ;
• les droits des personnes ;
• la durée de conservation.

Envoyer trop de requêtes

Un scraper mal configuré peut envoyer des centaines ou milliers de requêtes en quelques secondes.

Cela peut :

• ralentir le site ;
• déclencher des restrictions ;
• entraîner un blocage ;
• rendre les résultats moins fiables.

Mieux vaut adapter la fréquence au besoin réel et éliminer les requêtes inutiles.

Négliger le nettoyage des données

Une extraction réussie techniquement peut produire :

Paris

PARIS

Paris

75000 Paris

Pour un humain, ces valeurs semblent proches. Pour un système informatique, elles peuvent devenir quatre entrées différentes.

Une étape de standardisation doit donc être prévue avant l’import dans le CRM ou la base de production.

Utiliser des données obsolètes

Une information collectée il y a deux ans n’est pas nécessairement encore exacte.

Cette problématique est particulièrement importante en prospection :

• collaborateurs ayant changé d’entreprise ;
• sociétés ayant déménagé ;
• domaines expirés ;
• activités ayant évolué.

Conservez donc la date de collecte ou de vérification lorsque la fraîcheur de l’information possède une valeur opérationnelle.

FAQ sur le scraping

Qu'est-ce que le scraping ?

Le scraping est une technique permettant d’extraire automatiquement des informations depuis des pages web ou d’autres sources numériques.

Un programme identifie les éléments recherchés, les collecte puis les transforme généralement en données structurées dans un fichier CSV, Excel, JSON ou une base de données.

Le scraping est-il légal ?

Le scraping n’est ni systématiquement autorisé ni systématiquement interdit.

Sa légalité dépend notamment :

• des données concernées ;
• des conditions d’utilisation du site ;
• du RGPD en présence de données personnelles ;
• des droits sur les contenus ;
• des droits applicables aux bases de données ;
• de l’usage qui sera fait des informations.

Avant un projet important, une analyse juridique adaptée au cas concret est donc recommandée.

Quelle différence entre scraping et crawling ?

Le crawling consiste essentiellement à parcourir des pages et découvrir de nouvelles URL.

Le scraping consiste à extraire les données présentes à l’intérieur de ces pages.

Un crawler peut donc identifier 10 000 pages d’un site tandis qu’un scraper récupérera ensuite certaines informations présentes sur ces pages.

Quels sont les meilleurs outils de scraping ?

Le meilleur outil dépend du projet.

Pour un utilisateur non technique, Octoparse, ParseHub ou Web Scraper permettent de créer des extractions avec relativement peu de code.

Pour un développeur, Beautiful Soup convient bien à l’analyse HTML, tandis que Scrapy permet de construire des crawlers plus complets. Selenium et Playwright sont particulièrement utiles lorsqu’il faut automatiser un navigateur et gérer des pages fortement dépendantes de JavaScript.

Peut-on scraper LinkedIn ?

Techniquement, des logiciels peuvent tenter d’extraire des informations affichées sur LinkedIn. Cela ne signifie pas que cette pratique soit autorisée par la plateforme.

Le User Agreement de LinkedIn interdit actuellement l’utilisation de logiciels, scripts, robots, crawlers ou technologies destinés à scraper ou copier les services, y compris les profils et autres données. Il interdit également certains moyens automatisés non autorisés d’accès à ses services.

Il faut en outre tenir compte du RGPD lorsqu’une extraction concerne des données personnelles.

Pour une utilisation professionnelle, mieux vaut donc privilégier les fonctionnalités et interfaces officiellement autorisées par la plateforme.

Peut-on scraper Google ?

La même prudence s’impose avec Google.

Les conditions de Google interdisent notamment l’utilisation de moyens automatisés d’accès lorsque ceux-ci ne respectent pas les instructions lisibles par machine indiquées sur ses pages.

La collecte automatisée massive des résultats de recherche ne doit donc pas être considérée comme librement autorisée par défaut.

Lorsqu’une interface officielle ou une solution autorisée permet de répondre au besoin, elle constitue généralement une alternative plus fiable.

Comment automatiser le scraping ?

Pour automatiser un scraper, il faut d’abord créer un processus d’extraction stable, puis programmer son exécution à intervalles réguliers.

Un workflow peut par exemple :

1. démarrer chaque nuit ;
2. collecter les nouvelles données ;
3. contrôler leur validité ;
4. supprimer les doublons ;
5. enregistrer les résultats ;
6. mettre à jour une base ;
7. envoyer une alerte en cas d’erreur.

Le système doit également prévoir la gestion des changements de structure des pages, car un scraper peut cesser de fonctionner après une simple modification du site ciblé.

Quand utiliser une API plutôt que le scraping ?

Une API officielle doit généralement être privilégiée lorsqu’elle fournit les informations nécessaires dans des conditions compatibles avec le projet.

Elle offre souvent une structure plus stable, une documentation et des règles d’utilisation clairement définies.

Le scraping conserve tout son intérêt lorsqu’aucune API adaptée n’existe, à condition de vérifier au préalable les conditions d’accès au site, les droits applicables et, lorsque des données personnelles sont concernées, les obligations imposées par le RGPD.