Quand on parle de web scraping des prix, le premier réflexe est souvent de penser au tarif affiché sur la fiche produit d’un concurrent. Pourtant, un prix seul donne une vision très partielle de la compétitivité réelle d’une offre.
Un produit affiché à 99 € peut être disponible immédiatement chez un retailer, en rupture chez un autre ou vendu par un marchand tiers avec des frais de livraison élevés sur une marketplace. De la même manière, une baisse de 15 % peut correspondre à un nouveau positionnement tarifaire ou simplement à une promotion valable pendant quelques heures.
Dans les deux cas, le relevé des prix est correct. Mais son interprétation, elle, change complètement selon le contexte.
C’est précisément pour cette raison que le web scraping des prix ne se limite généralement pas à relever un montant. Selon les besoins, il peut collecter le prix affiché et ses différentes composantes, les promotions, la disponibilité, les frais et délais de livraison, l’identité du vendeur, les caractéristiques du produit ainsi que la date et l’heure du relevé. D’autres informations, comme l’évolution de l’assortiment, les notes ou le nombre d’avis, peuvent également compléter l’analyse.
Toutes ces données n’ont cependant pas la même utilité. Le bon périmètre de collecte dépend avant tout des décisions pricing que l’entreprise souhaite prendre.
Quelles données le scraping des prix peut-il collecter ?
Dans le cadre d’une veille tarifaire, les principales données collectées peuvent être regroupées en plusieurs catégories :
-les données tarifaires : prix courant, prix initial ou prix barré ;
-les promotions : remise, coupon, bundle ou offre conditionnelle ;
-la disponibilité : en stock, rupture ou délai annoncé ;
-les conditions de livraison : frais, délais et date estimée ;
-les informations sur le vendeur, notamment sur les marketplaces ;
-les identifiants et attributs nécessaires au matching produit ;
-la date et l’heure de chaque collecte afin de constituer un historique ;
– Les prix barrés
– certains signaux complémentaires, tels que les notes, le nombre d’avis ou les classements.
Le web scraping permet d’automatiser la récupération de ces informations à partir des pages des sites e-commerce et des marketplaces. Il ne faut toutefois pas le confondre avec le web crawling : le crawling consiste principalement à parcourir un site, suivre ses liens et identifier les pages ou URL à explorer, tandis que le scraping vise à extraire des données précises à l’intérieur de ces pages.
Selon la structure du site, les informations recherchées peuvent être présentes directement dans le contenu visible de la page ou dans des éléments structurés de son HTML ou de son code source.
L’extraction produit toutefois des données brutes. Avant de pouvoir être exploitées dans une analyse pricing, elles doivent généralement être nettoyées, normalisées, historisées et rapprochées des bonnes références produits.
Pour aller plus loin, découvrez la différence entre web scraping et web Scrawling
Les données tarifaires : bien plus qu’un seul prix
Le prix reste naturellement la donnée centrale d’une veille concurrentielle. Il permet de comparer plusieurs enseignes, de mesurer les écarts tarifaires et de suivre son positionnement par rapport au marché.
Mais une fiche produit peut présenter plusieurs valeurs différentes.
Il peut s’agir d’un prix catalogue, d’un prix actuellement pratiqué, d’un ancien prix barré ou d’un tarif réservé aux membres d’un programme de fidélité. Certaines offres appliquent également un prix différent selon la quantité achetée.
Ramener l’ensemble de ces informations à une seule valeur fait perdre une partie importante du contexte.
Supposons par exemple qu’un concurrent affiche un produit à 50 €, avec un ancien prix de 65 €. Le montant de 50 € est bien celui observé au moment de la collecte, mais savoir qu’il s’agit d’un prix remisé permet de l’interpréter différemment d’un tarif permanent fixé à 50 € depuis plusieurs mois.
Une collecte pricing gagne donc à distinguer, lorsque l’information est disponible :
- -le prix actuel ;
- -le prix initial ou prix de référence ;
- -le prix barré ;
- -le prix promotionnel ;
- -éventuellement le prix unitaire ou les conditions liées à la quantité.
Cette distinction constitue la première étape pour éviter de comparer des situations commerciales qui ne sont pas réellement équivalentes.
Les promotions et leurs conditions
Une baisse de prix chez un concurrent ne doit pas nécessairement être interprétée comme un changement durable de stratégie tarifaire.
Le web scraping peut également récupérer les informations qui permettent de qualifier une promotion : ancien prix, nouveau prix, pourcentage de remise, coupon, offre groupée, achat multiple ou durée limitée.
Ces données sont importantes parce qu’une baisse permanente de 15 % et une remise de 15 % valable pendant trois jours peuvent apparaître de la même manière si l’on ne collecte que le prix final.
Pourtant, elles n’appellent pas nécessairement la même réaction.
Lorsqu’une enseigne applique régulièrement des réductions sur certaines catégories, l’historique des observations peut également mettre en évidence une mécanique promotionnelle récurrente. Les baisses observées ne correspondent alors pas forcément à une modification du positionnement prix de fond.
Distinguer le prix permanent du prix promotionnel permet ainsi d’éviter de réagir trop rapidement à une baisse temporaire et, dans certains cas, de sacrifier inutilement de la marge.
La disponibilité et les informations de stock
Comparer les prix ne suffit pas toujours à mesurer la compétitivité réelle d’une offre. Encore faut-il que le produit soit effectivement disponible à l’achat.
La disponibilité apporte donc une information essentielle pour interpréter correctement les prix relevés chez les concurrents. Lorsque le site source l’indique, le scraping peut notamment collecter des informations telles que :
en stock ;
indisponible ;
stock limité ;
expédition différée ;
disponible à partir d’une certaine date ;
délai annoncé avant expédition.
L’objectif n’est pas nécessairement de connaître le nombre exact d’unités détenues par le concurrent, mais de comprendre le niveau de disponibilité présenté au consommateur.
Cette donnée permet de nuancer la lecture du prix. Une offre affichée à un tarif inférieur mais momentanément indisponible ne représente pas la même pression concurrentielle qu’un produit disponible immédiatement.
Le croisement entre prix et disponibilité permet également de mieux comprendre certaines évolutions du marché. Une hausse simultanée des prix accompagnée d’une baisse de disponibilité chez plusieurs acteurs peut, par exemple, révéler une tension sur l’offre. À l’inverse, une hausse isolée chez un concurrent alors que les autres restent stables peut répondre à une logique propre à l’enseigne.
Associer prix et disponibilité permet ainsi d’obtenir une lecture plus juste de la réalité concurrentielle.
Les frais et délais de livraison
Le tarif affiché sur la fiche produit ne correspond pas toujours au coût final supporté par le consommateur.
Deux concurrents peuvent par exemple proposer un même produit à 48 € et 50 €. La première offre semble plus compétitive. Mais si elle ajoute 5 € de frais de livraison alors que l’expédition est incluse dans la seconde, la comparaison change immédiatement.
Lorsque ces informations sont disponibles sur la source surveillée, la collecte peut donc intégrer :
- -les frais de livraison ;
- -les conditions permettant d’obtenir la livraison gratuite ;
- -les délais annoncés ;
- -la date estimée de livraison.
Ces données deviennent particulièrement importantes dans les catégories où la rapidité de livraison participe fortement à la valeur de l’offre.
À prix identique, une livraison le lendemain et une livraison sous huit jours ne produisent pas la même proposition commerciale.
Le coût et les conditions de livraison permettent ainsi de comparer non seulement un prix facial, mais l’offre réellement présentée au client.
Sur une marketplace, l’identité du vendeur est essentielle
La collecte devient plus complexe sur les marketplaces, car une même référence peut être proposée simultanément par plusieurs vendeurs.
La plateforme elle-même peut commercialiser le produit, tandis que plusieurs marchands tiers proposent la même référence à d’autres prix, avec leurs propres niveaux de stock, frais de livraison et délais.
Dans ce contexte, l’identité du vendeur devient une donnée indispensable.
Sans cette information, une baisse de prix pratiquée par un vendeur tiers peut être interprétée à tort comme une modification tarifaire de la marketplace elle-même ou du concurrent que l’entreprise souhaite réellement suivre.
Le nombre de vendeurs présents sur une même référence peut également apporter un signal intéressant. L’arrivée de nouveaux marchands peut renforcer la pression concurrentielle, tandis qu’une diminution du nombre d’offres peut accompagner une disponibilité plus limitée.
Plutôt que d’enregistrer simplement qu’un produit est proposé à « 79 € », la donnée devient donc beaucoup plus utile lorsqu’elle conserve également :
- -le produit concerné ;
- -le vendeur ;
- -le prix ;
- -la disponibilité ;
- -les conditions de livraison ;
- -la date du relevé.
Le prix n’est plus une valeur isolée. Il devient une observation contextualisée.
Les attributs produits permettent de comparer les bonnes références
Même si le prix a été parfaitement collecté, l’analyse reste fausse si deux produits différents sont rapprochés.
Le web scraping récupère donc également les informations nécessaires au matching produit.
Selon les catégories, il peut s’agir de :
- -la marque ;
- -la référence ou le modèle ;
- -l’EAN lorsqu’il est disponible ;
- -la taille ou le format ;
- -la contenance ;
- -la couleur ;
- -les dimensions ;
- -la capacité ;
- -certaines caractéristiques techniques ;
- -les accessoires inclus ;
- -la garantie ;
- -la variante ;
- -la composition d’un bundle.
Ces attributs permettent de déterminer si deux fiches commerciales correspondent réellement à la même offre.
Deux appareils portant des noms presque identiques peuvent par exemple différer par leur capacité, une fonctionnalité ou les accessoires inclus. Si la comparaison repose uniquement sur leur intitulé, l’écart observé risque d’être interprété comme un écart de prix alors qu’il reflète en partie une différence de produit.
La difficulté augmente lorsque chaque retailer utilise sa propre nomenclature, lorsque les identifiants standards ne sont pas présents ou lorsque certaines références sont commercialisées sous forme de packs spécifiques.
Une fois les données collectées, des systèmes de matching automatisé peuvent exploiter plusieurs attributs pour identifier les correspondances les plus probables. L’intelligence artificielle peut notamment aider à traiter des cas pour lesquels un identifiant unique ne suffit pas.
Cette étape reste toutefois dépendante de la qualité des informations disponibles. Si les caractéristiques essentielles permettant de différencier deux références sont absentes ou incorrectes, le rapprochement restera fragile.
Une erreur de matching peut ainsi faire apparaître un concurrent comme moins cher alors que le produit comparé n’est tout simplement pas équivalent.
La date et l’heure du relevé permettent de construire un historique
Une information pricing n’a pas la même valeur selon le moment auquel elle a été observée.
Un prix de 79,99 € devient réellement exploitable dans le temps lorsqu’il est associé à une date et, selon les besoins, à une heure de collecte.
En répétant les relevés et en conservant chaque observation, il devient possible de construire un historique tarifaire.
Cet historique permet ensuite d’étudier :
- -la fréquence des modifications ;
- -l’amplitude des variations ;
- -la durée d’un prix ;
- -les retours à un ancien tarif ;
- -la répétition des promotions ;
- -la vitesse de réaction des différents concurrents.
Il faut ici distinguer la donnée collectée de l’indicateur obtenu après analyse.
Le scraper peut par exemple enregistrer qu’un produit coûtait 80 € lundi à 9 h, 72 € lundi à 16 h puis de nouveau 80 € mardi matin. C’est l’analyse de ces observations successives qui permettra ensuite de conclure qu’une promotion courte a eu lieu.
Le scraping collecte donc des observations horodatées. L’historisation transforme ensuite leur succession en information exploitable sur les comportements tarifaires.
À quelle fréquence faut-il collecter les prix ?
Il n’existe pas de fréquence idéale applicable à toutes les catégories et à tous les produits.
Un relevé quotidien peut être suffisant lorsque les tarifs évoluent peu. Sur une catégorie particulièrement volatile, le même rythme risque en revanche de masquer une grande partie des mouvements.
Deux collectes espacées de 24 heures peuvent par exemple afficher exactement le même prix, alors que le concurrent l’a modifié plusieurs fois entre les deux.
À l’inverse, multiplier systématiquement les passages ne garantit pas une meilleure analyse.
Des collectes très fréquentes sur plusieurs centaines de milliers de références augmentent rapidement les volumes à stocker, contrôler et traiter.
La fréquence doit donc être adaptée à la valeur de l’information recherchée. Les best-sellers, les références particulièrement comparées, les produits d’appel ou les articles stratégiques pour l’image prix peuvent justifier un suivi plus rapproché. Pour des références très stables, une fréquence élevée apporte souvent peu d’informations supplémentaires.
Le scraping peut aussi suivre les mouvements d’assortiment
La veille concurrentielle ne porte pas uniquement sur les produits déjà connus.
En observant régulièrement les catalogues, il est également possible de détecter certains changements d’assortiment :
- -apparition de nouvelles références ;
- -disparition de produits ;
- -augmentation ou diminution du nombre de variantes ;
- -évolution de la profondeur d’une catégorie ;
- -arrivée de nouvelles marques ou gammes.
Ces informations deviennent particulièrement intéressantes lorsqu’elles sont rapprochées des données tarifaires.
Un concurrent peut par exemple afficher des tarifs très agressifs sur quelques références visibles tout en conservant un positionnement beaucoup moins offensif sur le reste de sa gamme. Une analyse construite sur un échantillon trop réduit donnerait alors une image incomplète de sa stratégie.
À l’inverse, l’arrivée de nombreuses nouvelles références sur un segment peut indiquer qu’un acteur renforce sa présence sur cette catégorie.
Le suivi de l’assortiment aide ainsi à replacer les mouvements de prix dans l’offre réellement disponible.
Les notes, avis et classements peuvent compléter la lecture du prix
Les notes, le nombre d’avis ou certains classements de marketplace ne constituent pas toujours le cœur d’une collecte pricing.
Ils peuvent néanmoins apporter un contexte supplémentaire à l’analyse.
Un concurrent 5 % moins cher, mais dont les évaluations se dégradent et dont les délais de livraison s’allongent, ne représente pas nécessairement la même menace qu’un acteur moins cher, immédiatement disponible et très bien évalué.
À l’inverse, un prix légèrement supérieur peut rester acceptable si l’offre bénéficie d’une meilleure réputation ou d’une expérience d’achat perçue comme supérieure.
Ces données doivent toutefois rester des signaux complémentaires. Leur rôle n’est pas de déterminer directement le prix à appliquer, mais d’éviter de réduire la compétitivité d’une offre à la seule comparaison du montant affiché.
De la page web à la donnée pricing exploitable
Le scraping récupère des informations depuis les sources surveillées. Il ne produit pas automatiquement une base de données prête à être utilisée pour prendre une décision de prix.
Entre la page web et l’analyse pricing, plusieurs traitements peuvent être nécessaires :
page web → extraction → données brutes → nettoyage → normalisation → déduplication → matching produit → historisation → analyse pricing
Le nettoyage sert notamment à corriger ou écarter les valeurs incorrectes et à gérer les données manquantes.
La normalisation permet de rendre comparables des informations qui peuvent être exprimées différemment selon les sites.
Le matching rattache les observations concurrentes aux bonnes références internes.
L’historisation conserve les changements successifs afin de permettre une analyse dans le temps.
La qualité des données se joue en grande partie à ce stade.
Un prix correctement extrait mais associé au mauvais produit reste inutilisable. Une promotion enregistrée comme un prix permanent fausse l’historique. Une rupture non détectée peut faire apparaître une offre indisponible comme la meilleure référence du marché. Sur une marketplace, rattacher le prix d’un vendeur tiers au mauvais acteur conduit au même type d’erreur.
Une fois préparées, ces informations peuvent alimenter des solutions pricing, des outils d’analytics, des systèmes de business intelligence ou des analyses spécifiques.
Leur rapprochement avec les données internes apporte ensuite une couche supplémentaire.
Associer les observations concurrentes à ses propres prix, coûts, marges, volumes de vente ou segments produits permet de passer de la simple observation du marché à une information directement exploitable dans la décision.
Un écart de prix de 5 % ne sera par exemple pas nécessairement interprété de la même manière sur une référence à forte marge, un produit essentiel à l’image prix ou un article peu sensible aux mouvements de la concurrence.
Toutes les données doivent-elles être collectées ?
Non.
Les technologies de scraping permettent de récupérer de très grandes quantités d’informations, mais collecter davantage ne rend pas automatiquement l’analyse meilleure.
Chaque attribut supplémentaire doit ensuite être contrôlé, stocké, historisé et rendu exploitable.
Le bon périmètre dépend donc de l’objectif.
Pour certains besoins, trois informations peuvent couvrir une grande partie de l’analyse :
- -le prix ;
- -la promotion ;
- -la disponibilité.
Dans d’autres situations, il sera nécessaire d’ajouter les frais de livraison, le vendeur, des caractéristiques techniques détaillées ou un historique beaucoup plus fréquent.
La même logique s’applique à la profondeur de surveillance.
Suivre un indice prix global sur plusieurs milliers de références et détecter en quelques heures une variation sur 300 produits stratégiques sont deux problématiques différentes. Elles n’exigent ni la même fréquence de collecte, ni le même niveau de détail.
Le périmètre de scraping doit donc être défini à partir de la décision recherchée, et non simplement à partir de toutes les informations qu’il est techniquement possible de récupérer.
Quelles données faut-il réellement collecter pour le pricing ?
Il n’existe pas de liste identique pour toutes les entreprises.
Un socle se retrouve néanmoins dans de nombreux dispositifs de veille tarifaire :
Le prix, pour mesurer la position concurrentielle.
La nature promotionnelle de l’offre, pour distinguer une baisse temporaire d’un nouveau niveau de prix.
La disponibilité, pour éviter de prendre comme référence une offre qui ne peut pas réellement être achetée.
La date et l’heure du relevé, pour replacer chaque observation dans le temps et constituer un historique.
Les informations permettant d’identifier correctement le produit, afin d’éviter les erreurs de matching.
D’autres données deviennent indispensables selon le contexte.
Sur une marketplace, l’identité du vendeur est essentielle. Lorsque les frais de livraison influencent fortement le coût final, ils doivent être intégrés. Lorsque les produits comportent de nombreuses variantes, les caractéristiques techniques prennent davantage d’importance. Sur les catégories très volatiles, un historique plus fin peut être nécessaire.
Le niveau de surveillance peut également varier au sein d’un même catalogue.
Une référence fortement comparée ou importante pour l’image prix mérite souvent une collecte plus détaillée qu’un produit peu exposé à la concurrence.
La logique consiste donc à hiérarchiser les données selon leur utilité réelle pour la décision.
Le web scraping des prix collecte surtout le contexte du prix
Le web scraping des prix ne consiste pas simplement à relever les tarifs affichés par les concurrents.
Pour qu’un prix puisse réellement être utilisé dans une analyse, il faut souvent savoir à quel produit il correspond, qui le propose, à quel moment il a été observé, s’il fait l’objet d’une promotion, s’il est disponible et dans quelles conditions il peut être acheté.
Les attributs produits fiabilisent le matching. Les informations de disponibilité évitent de prendre comme référence des offres qui ne peuvent pas réellement être achetées. Les données promotionnelles permettent de distinguer un mouvement temporaire d’un changement de positionnement. L’horodatage et l’historisation permettent enfin d’analyser les variations dans le temps.
À ces informations essentielles peuvent s’ajouter, selon les besoins, les frais et délais de livraison, l’identité du vendeur, les mouvements d’assortiment, les notes ou d’autres signaux complémentaires.
Pour autant, collecter davantage n’est pas automatiquement synonyme de meilleure analyse.
Un volume important de données ne compense ni un mauvais matching, ni une information obsolète, ni une promotion mal identifiée, ni un prix sorti de son contexte.
La bonne question n’est donc pas : « Quelles données pouvons-nous scraper ? »
Elle est plutôt : « De quelles données avons-nous besoin pour comprendre correctement un prix concurrent et décider s’il faut y réagir ? »
C’est à partir de cette décision que doivent être définis les sources suivies, les informations collectées, la fréquence des relevés et le niveau de détail nécessaire.
