Die Preisüberwachung von einigen Dutzend Konkurrenzprodukten lässt sich zwar noch manuell bewerkstelligen. Sobald das Sortiment jedoch mehrere Tausend Artikel umfasst, sich die Preise häufig ändern und mehrere Handelsketten oder Marktplätze überwacht werden müssen, stößt diese Methode schnell an ihre Grenzen. Die Teams verbringen dann einen Großteil ihrer Zeit damit, Preise zu recherchieren, Produktübereinstimmungen zu überprüfen und Dateien zusammenzustellen, die möglicherweise bereits vor ihrer Auswertung veraltet sind.
Das Preis-Scraping, auch als „Preis-Scraping“ bezeichnet, automatisiert diese Datenerfassung auf E-Commerce-Websites. Es ermöglicht eine regelmäßigere Beobachtung der Angebote der Wettbewerber und liefert eine faktenbasierte Grundlage für die Analyse der eigenen Marktposition. Die Menge der gesammelten Daten ist jedoch kein Garant für deren Wert. Ein Preis ist nur dann von Nutzen, wenn das Produkt korrekt identifiziert wird, wenn Sonderangebote und Verfügbarkeit erfasst werden und wenn die Informationen mit einer Preisentscheidung verknüpft werden können.
Es geht also nicht nur darum, wie man die Preise der Wettbewerber erfasst. Es muss ermittelt werden, welche Daten zu beobachten sind, wie deren Zuverlässigkeit sichergestellt werden kann und wie sie in verwertbare Kennzahlen umgewandelt werden können, ohne die eigenen Preise automatisch an die niedrigsten Angebote anzupassen.
Was versteht man unter Preis-Scraping?
Price Scraping ist eine Technik zur automatisierten Extraktion von Preisinformationen, die auf Webseiten. Ein Programm durchläuft die ausgewählten URLs, identifiziert die relevanten Felder, extrahiert deren Inhalt und gibt die Daten anschließend in einem strukturierten Format aus.
Die Datenerhebung kann insbesondere folgende Bereiche betreffen:
- der Listenpreis, der reduzierte Preis und der durchgestrichene Preis;
- den Betrag oder den Prozentsatz einer Werbeaktion;
- Angebote, die ausschließlich Mitgliedern eines Treueprogramms vorbehalten sind;
- Aktionscodes, Gutscheine, Gewinnpakete und Bundles;
- die Versandkosten und Lieferbedingungen;
- die Verfügbarkeit des Produkts;
- ein auf einem Marktplatz vertretener Verkäufer;
- die Zeitstempelangabe für jede Erfassung.
Im Gegensatz zu den Suchmaschinen, die Inhalte indexieren, um Suchanfragen zu beantworten, extrahiert ein Scraping-Tool definierte Felder von den Zielwebsites. Es verfolgt dabei nicht das Ziel, natürliche Suchmaschinenoptimierung : Dabei handelt es sich um strukturierte Daten, die in eine Wettbewerbsbeobachtung.
Warum ist das Scraping von Preisen wichtig?
Warum sollten Sie die Preise Ihrer Mitbewerber erfassen? Das Price Scraping ermöglicht es Einzelhändlern, sich regelmäßig und strukturiert einen Überblick über die von ihren Wettbewerbern praktizierten Preise zu verschaffen. In großem Maßstab wird es möglich, mehr Artikel, Handelsketten und Vertriebskanäle zu verfolgen als bei einer manuellen Marktbeobachtung, vor allem aber Marktentwicklungen zu erkennen: Preissenkungen, neue Werbeaktionen, Änderungen der Marktpositionierung oder das Auftauchen eines Konkurrenzprodukts.
Diese Daten fließen anschließend in die Analyse der Preiswettbewerbsfähigkeit. Sie ermöglichen es insbesondere, einen Preisindex zu berechnen, Abweichungen gegenüber Wettbewerbern zu messen und deren Entwicklung zu verfolgen. Der Wettbewerbs-Benchmark kann zudem nach Kategorie, Marke, geografischem Gebiet, Vertriebskanal oder der Rolle des Produkts im Sortiment verfeinert werden.
Dennoch muss nicht jede festgestellte Abweichung automatisch zu einer Preisänderung führen. Eine Preissenkung bei einem sehr sichtbaren und direkt vergleichbaren Produkt hat nicht dieselben Auswirkungen wie ein einmaliger Rabatt auf einen weniger wichtigen Artikel. Durch den Abgleich der aus dem Scraping gewonnenen Daten mit den Verkaufszahlen, der Preiselastizität, den Lagerbeständen oder der Marge kann der Einzelhändler die Abweichungen, die tatsächlich Maßnahmen erfordern, besser priorisieren.
Das Ziel besteht daher nicht darin, sich systematisch am günstigsten Wettbewerber zu orientieren. Eine solche Strategie würde die Gefahr bergen, einen Preiskampf anzufachen und die Rentabilität zu beeinträchtigen. Die Preiswettbewerbsfähigkeit besteht vielmehr darin, zu entscheiden, bei welchen Produkten man offensiv vorgehen sollte, welche auf Marktniveau gehalten werden sollten und wo man eine höhere Marge sichern sollte.
Bevor eine neue Preisstrategie umgesetzt wird, ermöglicht die Simulation schließlich eine Bewertung ihrer potenziellen Auswirkungen auf Umsatz, Marge oder Preisindex. Anhand der Ergebnisauswertung lassen sich die Entscheidungen anschließend anpassen. Das Preis-Scraping wird somit zu einer Informationsquelle für die Preisgestaltungund nicht nur ein einfacher Mechanismus zur Anpassung an den Wettbewerb.
Wie funktioniert das Price Scraping?
Ein Projekt zum Auslesen von Preisdaten beginnt mit der Festlegung eines genauen Umfangs: Websites von Mitbewerbern, Kategorien, Referenzartikel, geografische Gebiete, Vertriebskanäle und die Häufigkeit der Datenerhebung. Der Versuch, alles im Blick zu behalten, führt vor allem zu einer großen Datenmenge, die sich nur schwer auswerten lässt. Die Auswahl der Quellen und Produkte muss daher auf konkrete Anforderungen abgestimmt sein: die Verfolgung der Artikelnummern, die das Preisimage beeinflussen, die Überwachung von Sonderangeboten, das Erkennen des Markteintritts neuer Wettbewerber oder die Messung von Abweichungen in einer vorrangigen Kategorie.
Sobald dieser Umfang festgelegt ist, durchsucht der Crawler die ausgewählten Seiten und extrahiert die gesuchten Informationen. Währungen, Maßeinheiten, Datumsangaben und Aktionsbedingungen werden anschließend vereinheitlicht, um Vergleiche zu erleichtern. Durch Prüfungen lassen sich zudem fehlende Daten, ungewöhnliche Abweichungen oder Änderungen an der Struktur der Websites erkennen.
Die Häufigkeit der Erhebungen hängt vom Tätigkeitsbereich und vom Tempo der Preisentwicklung ab. Für bestimmte Kategorien reicht eine tägliche Erhebung aus. Andere, die schnelleren Schwankungen unterliegen, erfordern eine Überwachung regelmäßiger. Zu große Zeitabstände zwischen den Erhebungen bergen das Risiko, dass wichtige Entwicklungen übersehen werden. Umgekehrt führt eine übermäßige Häufung der Erhebungen ohne konkreten Bedarf zu einem Anstieg des Datenvolumens und der Kosten, ohne dass dies einen zusätzlichen Mehrwert für die Analyse bringt.
Die Daten werden schließlich über einen längeren Zeitraum gespeichert und in einem Dashboard, in Form von Indikatoren oder Warnmeldungen, die in die Preisgestaltungstools integriert sind. Anhand dieser historischen Daten lässt sich eine einmalige Schwankung von einer längerfristigen Entwicklung unterscheiden, und es lässt sich zudem die tatsächliche Dauer einer Werbeaktion ermitteln.
Price Scraping: Der Produktabgleich als Schlüssel zur Zuverlässigkeit der erfassten Preise
Mithilfe von Price Scraping lassen sich die auf den Websites von Mitbewerbern angezeigten Preise in großem Umfang erfassen. Doch es reicht nicht aus, lediglich einen Preis zu erfassen: Man muss auch wissen, zu welchem Produkt er gehört, und sicherstellen, dass der Vergleich tatsächlich vergleichbare Artikel umfasst. Genau dies ist die Aufgabe des Produktabgleich, ein entscheidender Schritt für die Zuverlässigkeit des Preis-Scrapings.
Wenn die EAN vorhanden und identisch ist, ist der Abgleich relativ einfach. In der Praxis wird sie jedoch in vielen Produktbeschreibungen nicht angegeben, die Bezeichnungen unterscheiden sich von Website zu Website, und einige Handelsketten bieten spezifische Formate oder Artikelnummern an. Die aus dem Price-Scraping gewonnenen Daten müssen daher anhand mehrerer Merkmale abgeglichen werden: Marke, Bezeichnung, Inhalt, Format, Zusammensetzung, Farbe, Duft, Modell oder technische Eigenschaften.
Matching-Algorithmen können diese Informationen analysieren, Übereinstimmungen zwischen den erfassten Produkten vorschlagen und einen Vertrauenswert zuweisen. Mehrdeutige Fälle müssen jedoch überprüft werden können. Eine 1,25-Liter-Flasche darf beispielsweise nicht automatisch mit einer 1,5-Liter-Flasche in Verbindung gebracht werden, nur weil Marke und Duft identisch sind. Der Preis pro Liter kann die Analyse erleichtern, ohne dass die beiden Artikel dadurch jedoch als streng gleichwertig gelten.
Die Qualität eines Preis-Scraping-Systems hängt daher ebenso sehr von der Fähigkeit zur Datenerfassung ab wie von der Genauigkeit, mit der Produkte identifiziert und abgeglichen werden. Ein fehlerhafter Abgleich kann die Wettbewerbsanalyse verfälschen, falsche Preiswarnungen auslösen und zu ungerechtfertigten Entscheidungen zur Neupositionierung führen.
Die Leistung darf daher nicht ausschließlich anhand der Anzahl der Seiten oder der erfassten Preise bewertet werden. Abdeckungsgrad, Übereinstimmungsquote, Zuverlässigkeit der Zuordnungen und die Geschwindigkeit bei der Bearbeitung von Anomalien sind ebenfalls von entscheidender Bedeutung, um über eine wirklich verwertbare Preisbeobachtung zu verfügen.
Welche Daten sollten neben dem Preis noch erfasst werden?
Der angegebene Preis stellt nur einen Teil des Angebots dar. Um eine Wettbewerbsanalyse Um eine zuverlässige Wettbewerbsanalyse durchzuführen, müssen auch Aktionsbedingungen, Verfügbarkeit, Anbieter, Vertriebskanal und der Zeitpunkt der Preiserhöhung berücksichtigt werden.
Nicht alle Sonderangebote lassen sich auf dieselbe Weise vergleichen. Ein Sofortrabatt, ein Treuevorteil, ein nachträglich einzulösender Gutschein oder ein Mengenrabatt unterliegen jeweils unterschiedlichen Bedingungen. Der Referenzpreis muss daher beibehalten werden, um den dem Kunden tatsächlich gewährten Preisnachlass zu ermitteln.
Auch die Verfügbarkeit spielt eine wesentliche Rolle. Der Preis eines ausverkauften Produkts übt nicht denselben Wettbewerbsdruck aus wie der eines sofort verfügbaren Artikels. Sich an ein nicht verfügbares Angebot anzupassen, kann somit die Marge schmälern, ohne zusätzliche Umsätze zu generieren.
Die Analyse muss zudem den jeweiligen Verkäufer, den Vertriebskanal und das betreffende geografische Gebiet ermitteln. Auf einem Marktplatz kann der Preis von einem Drittanbieter angeboten werden. Er kann zudem zwischen der Website und dem Ladengeschäft oder von Standort zu Standort variieren. Diese Angebote zu vergleichen, ohne sie in ihren Kontext zu stellen, läuft darauf hinaus, geschäftliche Situationen miteinander zu vergleichen, die nicht gleichwertig sind.
Schließlich muss jede Erfassung mit einem genauen Zeitstempel versehen werden, da sich Preise, Lagerbestände und Sonderangebote nicht immer im gleichen Tempo ändern. Durch die Erstellung einer Zeitreihe lässt sich die Häufigkeit der Änderungen verfolgen und die Stabilität des Wettbewerbsposition sowie zwischen einer einmaligen Maßnahme und einer längerfristigen Entwicklung zu unterscheiden.
Wo liegen die Grenzen des Price Scraping?
Websites ändern ihre Seiten, laden bestimmte Inhalte dynamisch nach oder zeigen je nach Standort unterschiedliche Informationen an. Ein Feld kann verschwinden, ohne dass der Preis tatsächlich nicht mehr existiert. Das System muss daher überwacht und korrigiert werden.
Die zweite Einschränkung betrifft den Erfassungsbereich. Das Internet gibt nicht unbedingt die in den Filialen geltenden Preise, das Merchandising, Regalleerungen oder lokale Sonderangebote wieder. Für eine Omnichannel-Kette sind Erhebungen vor Ort nach wie vor eine Ergänzung zum Online-Scraping. Durch deren Zusammenführung lässt sich vermeiden, dass das Benchmarking auf der Grundlage einer unvollständigen Marktübersicht.
Millionen von Datensätzen können weder einen ungewissen Abgleich noch eine ungenaue Definition der relevanten Wettbewerber ausgleichen. Ohne Priorisierung können die Teams eine technische Anomalie nicht mehr von einer signifikanten Entwicklung unterscheiden.
Schließlich muss die Datenerhebung die für die herangezogenen Quellen geltenden Vorschriften, den Datenschutz sowie die Zugangsbedingungen einhalten. Die Vorgehensweisen müssen auf technischer, vertraglicher und rechtlicher Ebene geregelt werden. Diese Steuerung ist ebenso Teil des Projekts wie die Leistungsfähigkeit der Datenerhebung.
Preis-Scraping: Welche Lösung sollten Sie einsetzen?
Die Wahl hängt weniger vom theoretischen Datenvolumen als vielmehr von den internen Kapazitäten, dem erwarteten Grad an Individualisierung und dem Endzweck ab.
Eine eigenständige Lösung eignet sich für Organisationen, die über technisches Fachwissen verfügen und die Kontrolle über ihre Datenerfassungsgeräte behalten möchten. Sie bietet Flexibilität, allerdings muss das Unternehmen die Wartung, die Standardisierung, die Speicherung, die Qualitätssicherung und häufig auch den Datenabgleich selbst übernehmen.
Eine Agentur kann ein maßgeschneidertes System entwickeln und betreuen. Es muss genau festgelegt werden, was die Dienstleistung umfasst: Datenerfassung, Störfälle, Produktabgleich, Verlaufsdaten, Datenrückgabe, Fristen für die Wiederinbetriebnahme sowie das Eigentumsrecht an den Daten. Eine Preisliste stellt noch kein Instrument zur Entscheidungsfindung dar.
Eine spezialisierte Plattform vereint in der Regel Datenerfassung, Abgleich, Qualitätskontrollen, Verlaufsdaten, Kennzahlen und die Integration in die Preisgestaltungsprozesse. Sie ist für den dauerhaften, teamübergreifenden Einsatz ausgelegt. Ihr Wert hängt von ihrer Fähigkeit ab, die richtigen Abweichungen aufzuzeigen – und nicht nur eine große Menge an Preisen bereitzustellen.
Für den Vergleich der Optionen sind sechs Kriterien ausschlaggebend:
- die Abdeckung der Schilder, Kanäle und Nutzflächen;
- die Zuverlässigkeit des Abgleichs und die Behandlung mehrdeutiger Fälle;
- die Berücksichtigung von Sonderangeboten, Lagerbeständen, Verkäufern und Kosten;
- die Aktualität der Daten und das Störungsmanagement;
- die Integration in Analysetools und Preisgestaltungs-Workflows;
- die Gesamtkosten, einschließlich Wartung, Kontrolle und Einsatz der Teams.
Die beste Lösung ist daher nicht unbedingt diejenige, die Daten erhebt am meisten. Sie liefert Daten, die zuverlässig, aktuell und kontextbezogen genug sind, um Entscheidungen von vorrangiger Bedeutung zu unterstützen.
Wie lassen sich Daten in Preisentscheidungen umsetzen?
Das Projekt muss mit den geschäftsspezifischen Fragen beginnen. Anhand welcher Artikel möchte die Handelskette ihr Preisimage verteidigen? Welche direkte Wettbewerber Welchen Einfluss haben sie tatsächlich auf ihre Kunden? Welche Abweichungen erfordern eine Warnmeldung? Wie viel Spielraum besteht, bevor eine Preisänderung vorgenommen werden muss?
Diese Fragen bestimmen den Umfang, die Häufigkeit und den Detaillierungsgrad. Die Ergebnisse müssen anschließend mit Umsatz, Margen, Lagerbeständen, Elastizität, Werbeaktionen und Produktsegmenten in Verbindung gebracht werden. Die Bedeutung einer Abweichung hängt vom verkauften Volumen, der Nachfrage und der Rolle des jeweiligen Artikels ab.
Die Steuerung kann sich auf einige Kennzahlen stützen: Preisindex, Anteil günstigerer oder teurerer Produkte, Ausmaß der Preisabweichungen, Abdeckungsgrad des Matchings und Häufigkeit von Änderungen. Die Analyseinstrumente müssen die Zusammenfassung mit den Quellenangaben verknüpfen, die das Ergebnis erläutern.
Es ist sinnvoll, die Warnmeldungen nach ihrer potenziellen Auswirkung zu priorisieren. Anstatt jede Abweichung zu melden, kann das System dauerhafte Veränderungen, Produkte mit hoher Sichtbarkeit oder Abweichungen, die einen festgelegten Schwellenwert überschreiten, herausfiltern. Die Teams können ihre Zeit somit der Analyse und Entscheidungsfindung widmen, anstatt sich mit der Überprüfung von Dateien zu beschäftigen.
Ein konkretes Beispiel für Price Scraping
Nehmen wir einen Einzelhändler, der den Preis einer Packung Kaffee verfolgen möchte, die auf seiner Website und bei fünf direkten Mitbewerbern verkauft wird. Das System ruft jede Produktseite mehrmals täglich ab und erfasst den angezeigten Preis, die Sonderaktion, den Preis pro Kilogramm, die Verfügbarkeit und die Versandkosten.
Um 9 Uhr bietet ein Mitbewerber das Produkt für 5,90 Euro an. Um 14 Uhr wird dasselbe Produkt für 4,90 Euro angeboten. Für sich genommen könnte diese Änderung einen Hinweis rechtfertigen. Eine umfassendere Analyse zeigt jedoch, dass der zweite Preis nur für Mitglieder gilt, dass zwei Einheiten gekauft werden müssen und dass das Produkt in mehreren Regionen nicht mehr lieferbar ist.
Dieses Beispiel veranschaulicht den Unterschied zwischen der Erfassung einer Zahl und der Interpretation eines Angebots. Wenn sich die erfassten Daten lediglich auf den Preis von 4,90 Euro beschränken, läuft der Einzelhändler Gefahr, zwei unterschiedliche kommerzielle Angebote miteinander zu vergleichen und seinen Preis unnötigerweise zu senken. Eine aussagekräftige Datenerfassung muss den Kontext bewahren, der der Information ihre Bedeutung verleiht.
Die gleiche Argumentation gilt auch für einen Online-Marktplatz. Ein Produktangebot kann mehrere Verkäufer umfassen, von denen jeder seine eigenen Preise, Lagerbestände, Versandkosten und Lieferzeiten hat. Der zum Zeitpunkt der Erfassung angezeigte Preis entspricht nicht immer dem Preis des beobachteten Anbieters oder dem Angebot, das tatsächlich für alle Kunden verfügbar ist.
Von der automatisierten Erfassung bis zur Steuerung der Preisleistung
Wenn sich die Preise bei Tausenden von Artikeln und über mehrere Kanäle hinweg häufig ändern, reicht eine manuelle Überwachung nicht mehr aus, um einen ausreichend umfassenden und aktuellen Überblick zu erhalten. Das Price Scraping überwindet diese Einschränkung durch die Automatisierung der Datenerfassung; doch das Durchsuchen einer größeren Anzahl von Seiten allein reicht nicht aus, um die Preisentscheidungen zu verbessern.
Die Zuverlässigkeit der Marktbeobachtung hängt in erster Linie von der Qualität der Produktabgleiche ab. Anschließend muss jedes Angebot in seinen Kontext eingeordnet werden: Werbeaktion, Verfügbarkeit, Verkäufer, Vertriebskanal, geografisches Gebiet und Zeitpunkt der Erfassung. Anhand der historischen Daten lässt sich eine punktuelle Schwankung von einer längerfristigen Veränderung unterscheiden, während Erhebungen vor Ort die Informationen ergänzen, die online nicht verfügbar sind.
Das Ziel besteht also nicht darin, auf jede bei den Wettbewerbern beobachtete Veränderung zu reagieren. Vielmehr geht es darum, Abweichungen zu identifizieren, die besondere Aufmerksamkeit verdienen, und anschließend deren mögliche Auswirkungen auf den Umsatz, das Preisimage und die Marge zu bewerten. Das Price Scraping liefert den Anstoß; anhand der Qualität des Abgleichs, der Analyse und der Simulation lässt sich feststellen, ob eine Preisanpassung erforderlich ist, die Preispositionierung beibehalten werden sollte oder ob kein Eingreifen erforderlich ist.
