Automatisierte B2B-Lieferantendaten-Erfassungsplattform mit Anti-Erkennung & IP-Rotation
Ein Beschaffungsteam musste eine umfassende Lieferantendatenbank über mehr als 19 Produktkategorien und 50 Länder hinweg aufbauen, indem es strukturierte Geschäftsdaten von B2B-Marktplatzplattformen – in großem Umfang, zuverlässig und ohne Blockierung – sammelte.
Ihr Projekt besprechen
Die Herausforderung
Der Aufbau einer groĂźen Lieferantendatenbank aus B2B-Plattformen stellte mehrere technische Hindernisse dar:
- Anti-Bot-Erkennung — Zielplattformen setzten hochentwickelte Bot-Erkennungsmethoden ein, einschließlich Browser-Fingerprinting, Verhaltensanalyse, CAPTCHA-Herausforderungen und Ratenbegrenzung
- Formatinkonsistenz — Die Layouts der Lieferantenprofile variierten erheblich zwischen Kategorien und Regionen, wodurch starre Scraping-Vorlagen brachen
- IP-Sperrung — Anfragen mit hohem Volumen von einzelnen IPs führten innerhalb von Minuten zu permanenten Sperrungen
- Datenvolumen — Über 50.000 Lieferantenprofile wurden über Dutzende von Kategorien mit über 80 Feldern pro Datensatz benötigt
- Datenqualität — Extrahierte Daten enthielten Duplikate, unvollständige Datensätze und inkonsistente Formate, die eine Validierung erforderten
- Sitzungsverwaltung — Langlaufende Scraping-Sitzungen verschlechterten sich mit der Zeit, da Plattformen automatisierte Muster erkannten
Unsere Lösung
Wir haben eine automatisierte B2B-Datenerfassungsplattform mit mehrschichtiger Anti-Erkennung, VPN-basierter IP-Rotation, menschlicher Verhaltenssimulation und strukturiertem Datenexport entwickelt – fähig, Zehntausende von Lieferantendatensätzen zuverlässig zu sammeln.
Architektur
- Scraping-Engine: Selenium mit undetected ChromeDriver fĂĽr Browserautomatisierung mit Umgehung
- Anti-Erkennungs-Schicht: Browser-Fingerprint-Randomisierung, menschliche Verhaltenssimulation und CAPTCHA-Erkennung
- IP-Rotation: VPN-Manager mit programmatischem Serverwechsel ĂĽber ĂĽber 12 globale Standorte
- Datenverarbeitung: Pydantic-Modelle zur Validierung, pandas zur Transformation, Export in mehreren Formaten
- Konfiguration: YAML-basierte Einstellungen für Kategorien, Länder, Ratenbegrenzungen und Anti-Erkennungsparameter
- Protokollierung & Ăśberwachung: Strukturierte Protokollierung mit Verfolgung der Erfolgs-/Fehlerrate pro Sitzung
Anti-Erkennungs-Architektur
Browser-Fingerprint-Umgehung
Die Plattform generiert randomisierte Browser-Fingerprints fĂĽr jede Sitzung, die Folgendes umfassen:
- Bildschirmauflösung, Farbtiefe und Geräte-Pixelverhältnis
- Navigator-Eigenschaften (Plattform, Sprache, Hardware-Parallelität)
- WebGL-Anbieter- und Renderer-Informationen
- Canvas- und Audio-Fingerprint-Rausch-Injektion
- Realistische Plugin- und Schriftartenlisten, die der gespooften Plattform entsprechen
- Zeitzonenkonsistenz ĂĽber alle Fingerprint-Eigenschaften hinweg
Menschliche Verhaltenssimulation
Um natĂĽrliche Browsing-Muster zu imitieren, implementiert das System:
- Mausbewegung — Pfade basierend auf Bézier-Kurven mit realistischer Beschleunigung und Verlangsamung
- Tippsimulation — Variable Tippgeschwindigkeiten mit gelegentlichen realistischen Fehlern
- Scrollmuster — Mehrere Verhaltensmodi (vorsichtiges Lesen, schnelles Scannen, abgelenktes Browsen)
- Klick-Zögern — Natürliche Verzögerungen vor Interaktionen
- Sitzungsmüdigkeit — Verhaltensänderungen über lange Sitzungen, um menschliche Müdigkeit zu imitieren
- Pausensimulation — Zufällige Pausen für erweiterte Sitzungen
CAPTCHA-Erkennung & Wiederherstellung
- Mehrfacherkennung (reCAPTCHA, hCaptcha, Cloudflare challenges, Slider-CAPTCHAs)
- Konfidenzbewertung fĂĽr jede Erkennung
- Wiederherstellungsstrategien einschließlich IP-Rotation, Sitzungs-Reset und längere Verzögerungen
- Beweiserfassung (Screenshots und HTML) zur Fehlerbehebung
IP-Rotationssystem
VPN-Verwaltung
- Programmatische VPN-Verbindungsverwaltung ĂĽber ĂĽber 12 globale Serverstandorte
- Automatische ĂśberprĂĽfung der Verbindungsgesundheit ĂĽber IP-Checks
- Blacklisting fehlerhafter Server, um problematische Standorte zu vermeiden
- Konfigurierbare Rotationsintervalle (z. B. alle N Anfragen)
- Anfragezählung für automatische Rotationsauslöser
- Nahtlose Rotation ohne Unterbrechung aktiver Scraping-Sitzungen
Datenextraktion & -verarbeitung
Extrahierte Datenfelder (80+)
Die Plattform extrahiert umfassende Lieferanteninformationen ĂĽber mehrere Kategorien hinweg:
- Basisinformationen — Firmenname, Standort (Land, Provinz, Stadt), Kategorie
- Kontaktdaten — E-Mail, Telefon, WhatsApp, Website, Messaging-Konten
- Geschäftskennzahlen — Unternehmenstyp, Betriebsjahre, Jahresumsatz, Mitarbeiterzahl, Fabrikgröße, Verifizierungsstatus, Antwortrate
- Produktinformationen — Hauptprodukte, Kategorien, MOQ, Preisspannen, Lieferzeiten, Zahlungsbedingungen, Anpassungsoptionen
- Zertifizierungen — Industriezertifizierungen (ISO, Qualität, Nachhaltigkeit, Sicherheit)
- Handelsinformationen — Exportanteil, Zielmärkte, Handelsbedingungen, Produktionskapazität
Datenvalidierung & -qualität
- Pydantic-Modelle erzwingen Feldtypen, Formate und Einschränkungen
- E-Mail- und Telefonnummernformatvalidierung
- URL-Normalisierung und -Verifizierung
- Duplikaterkennung ĂĽber E-Mail, Telefon und Firmennamen
- Mindestschwelle für Datenvollständigkeit (60 %+ Feldabdeckung erforderlich)
- Klassifizierung und Normalisierung des Unternehmenstyps
Export & Organisation
Daten werden in mehreren Formaten (CSV, Excel mit Formatierung, JSON) exportiert und nach Folgendem organisiert:
- Kategorie — Separate Datensätze pro Produktkategorie
- Land — Separate Datensätze pro Lieferantenland
- Masterlisten — Kombinierte Datensätze mit kategorienübergreifender Deduplizierung
- Zusammenfassende Berichte — Statistiken zu Extraktionsraten, Abdeckung und Datenqualität
Konfigurationssystem
Das gesamte Verhalten wird ĂĽber die YAML-Konfiguration gesteuert, die Folgendes abdeckt:
- Kategoriedefinitionen mit Unterkategorien und Suchbegriffen
- Zielländer und Prioritätsregionen
- Ratenbegrenzung (Anfragen pro Minute, Stunde und Tag)
- Anti-Erkennungs-Einstellungen (Rotationsintervalle, Cookie-Löschung, Verhaltensflags)
- Anforderungen an Extraktionsfelder (erforderlich vs. optional)
- Export-Einstellungen (Deduplizierung, Validierung, Vollständigkeitsschwellenwerte)
Hauptmerkmale
- Mehrschichtige Anti-Erkennung — Fingerprint-Umgehung, Verhaltenssimulation und Sitzungsverwaltung
- VPN-basierte IP-Rotation — Über 12 globale Standorte mit automatischer Rotation und Gesundheitsprüfungen
- Über 80 Datenfelder — Umfassende Lieferantenprofile mit validierten, strukturierten Daten
- Menschliche Verhaltenssimulation — Bézier-Mauspfade, variables Tippen, realistische Scrollmuster
- CAPTCHA-Erkennung & -Wiederherstellung — Mehrfacherkennung mit automatisierten Wiederherstellungsstrategien
- Mehrformatiger Export — CSV, Excel und JSON mit Kategorie-/Länderorganisation
- Datenvalidierung — Pydantic-durchgesetzte Schemata mit Duplikaterkennung und Vollständigkeitsbewertung
- Konfigurierbare Kampagnen — YAML-gesteuerte Kategorie-, Länder- und Ratenbegrenzungskonfiguration
- Sitzungsverwaltung — Müdigkeitssimulation, Cookie-Rotation und Pausenplanung
- Produktions-Shell-Skripte — Vorkonfigurierte Runner für verschiedene Scraping-Profile
Ergebnisse
Technologie-Stack
caseStudyDetail.more Fallstudien
Entdecken Sie mehr unserer technischen Implementierungen
KI-gestĂĽtzte Plattform zum Scraping und zur Generierung von Blog-Inhalten
Ein Medienunternehmen benötigte eine intelligente Content-Plattform, die die Erstellung von Blog-Inhalten automatisieren konnte, indem sie bestehende Webinhalte scrapte, diese mithilfe von AI analysierte und originelle, SEO-optimierte Blog-Beiträge aus den extrahierten Daten generierte.
Kickly: KI-gestĂĽtzte Projektplattform fĂĽr Startups
Kickly ist eine KI-gestützte Projektmanagementplattform, die für Startups entwickelt wurde – und intelligente Aufgabenautomatisierung, Teamkollaboration und Echtzeit-Fortschrittsverfolgung in einem Produkt vereint.
Bereit, Ihr Unternehmen zu transformieren?
Lassen Sie uns besprechen, wie wir ähnliche Lösungen für Ihre Herausforderungen anwenden können.