Automatisierte B2B-Lieferantendaten-Sammelplattform mit Anti-Erkennung & IP-Rotation

Wir haben eine automatisierte B2B-Datensammelplattform mit mehrschichtiger Anti-Erkennung, VPN-basierter IP-Rotation, Simulation menschlichen Verhaltens und strukturiertem Datenexport entwickelt — fähig, zuverlässig Zehntausende von Lieferantendatensätzen zu sammeln.

Architektur

• Scraping-Engine: Selenium mit undetected ChromeDriver für Browser-Automatisierung mit Umgehung
• Anti-Erkennungsschicht: Browser-Fingerabdruck-Randomisierung, Simulation menschlichen Verhaltens und CAPTCHA-Erkennung
• IP-Rotation: VPN-Manager mit programmatischem Serverwechsel über 12+ globale Standorte
• Datenverarbeitung: Pydantic-Modelle zur Validierung, pandas zur Transformation, Multi-Format-Export
• Konfiguration: YAML-basierte Einstellungen für Kategorien, Länder, Ratenbegrenzungen und Anti-Erkennungsparameter
• Protokollierung & Überwachung: Strukturierte Protokollierung mit Erfolgs-/Fehlerratenverfolgung pro Sitzung

Anti-Erkennungsarchitektur

Browser-Fingerabdruck-Umgehung

Die Plattform generiert zufällige Browser-Fingerabdrücke für jede Sitzung, die folgende Aspekte abdecken:

• Bildschirmauflösung, Farbtiefe und Geräte-Pixel-Verhältnis
• Navigator-Eigenschaften (Plattform, Sprache, Hardware-Konkurrenz)
• WebGL-Anbieter- und Renderer-Informationen
• Canvas- und Audio-Fingerabdruck-Rauschinjektion
• Realistische Plugin- und Schriftartenlisten, die zur gefälschten Plattform passen
• Zeitzonenkonsistenz über alle Fingerabdruckeigenschaften hinweg

Simulation menschlichen Verhaltens

Um natürliche Browsing-Muster zu imitieren, implementiert das System:

• Mausbewegung — Bézier-Kurven-basierte Pfade mit realistischer Beschleunigung und Verzögerung
• Tippsimulation — Variable Tippgeschwindigkeiten mit gelegentlichen realistischen Fehlern
• Scrollmuster — Mehrere Verhaltensmodi (sorgfältiges Lesen, schnelles Scannen, abgelenktes Browsen)
• Klickzögerung — Natürliche Verzögerungen vor Interaktionen
• Sitzungsmüdigkeit — Verhaltensänderungen über lange Sitzungen, um menschliche Müdigkeit zu imitieren
• Pausensimulation — Zufällige Pausen für verlängerte Sitzungen

CAPTCHA-Erkennung & Wiederherstellung

• Erkennung mehrerer Typen (reCAPTCHA, hCaptcha, Cloudflare-Herausforderungen, Schieberegler-CAPTCHAs)
• Vertrauensbewertung für jede Erkennung
• Wiederherstellungsstrategien einschließlich IP-Rotation, Sitzungszurücksetzung und verlängerten Verzögerungen
• Beweissammlung (Screenshots und HTML) zur Fehlerbehebung

IP-Rotationssystem

VPN-Management

• Programmgesteuertes VPN-Verbindungsmanagement über 12+ globale Serverstandorte
• Automatische Verbindungsüberprüfung durch IP-Checks
• Schwarze Liste fehlgeschlagener Server, um problematische Standorte zu vermeiden
• Konfigurierbare Rotationsintervalle (z.B. alle N Anfragen)
• Anfragezählung für automatische Rotationsauslöser
• N nahtlose Rotation ohne Unterbrechung aktiver Scraping-Sitzungen

Datenextraktion & -verarbeitung

Extrahierte Datenfelder (80+)

Die Plattform extrahiert umfassende Lieferanteninformationen über mehrere Kategorien hinweg:

• Grundlegende Informationen — Firmenname, Standort (Land, Provinz, Stadt), Kategorie
• Kontaktdaten — E-Mail, Telefon, WhatsApp, Website, Messaging-Handles
• Geschäftskennzahlen — Geschäftstyp, Betriebsjahre, Jahresumsatz, Mitarbeiteranzahl, Fabrikgröße, Verifizierungsstatus, Antwortrate
• Produktinformationen — Hauptprodukte, Kategorien, MOQ, Preisspannen, Lieferzeiten, Zahlungsbedingungen, Anpassungsoptionen
• Zertifizierungen — Branchenzertifizierungen (ISO, Qualität, Nachhaltigkeit, Sicherheit)
• Handelsinformationen — Exportanteil, Zielmärkte, Handelsbedingungen, Produktionskapazität

Datenvalidierung & -qualität

• Pydantic-Modelle erzwingen Feldtypen, Formate und Einschränkungen
• Validierung von E-Mail- und Telefonnummernformaten
• URL-Normalisierung und -Verifizierung
• Duplikaterkennung über E-Mail, Telefon und Firmenname hinweg
• Minimale Datenvollständigkeitsschwelle (60%+ Feldabdeckung erforderlich)
• Klassifizierung und Normalisierung des Geschäftstyps

Export & Organisation

Daten werden in mehreren Formaten (CSV, Excel mit Formatierung, JSON) exportiert und organisiert nach:

• Kategorie — Separate Datensätze pro Produktkategorie
• Land — Separate Datensätze pro Lieferantenland
• Master-Listen — Kombinierte Datensätze mit kategorienübergreifender Duplikatbereinigung
• Zusammenfassende Berichte — Statistiken zu Extraktionsraten, Abdeckung und Datenqualität

Konfigurationssystem

Das gesamte Verhalten wird über YAML-Konfiguration gesteuert, die folgende Punkte abdeckt:

• Kategoriedefinitionen mit Unterkategorien und Suchbegriffen
• Ziel-Länder und Prioritätsregionen
• Ratenbegrenzung (Anfragen pro Minute, Stunde und Tag)
• Anti-Erkennungseinstellungen (Rotationsintervalle, Cookie-Löschung, Verhaltensflags)
• Extraktionsfeldanforderungen (erforderlich vs. optional)
• Exporteinstellungen (Duplikatbereinigung, Validierung, Vollständigkeitsschwellen)

Hauptmerkmale

1. Mehrschichtige Anti-Erkennung — Fingerabdruck-Umgehung, Verhaltenssimulation und Sitzungsmanagement
2. VPN-basierte IP-Rotation — 12+ globale Standorte mit automatischer Rotation und Gesundheitschecks
3. 80+ Datenfelder — Umfassende Lieferantenprofile mit validierten, strukturierten Daten
4. Simulation menschlichen Verhaltens — Bézier-Mauspfade, variable Tippgeschwindigkeit, realistische Scrollmuster
5. CAPTCHA-Erkennung & Wiederherstellung — Erkennung mehrerer Typen mit automatisierten Wiederherstellungsstrategien
6. Multi-Format-Export — CSV, Excel und JSON mit Kategorie-/Länderorganisation
7. Datenvalidierung — Pydantic-erzwungene Schemata mit Duplikaterkennung und Vollständigkeitsbewertung
8. Konfigurierbare Kampagnen — YAML-gesteuerte Kategorie-, Länder- und Ratenbegrenzungskonfiguration
9. Sitzungsmanagement — Müdigkeitssimulation, Cookie-Rotation und Pausenplanung
10. Produktions-Shell-Skripte — Vorgefertigte Runner für verschiedene Scraping-Profile