Automaattinen B2B-toimittajatietojen keräysalusta, jossa on havaitsemisen esto ja IP-kierto
Hankintatiimi tarvitsi kattavan toimittajatietokannan rakentamista yli 19 tuoteryhmän ja yli 50 maan osalta keräämällä jäsenneltyjä liiketoimintatietoja B2B-markkinapaikoilta — laajamittaisesti, luotettavasti ja ilman estämistä.
Keskustele Projektistasi
Haaste
Laajamittaisen toimittajatietokannan rakentaminen B2B-alustoilta aiheutti useita teknisiä haasteita:
- Bottien Havaitsemisen Esto — Kohdealustat käyttivät kehittyneitä bottien havaitsemismenetelmiä, kuten selaimen sormenjälkien tunnistusta, käyttäytymisanalyysiä, CAPTCHA-haasteita ja nopeusrajoituksia
- Muotojen Epäjohdonmukaisuus — Toimittajaprofiilien asettelut vaihtelivat merkittävästi kategorioiden ja alueiden välillä, mikä rikkoi jäykkiä kaavintamalleja
- IP-Estot — Suuret määrät pyyntöjä yhdestä IP-osoitteesta johtivat pysyviin estoihin muutamassa minuutissa
- Tietomäärä — Tarvittiin yli 50 000 toimittajaprofiilia kymmenissä kategorioissa, joissa oli yli 80 kenttää per tietue
- Tietojen Laatu — Poimitut tiedot sisälsivät päällekkäisyyksiä, puutteellisia tietueita ja epäjohdonmukaisia muotoja, jotka vaativat validointia
- Istunnon Hallinta — Pitkään jatkuvat kaavintakerrat heikkenivät ajan myötä, kun alustat havaitsivat automatisoituja malleja
Meidän Ratkaisumme
Rakensimme automaattisen B2B-tietojen keräysalustan, jossa on monikerroksinen havaitsemisen esto, VPN-pohjainen IP-kierto, ihmisen käyttäytymisen simulointi ja jäsennelty tietojen vienti — joka kykenee luotettavasti keräämään kymmeniä tuhansia toimittajatietueita.
Arkkitehtuuri
- Kaavintamoottori: Selenium undetected ChromeDriverilla selaimen automaatioon ja havaitsemisen välttämiseen
- Havaitsemisen Estokerros: Selaimen sormenjälkien satunnaistaminen, ihmisen käyttäytymisen simulointi ja CAPTCHA-havaitseminen
- IP-Kierto: VPN-hallinta ohjelmallisella palvelinvaihdolla yli 12 globaalissa sijainnissa
- Tietojen Käsittely: Pydantic-mallit validointiin, pandas muunnokseen, monimuotoinen vienti
- Konfigurointi: YAML-pohjaiset asetukset kategorioille, maille, nopeusrajoille ja havaitsemisen estoparametreille
- Lokitus ja Seuranta: Jäsennelty lokitus onnistumis-/epäonnistumisasteen seurannalla per istunto
Havaitsemisen Eston Arkkitehtuuri
Selaimen Sormenjälkien Välttäminen
Alusta luo satunnaistettuja selaimen sormenjälkiä jokaiselle istunnolle kattaen:
- Näytön resoluutio, värisyvyys ja laitteen pikselitiheys
- Navigaattorin ominaisuudet (alusta, kieli, laitteiston samanaikaisuus)
- WebGL-toimittajan ja renderöijän tiedot
- Kangas- ja äänisormenjälkien kohinan lisäys
- Realistiset lisäosa- ja fonttilistat, jotka vastaavat väärennettyä alustaa
- Aikavyöhykkeen johdonmukaisuus kaikissa sormenjälkiominaisuuksissa
Ihmisen Käyttäytymisen Simulointi
Jäljittelemään luonnollisia selausmalleja, järjestelmä toteuttaa:
- Hiiren Liike — Bézier-käyräpohjaiset polut realistisella kiihdytyksellä ja hidastuksella
- Kirjoitussimulaatio — Vaihtelevat kirjoitusnopeudet satunnaisilla realistisilla virheillä
- Vieritysmallit — Useita käyttäytymistiloja (huolellinen lukeminen, nopea selaus, hajamielinen selaus)
- Napsautuksen Epäröinti — Luonnolliset viiveet ennen vuorovaikutuksia
- Istunnon Väsymys — Käyttäytymisen muutokset pitkissä istunnoissa jäljitellen ihmisen väsymystä
- Taukosimulaatio — Satunnaiset tauot pitkissä istunnoissa
CAPTCHA-Havaitseminen ja Palautuminen
- Monityyppinen havaitseminen (reCAPTCHA, hCaptcha, Cloudflare-haasteet, liukusäätimen CAPTCHA:t)
- Luottamuspisteytys jokaiselle havaitsemiselle
- Palautumisstrategiat, mukaan lukien IP-kierto, istunnon nollaus ja pidennetyt viiveet
- Todisteiden kerääminen (näyttökuvat ja HTML) virheenkorjaukseen
IP-Kiertojärjestelmä
VPN-Hallinta
- Ohjelmallinen VPN-yhteyden hallinta yli 12 globaalissa palvelinsijainnissa
- Automaattinen yhteyden terveyden tarkistus IP-tarkistusten avulla
- Epäonnistuneiden palvelimien mustalistalle asettaminen ongelmallisten sijaintien välttämiseksi
- Konfiguroitavat kiertovälit (esim. jokaisen N pyynnön jälkeen)
- Pyyntölaskenta automaattisten kiertojen laukaisemiseksi
- Saumaton kierto ilman aktiivisten kaavintakertojen keskeyttämistä
Tietojen Poiminta ja Käsittely
Poimitut Tietokentät (80+)
Alusta poimii kattavia toimittajatietoja useissa kategorioissa:
- Perustiedot — Yrityksen nimi, sijainti (maa, maakunta, kaupunki), kategoria
- Yhteystiedot — Sähköposti, puhelin, WhatsApp, verkkosivusto, viestintäkahvat
- Liiketoimintamittarit — Liiketoiminnan tyyppi, toimintavuodet, vuotuinen liikevaihto, työntekijämäärä, tehtaan koko, varmennustila, vastausprosentti
- Tuotetiedot — Päätuotteet, kategoriat, MOQ, hintaluokat, toimitusajat, maksuehdot, räätälöintivaihtoehdot
- Sertifikaatit — Toimialan sertifikaatit (ISO, laatu, kestävyys, turvallisuus)
- Kauppatiedot — Vientiprosentti, kohdemarkkinat, kauppaehdot, tuotantokapasiteetti
Tietojen Validointi ja Laatu
- Pydantic-mallit pakottavat kenttien tyypit, muodot ja rajoitukset
- Sähköpostin ja puhelinnumeron muodon validointi
- URL-normalisointi ja vahvistus
- Päällekkäisyyksien havaitseminen sähköpostin, puhelimen ja yrityksen nimen perusteella
- Vähimmäistietojen täydellisyyskynnys (60%+ kenttien kattavuus vaaditaan)
- Liiketoiminnan tyypin luokittelu ja normalisointi
Vienti ja Järjestely
Tiedot viedään useissa muodoissa (CSV, Excel muotoilulla, JSON) ja järjestetään seuraavasti:
- Kategoria — Erilliset tietojoukot per tuoteryhmä
- Maa — Erilliset tietojoukot per toimittajamaa
- Päälistat — Yhdistetyt tietojoukot, joissa on kategorioiden välinen päällekkäisyyksien poisto
- Yhteenvetoraportit — Tilastot poimintanopeuksista, kattavuudesta ja tietojen laadusta
Konfigurointijärjestelmä
Kaikki käyttäytyminen ohjataan YAML-konfiguraation kautta, joka kattaa:
- Kategoriat määritelmät alaluokilla ja hakutermeillä
- Kohdemaat ja ensisijaiset alueet
- Nopeusrajoitukset (pyynnöt minuutissa, tunnissa ja päivässä)
- Havaitsemisen eston asetukset (kiertovälit, evästeiden tyhjennys, käyttäytymisliput)
- Poimintakenttien vaatimukset (pakolliset vs. valinnaiset)
- Vientiasetukset (päällekkäisyyksien poisto, validointi, täydellisyyskynnykset)
Keskeiset Ominaisuudet
- Monikerroksinen Havaitsemisen Esto — Sormenjälkien välttäminen, käyttäytymisen simulointi ja istunnon hallinta
- VPN-Pohjainen IP-Kierto — 12+ globaalit sijainnit automaattisella kierrolla ja terveystarkastuksilla
- 80+ Tietokenttää — Kattavat toimittajaprofiilit validoiduilla, jäsennellyillä tiedoilla
- Ihmisen Käyttäytymisen Simulointi — Bézier-hiiripolut, vaihteleva kirjoittaminen, realistiset vieritysmallit
- CAPTCHA-Havaitseminen ja Palautuminen — Monityyppinen havaitseminen automatisoiduilla palautumisstrategioilla
- Monimuotoinen Vienti — CSV, Excel ja JSON kategoria-/maajärjestelyllä
- Tietojen Validointi — Pydanticin pakottamat skeemat päällekkäisyyksien havaitsemisella ja täydellisyysarvioinnilla
- Konfiguroitavat Kampanjat — YAML-ohjattu kategoria-, maa- ja nopeusrajoituskonfiguraatio
- Istunnon Hallinta — Väsymyksen simulointi, evästeiden kierto ja taukojen aikataulutus
- Tuotannon Shell-Skriptit — Esikonfiguroidut ajurit eri kaavintaprofiileille
Tulokset
Teknologiapino
caseStudyDetail.more Tapaustutkimukset
Tutustu lisää teknisiin toteutuksiimme
Tekoälykäyttöinen blogisisällön kaavinta- ja generointialusta
Mediakonserni tarvitsi älykkään sisältöalustan, joka voisi automatisoida blogisisällön luomisen kaapimalla olemassa olevaa verkkosisältöä, analysoimalla sitä AI:lla ja luomalla alkuperäisiä, SEO-optimoituja blogikirjoituksia poimitusta tiedosta.
Catant HR & Workforce Management Platform
Catant on modulaarinen HR- ja työvoiman hallintajärjestelmä, joka auttaa yrityksiä hallitsemaan työntekijöitä, palkanlaskentaa, läsnäoloa ja vaatimustenmukaisuutta yhdestä kojelaudasta.
Usein kysytyt kysymykset
MicrocosmWorks toteutti monikerroksisen vältteilyjärjestelmän, joka sisältää asuinpaikkaproxyjen kierrätyksen yli 50 maassa, selaimen sormenjäljen satunnaistamisen käyttäen Playwrightia stealth-lisäosien kanssa, sekä ihmismäisen pyyntöjen tahdistuksen satunnaistetuilla viiveillä. Järjestelmä ylläpitää alle 2 %:n tunnistusprosentin kohdesivustoilla matkimalla luonnollisia selausmalleja ja kierrättämällä user agent -merkkijonoja.
MicrocosmWorks määritti älykkään välityspalvelinhallintakerroksen, joka jakaa pyyntöjä asukas-, datakeskus- ja mobiilivälityspalvelinpoolien kesken kunkin kohdesivuston tunnistusherkkyyden perusteella. Järjestelmä seuraa IP-kohtaisia pyyntömääriä ja poistaa automaattisesti käytöstä IP:t, jotka lähestyvät nopeusrajoituksia, yli 10 000 kiertävän IP:n poolilla varmistaen jatkuvan keräyskapasiteetin.
MicrocosmWorks rakensi validointiputken, joka tarkistaa sähköpostin toimitettavuuden, puhelinnumeron muodon ja operaattorin haun, verkkosivuston saatavuuden ja osoitteen geokoodauksen jokaiselle kerätylle toimittajatietueelle. Kaksoiskappaleiden tunnistus käyttää fuzzy matchingia yrityksen nimi- ja osoitekentissä estääkseen kaksoiskappaleiden syntymisen, ja täydellisyyspisteet merkitsevät kriittisiä kenttiä puuttuvat tietueet uudelleenkaavittaviksi.
MicrocosmWorks toteutti automatisoidun rakenteenvalvontajärjestelmän, joka vertailee sivun DOM-rakenteita tallennettuihin perusarvoihin jokaisella indeksointisyklillä. Kun rakenteellisia muutoksia havaitaan, jotka rikkovat yli 10 % valitsimista, järjestelmä keskeyttää tiedonkeruun kyseisestä lähteestä, hälyttää operaatiotiimin ja monissa tapauksissa korjaa valitsimet automaattisesti käyttäen LLM-pohjaista valitsimen uudelleenluontimoduulia.
MicrocosmWorks toimittaa web scraping -alustoja hintaan $20-$40/tunti. Täysi toimittajatietojen keräysjärjestelmä, joka sisältää tunnistuksenestotoimenpiteet, IP rotationin, validointiputken ja hallintapaneelin, vaatii tyypillisesti 400-600 kehitystuntia. Suuren mittakaavan toiminnassa jatkuvat proxy-kustannukset ovat tyypillisesti $500-$2,000/kuukausi keräysvolyymista riippuen.
Valmis Muuttamaan Liiketoimintaasi?
Keskustellaan siitä, miten voimme soveltaa vastaavia ratkaisuja haasteisiisi.