Web Scraping公開日 June 22, 2026 · 更新日 June 22, 2026

検出回避およびIPローテーション機能を備えた自動化されたB2Bサプライヤーデータ収集プラットフォーム

ソーシングチームは、B2Bマーケットプレイスプラットフォームから構造化されたビジネスデータを大規模に、信頼性高く、ブロックされることなく収集することで、19以上の製品カテゴリーと50以上の国々にわたる網羅的なサプライヤーデータベースを構築する必要がありました。

プロジェクトを相談する

Web Scraping

Domain

Technologies

Key Results

Delivered

Status

課題

B2Bプラットフォームから大規模なサプライヤーデータベースを構築するにあたり、複数の技術的な課題がありました。

ボット検出回避 — ターゲットとなるプラットフォームは、ブラウザフィンガープリンティング、行動分析、CAPTCHA認証、レート制限など、高度なボット検出技術を採用していました。
フォーマットの不整合 — サプライヤープロファイルのレイアウトは、カテゴリーや地域によって大きく異なり、厳格なスクレイピングテンプレートでは対応できませんでした。
IPブロッキング — 単一のIPからの大量のリクエストは、数分以内に永続的なブロックを引き起こしました。
データ量 — 数十のカテゴリーにわたる50,000件以上のサプライヤープロファイルが必要であり、1レコードあたり80以上のフィールドがありました。
データ品質 — 抽出されたデータには、重複、不完全なレコード、一貫性のないフォーマットが含まれており、検証が必要でした。
セッション管理 — 長時間実行されるスクレイピングセッションは、プラットフォームが自動化されたパターンを検出するにつれて、時間とともに性能が低下しました。

私たちのソリューション

当社は、多層的な検出回避、VPNベースのIPローテーション、人間行動シミュレーション、構造化データのエクスポート機能を備えた自動化されたB2Bデータ収集プラットフォームを構築しました。これにより、数万件のサプライヤーレコードを確実に収集することが可能になりました。

アーキテクチャ

スクレイピングエンジン: 検出回避機能を備えたブラウザ自動化のためのSeleniumとundetected ChromeDriver
検出回避レイヤー: ブラウザフィンガープリントのランダム化、人間行動シミュレーション、CAPTCHA検出
IPローテーション: 12以上のグローバルロケーション間でプログラムによるサーバー切り替えを行うVPNマネージャー
データ処理: 検証のためのPydanticモデル、変換のためのpandas、マルチフォーマットエクスポート
設定: カテゴリー、国、レート制限、検出回避パラメーターのためのYAMLベースの設定
ロギングとモニタリング: セッションごとの成功/失敗率追跡を伴う構造化ロギング

検出回避アーキテクチャ

ブラウザフィンガープリント回避

プラットフォームは、各セッションにおいて以下の項目を含むランダム化されたブラウザフィンガープリントを生成します。

画面解像度、色深度、デバイスピクセル比
Navigatorプロパティ (プラットフォーム、言語、ハードウェア同時実行数)
WebGLベンダーおよびレンダラー情報
Canvasおよびオーディオフィンガープリントノイズ注入
偽装されたプラットフォームに一致する現実的なプラグインおよびフォントリスト
すべてのフィンガープリントプロパティ間でのタイムゾーンの一貫性

人間行動シミュレーション

自然なブラウジングパターンを模倣するために、システムは以下を実装しています。

マウス移動 — 現実的な加速と減速を伴うベジェ曲線ベースのパス
タイピングシミュレーション — 時折現実的なエラーを伴う可変タイピング速度
スクロールパターン — 複数の行動モード (慎重な読書、高速スキャン、気まぐれなブラウジング)
クリックの躊躇 — 操作前の自然な遅延
セッション疲労 — 人間の疲労を模倣するための長時間のセッションにおける行動変化
休憩シミュレーション — 長時間セッションのためのランダムな一時停止

CAPTCHA検出と回復

複数タイプの検出 (reCAPTCHA, hCaptcha, Cloudflareチャレンジ, スライダーCAPTCHA)
各検出の信頼度スコアリング
IPローテーション、セッションリセット、長時間の遅延を含む回復戦略
デバッグのための証拠収集 (スクリーンショットとHTML)

IPローテーションシステム

VPN管理

12以上のグローバルサーバーロケーションにわたるプログラムによるVPN接続管理
IPチェックによる自動接続ヘルス検証
問題のあるロケーションを避けるための失敗したサーバーのブラックリスト化
設定可能なローテーション間隔 (例: Nリクエストごと)
自動ローテーションをトリガーするためのリクエストカウント
アクティブなスクレイピングセッションを中断することなくシームレスなローテーション

データ抽出と処理

抽出されるデータフィールド (80以上)

プラットフォームは、いくつかのカテゴリーにわたる包括的なサプライヤー情報を抽出します。

基本情報 — 会社名、所在地 (国、州、市)、カテゴリー
連絡先詳細 — メール、電話、WhatsApp、ウェブサイト、メッセージングハンドル
ビジネス指標 — 事業形態、創業年数、年間収益、従業員数、工場規模、認証状況、応答率
製品情報 — 主要製品、カテゴリー、MOQ、価格帯、リードタイム、支払い条件、カスタマイズオプション
認証 — 業界認証 (ISO、品質、持続可能性、安全性)
貿易情報 — 輸出比率、ターゲット市場、貿易条件、生産能力

データ検証と品質

Pydanticモデルはフィールドの型、フォーマット、制約を強制します
メールアドレスと電話番号のフォーマット検証
URLの正規化と検証
メール、電話、会社名にわたる重複検出
最低データ完全性しきい値 (60%以上のフィールド網羅率が必要)
事業形態の分類と正規化

エクスポートと整理

データは複数のフォーマット (CSV, フォーマット付きExcel, JSON) でエクスポートされ、以下によって整理されます。

カテゴリー — 製品カテゴリーごとの個別データセット
国 — サプライヤー国ごとの個別データセット
マスターリスト — カテゴリー横断的な重複排除を伴う結合データセット
サマリーレポート — 抽出率、カバレッジ、データ品質に関する統計

設定システム

すべての動作は、以下の項目を含むYAML設定によって制御されます。

サブカテゴリーと検索語を含むカテゴリー定義
ターゲット国と優先地域
レート制限 (1分、1時間、1日あたりのリクエスト数)
検出回避設定 (ローテーション間隔、Cookieクリアリング、行動フラグ)
抽出フィールド要件 (必須 vs. オプション)
エクスポート設定 (重複排除、検証、完全性しきい値)

主要機能

多層的な検出回避 — フィンガープリント回避、行動シミュレーション、セッション管理
VPNベースのIPローテーション — 12以上のグローバルロケーションでの自動ローテーションとヘルスチェック
80以上のデータフィールド — 検証済みの構造化データを備えた包括的なサプライヤープロファイル
人間行動シミュレーション — ベジェ曲線マウスパス、可変タイピング、現実的なスクロールパターン
CAPTCHA検出と回復 — 自動回復戦略を伴う複数タイプ検出
マルチフォーマットエクスポート — カテゴリー/国別整理されたCSV, Excel, JSON
データ検証 — 重複検出と完全性スコアリングを伴うPydantic強制スキーマ
設定可能なキャンペーン — YAML駆動のカテゴリー、国、レート制限設定
セッション管理 — 疲労シミュレーション、Cookieローテーション、休憩スケジューリング
本番用シェルスクリプト — 異なるスクレイピングプロファイル用の事前設定済みランナー

成果

規模: 19以上のカテゴリーと50以上の国にわたる50,000件以上のサプライヤーレコードを収集

データ品質: サプライヤー1件あたり80以上のフィールド、60%以上の完全性率

検出回避: 素朴なスクレイピングと比較して、CAPTCHA遭遇率を60〜80%削減

連絡先利用可能性: レコード全体で、メールアドレスの利用可能性70〜80%、電話番号の利用可能性80〜90%

技術スタック

PythonSeleniumUndetected ChromeDriverBeautifulSoupScrapyPlaywrightPydanticpandasVPN IntegrationPyYAMLLoguruYAML Configuration

caseStudyDetail.more ケーススタディ

その他の技術実装事例をご覧ください

Web Scraping

AIを活用したブログコンテンツのスクレイピング＆生成プラットフォーム

メディア企業は、既存のウェブコンテンツをスクレイピングし、AIを使用して分析し、抽出したデータからオリジナルのSEO最適化されたブログ記事を生成することで、ブログコンテンツ作成を自動化できるインテリジェントなコンテンツプラットフォームを必要としていました。

ケーススタディを読む

AI Accounting

AIを活用したOCRによる請求書処理とQuickBooks連携

毎月数百件の仕入先請求書を処理する中規模企業が、AI/OCRを使用して請求書データを自動抽出し、それを記帳と支払追跡のためにQuickBooksに直接同期させることで、手動データ入力を排除する必要がありました。

ケーススタディを読む

よくある質問

MicrocosmWorks implemented a multi-layered evasion system including residential proxy rotation across 50+ countries, browser fingerprint randomization using Playwright with stealth plugins, and human-like request pacing with randomized delays. The system maintains a detection rate below 2% across target sites by mimicking natural browsing patterns and rotating user agent strings.

MicrocosmWorks configured an intelligent proxy management layer that distributes requests across residential, datacenter, and mobile proxy pools based on each target site's detection sensitivity. The system tracks per-IP request counts and automatically retires IPs approaching rate limits, with a pool of over 10,000 rotating IPs ensuring continuous collection capacity.

MicrocosmWorks built a validation pipeline that verifies email deliverability, phone number format and carrier lookup, website availability, and address geocoding for every collected supplier record. Duplicate detection uses fuzzy matching on company name and address fields to prevent duplicate entries, and completeness scores flag records missing critical fields for re-scraping.

MicrocosmWorks implemented an automated structure monitoring system that compares page DOM structures against stored baselines on every crawl cycle. When structural changes are detected that break more than 10% of selectors, the system pauses collection for that source, alerts the operations team, and in many cases auto-repairs selectors using an LLM-based selector regeneration module.

MicrocosmWorks delivers web scraping platforms at rates of $20-$40/hr, with a full supplier data collection system including anti-detection measures, IP rotation, validation pipeline, and admin dashboard typically requiring 400-600 development hours. Ongoing proxy costs for large-scale operations typically run $500-$2,000/month depending on collection volume.

ビジネスの変革の準備はできていますか？

お客様の課題に類似のソリューションを適用する方法について話し合いましょう。

お問い合わせ caseStudyDetail.viewAllCaseStudies