Web Scraping公開日 June 18, 2026 · 更新日 May 25, 2026

アンチ検出およびIPローテーション機能を備えた自動化されたB2Bサプライヤーデータ収集プラットフォーム

あるソーシングチームは、B2Bマーケットプレイスプラットフォームから構造化されたビジネスデータを大規模に、信頼性高く、ブロックされることなく収集することにより、19以上の製品カテゴリと50以上の国々にわたる総合的なサプライヤーデータベースを構築する必要がありました。

プロジェクトを相談する

Web Scraping

Domain

Technologies

Key Results

Delivered

Status

課題

B2Bプラットフォームから大規模なサプライヤーデータベースを構築するにあたり、複数の技術的な障害がありました:

アンチボット検出 — ターゲットプラットフォームは、ブラウザフィンガープリンティング、行動分析、CAPTCHAチャレンジ、レート制限を含む高度なボット検出機能を採用していました
フォーマットの不整合 — サプライヤープロファイルのレイアウトはカテゴリや地域によって大きく異なり、厳格なスクレイピングテンプレートでは対応できませんでした
IPブロッキング — 単一IPからの大量のリクエストは数分以内に永久的なブロックを引き起こしました
データ量 — 数十のカテゴリにわたり50,000以上のサプライヤープロファイルが必要で、1レコードあたり80以上のフィールドがありました
データ品質 — 抽出されたデータには重複、不完全なレコード、不整合なフォーマットが含まれており、検証が必要でした
セッション管理 — プラットフォームが自動化されたパターンを検出すると、長時間のスクレイピングセッションは時間とともに劣化しました

私たちのソリューション

当社は、多層的なアンチ検出、VPNベースのIPローテーション、人間行動シミュレーション、および構造化データのエクスポート機能を備えた自動化されたB2Bデータ収集プラットフォームを構築し、数万件のサプライヤーレコードを確実に収集できるようにしました。

アーキテクチャ

スクレイピングエンジン: 回避機能付きブラウザ自動化のためのundetected ChromeDriverを使用する Selenium
アンチ検出レイヤー: ブラウザフィンガープリントのランダム化、人間行動シミュレーション、CAPTCHA検出
IPローテーション: 12以上のグローバルロケーション間でプログラムによるサーバー切り替えを行う VPNマネージャー
データ処理: 検証用の Pydantic モデル、変換用の pandas、複数フォーマットのエクスポート
設定: カテゴリ、国、レート制限、およびアンチ検出パラメータ用の YAML ベース設定
ロギングと監視: セッションごとの成功/失敗率追跡を含む構造化ロギング

アンチ検出アーキテクチャ

ブラウザフィンガープリント回避

このプラットフォームは、各セッションについて、以下の項目をカバーするランダム化されたブラウザフィンガープリントを生成します:

画面解像度、色深度、デバイスピクセル比
Navigatorプロパティ (platform, language, hardware concurrency)
WebGLベンダーおよびレンダラー情報
Canvasおよびオーディオフィンガープリントノイズ注入
スプーフィングされたプラットフォームと一致する現実的なプラグインおよびフォントリスト
すべてのフィンガープリントプロパティにわたるタイムゾーンの一貫性

人間行動シミュレーション

自然なブラウジングパターンを模倣するために、システムは以下を実装します:

マウスの動き — 現実的な加速と減速を伴うベジェ曲線ベースのパス
タイピングシミュレーション — 時折現実的なエラーを伴う可変タイピング速度
スクロールパターン — 複数の行動モード (慎重な読解、素早いスキャン、注意散漫なブラウジング)
クリックの躊躇 — 操作前の自然な遅延
セッション疲労 — 人間の疲労を模倣するために、長時間のセッションで行動が変化
休憩シミュレーション — 長時間のセッションでのランダムな一時停止

CAPTCHA検出と復旧

多種検出 (reCAPTCHA, hCaptcha, Cloudflareチャレンジ, スライダー CAPTCHA)
各検出における信頼度スコアリング
IPローテーション、セッションリセット、および延長された遅延を含む復旧戦略
デバッグのための証拠収集 (スクリーンショットと HTML)

IPローテーションシステム

VPN管理

12以上のグローバルサーバーロケーションにわたるプログラムによる VPN接続管理
IPチェックによる自動接続ヘルス検証
問題のあるロケーションを避けるための失敗サーバーのブラックリスト化
設定可能なローテーション間隔 (例: Nリクエストごと)
自動ローテーショントリガーのためのリクエストカウント
アクティブなスクレイピングセッションを中断しないシームレスなローテーション

データ抽出と処理

抽出されるデータフィールド (80以上)

このプラットフォームは、いくつかのカテゴリにわたる包括的なサプライヤー情報を抽出します:

基本情報 — 会社名、所在地 (国、県/州、市)、カテゴリ
連絡先詳細 — Email、電話、WhatsApp、ウェブサイト、メッセージングハンドル
ビジネス指標 — 事業タイプ、事業年数、年間収益、従業員数、工場規模、検証ステータス、応答率
製品情報 — 主要製品、カテゴリ、MOQ、価格帯、リードタイム、支払い条件、カスタマイズオプション
認証 — 業界認証 (ISO、品質、持続可能性、安全性)
貿易情報 — 輸出割合、ターゲット市場、貿易条件、生産能力

データ検証と品質

Pydantic モデルがフィールドタイプ、フォーマット、および制約を強制します
Emailおよび電話番号のフォーマット検証
URLの正規化と検証
Email、電話、会社名における重複検出
最小データ完全性しきい値 (60%以上のフィールドカバー率が必要)
事業タイプ分類と正規化

エクスポートと整理

データは複数のフォーマット (CSV, フォーマット付き Excel, JSON) でエクスポートされ、以下の方法で整理されます:

カテゴリ — 製品カテゴリごとの個別のデータセット
国 — サプライヤー国ごとの個別のデータセット
マスターリスト — カテゴリ横断的な重複排除を伴う結合データセット
概要レポート — 抽出率、カバー率、データ品質に関する統計

設定システム

すべての動作は、以下の項目をカバーする YAML 設定によって制御されます:

サブカテゴリと検索語を含むカテゴリ定義
ターゲット国と優先地域
レート制限 (1分、1時間、1日あたりのリクエスト数)
アンチ検出設定 (ローテーション間隔、Cookieクリア、行動フラグ)
抽出フィールド要件 (必須 vs. オプション)
エクスポート設定 (重複排除、検証、完全性しきい値)

主要機能

多層アンチ検出 — フィンガープリント回避、行動シミュレーション、セッション管理
VPNベースのIPローテーション — 12以上のグローバルロケーションでの自動ローテーションとヘルスチェック
80以上のデータフィールド — 検証済みの構造化データを含む包括的なサプライヤープロファイル
人間行動シミュレーション — ベジェマウスパス、可変タイピング、現実的なスクロールパターン
CAPTCHA検出と復旧 — 自動化された復旧戦略を伴う多種検出
複数フォーマットエクスポート — カテゴリ/国別に整理された CSV, Excel, および JSON
データ検証 — 重複検出と完全性スコアリングを伴う Pydantic 強制スキーマ
設定可能なキャンペーン — YAML駆動のカテゴリ、国、レート制限設定
セッション管理 — 疲労シミュレーション、Cookieローテーション、休憩スケジューリング
本番用シェルスクリプト — 異なるスクレイピングプロファイル用の事前設定済みランナー

成果

規模: 19以上のカテゴリと50以上の国々において50,000件以上のサプライヤーレコードを収集

データ品質: サプライヤーごとに80以上のフィールド、完全性率60%以上

検出回避: ナイーブなスクレイピングと比較して、CAPTCHA遭遇率を60〜80%削減

連絡先情報利用可能性: レコード全体で Email利用可能性70〜80%、電話利用可能性80〜90%

技術スタック

PythonSeleniumUndetected ChromeDriverBeautifulSoupScrapyPlaywrightPydanticpandasVPN IntegrationPyYAMLLoguruYAML Configuration

caseStudyDetail.more ケーススタディ

その他の技術実装事例をご覧ください

Web Scraping

AIを活用したブログコンテンツのスクレイピング＆生成プラットフォーム

メディア企業は、既存のウェブコンテンツをスクレイピングし、AIを使用して分析し、抽出したデータからオリジナルのSEO最適化されたブログ記事を生成することで、ブログコンテンツ作成を自動化できるインテリジェントなコンテンツプラットフォームを必要としていました。

ケーススタディを読む

AI Accounting

AIを活用したOCRによる請求書処理とQuickBooks連携

毎月数百件の仕入先請求書を処理する中規模企業が、AI/OCRを使用して請求書データを自動抽出し、それを記帳と支払追跡のためにQuickBooksに直接同期させることで、手動データ入力を排除する必要がありました。

ケーススタディを読む

よくある質問

MicrocosmWorksは、50カ国以上でのレジデンシャルプロキシローテーション、Playwrightとステルスプラグインを使用したブラウザフィンガープリントのランダム化、およびランダムな遅延を伴う人間のようなリクエストペース調整を含む多層的な回避システムを実装しました。このシステムは、自然なブラウジングパターンを模倣し、ユーザーエージェント文字列をローテーションすることで、ターゲットサイト全体で検知率を2%未満に維持します。

MicrocosmWorksは、各ターゲットサイトの検知感度に基づいて、レジデンシャル、データセンター、モバイルのプロキシプールにリクエストを分散するインテリジェントなプロキシ管理レイヤーを構成しました。システムはIPごとのリクエスト数を追跡し、レート制限に近づいているIPを自動的に停止させ、10,000を超えるローテーションIPのプールにより、継続的な収集能力を確保しています。

MicrocosmWorksは、収集されたすべてのサプライヤーレコードについて、メール到達性、電話番号の形式とキャリア検索、ウェブサイトの利用可能性、住所のジオコーディングを検証する検証パイプラインを構築しました。重複検知は、会社名と住所フィールドに対するファジーマッチングを使用して重複エントリを防ぎ、完全性スコアは、重要なフィールドが欠落しているレコードを再スクレイピングの対象としてフラグ付けします。

MicrocosmWorksは、各クロールサイクルでページDOM構造を保存されたベースラインと比較する自動構造監視システムを実装しました。セレクターの10%以上を破損させる構造変更が検知された場合、システムはそのソースの収集を一時停止し、運用チームに警告を発し、多くの場合、LLMベースのセレクター再生成モジュールを使用してセレクターを自動修復します。

MicrocosmWorksは、ウェブスクレイピングプラットフォームを$20～$40/時のレートで提供しており、アンチ検知対策、IPローテーション、検証パイプライン、および管理ダッシュボードを含む完全なサプライヤーデータ収集システムは、通常400〜600の開発時間を必要とします。大規模運用における継続的なプロキシ費用は、収集量に応じて通常月額$500～$2,000です。

ビジネスの変革の準備はできていますか？

お客様の課題に類似のソリューションを適用する方法について話し合いましょう。

お問い合わせ caseStudyDetail.viewAllCaseStudies