挑战
从 B2B 平台构建大规模供应商数据库面临多重技术障碍：
- 反爬虫检测 — 目标平台采用复杂的机器人检测机制，包括浏览器指纹识别 (browser fingerprinting)、行为分析 (behavioral analysis)、CAPTCHA 挑战 (CAPTCHA challenges) 和频率限制 (rate limiting)
- 格式不一致 — 供应商资料布局在不同类别和地区之间差异显著，导致固定的抓取模板失效
- IP 封锁 — 来自单一 IP 的高量请求会在几分钟内触发永久封禁
- 数据量 — 需要跨越数十个类别收集 50,000 多个供应商资料，每条记录包含 80 多个字段
- 数据质量 — 提取的数据包含重复、不完整记录和不一致的格式，需要进行验证
- 会话管理 — 长期运行的抓取会话会随着时间推移而退化，因为平台会检测到自动化模式
我们的解决方案
我们构建了一个自动化 B2B 数据采集平台，具备多层反检测、基于 VPN 的 IP 轮换、人类行为模拟和结构化数据导出功能——能够可靠地收集数万条供应商记录。
架构
- 抓取引擎: 使用 Selenium 和 undetected ChromeDriver 进行浏览器自动化，实现规避检测
- 反检测层: 浏览器指纹随机化、人类行为模拟和 CAPTCHA 检测
- IP 轮换: VPN 管理器，可在 12 多个全球位置之间进行程序化服务器切换
- 数据处理: 使用 Pydantic 模型进行验证，使用 pandas 进行转换，并支持多格式导出
- 配置: 基于 YAML 的配置，用于类别、国家、频率限制和反检测参数
- 日志与监控: 结构化日志记录，并追踪每个会话的成功/失败率
反检测架构
浏览器指纹规避
该平台为每个会话生成随机化的浏览器指纹，涵盖：
- 屏幕分辨率、颜色深度和设备像素比
- Navigator 属性 (platform, language, hardware concurrency)
- WebGL 供应商和渲染器信息
- Canvas 和音频指纹噪声注入
- 与伪装平台匹配的真实插件和字体列表
- 所有指纹属性的时间区域一致性
人类行为模拟
为模仿自然的浏览模式，系统实现了：
- 鼠标移动 — 基于 Bézier 曲线的路径，具有真实的加速和减速
- 打字模拟 — 可变的打字速度，偶尔会出现真实的错误
- 滚动模式 — 多种行为模式（仔细阅读、快速浏览、分心浏览）
- 点击犹豫 — 交互前的自然延迟
- 会话疲劳 — 长期会话中行为变化，模仿人类疲劳
- 休息模拟 — 延长会话中的随机暂停
CAPTCHA 检测与恢复
- 多类型检测 (reCAPTCHA, hCaptcha, Cloudflare challenges, slider CAPTCHAs)
- 为每次检测提供置信度评分
- 恢复策略，包括 IP 轮换、会话重置和延长延迟
- 用于调试的证据收集（屏幕截图和 HTML）
IP 轮换系统
VPN 管理
- 跨 12 多个全球服务器位置的程序化 VPN 连接管理
- 通过 IP 检查进行自动连接健康验证
- 将故障服务器列入黑名单，以避免问题区域
- 可配置的轮换间隔（例如，每 N 个请求）
- 请求计数，用于自动轮换触发
- 无缝轮换，不中断活动的抓取会话
数据提取与处理
提取数据字段 (80+)
该平台从多个类别中提取全面的供应商信息：
- 基本信息 — 公司名称、位置（国家、省份、城市）、类别
- 联系方式 — 电子邮件、电话、WhatsApp、网站、消息句柄
- 业务指标 — 业务类型、运营年限、年收入、员工人数、工厂规模、验证状态、响应率
- 产品信息 — 主要产品、类别、最小起订量 (MOQ)、价格范围、交货时间、付款条件、定制选项
- 认证 — 行业认证 (ISO, quality, sustainability, safety)
- 贸易信息 — 出口百分比、目标市场、贸易条款、生产能力
数据验证与质量
- Pydantic 模型强制执行字段类型、格式和约束
- 电子邮件和电话号码格式验证
- URL 规范化和验证
- 跨电子邮件、电话和公司名称的重复检测
- 最小数据完整性阈值（要求 60% 以上字段覆盖率）
- 业务类型分类和规范化
导出与组织
数据以多种格式（CSV、带格式的 Excel、JSON）导出，并按以下方式组织：
- 类别 — 每个产品类别独立数据集
- 国家 — 每个供应商国家独立数据集
- 主列表 — 包含跨类别去重功能的组合数据集
- 摘要报告 — 提取率、覆盖率和数据质量统计信息
配置系统
所有行为均通过 YAML 配置控制，涵盖：
- 带有子类别和搜索词的类别定义
- 目标国家和优先地区
- 频率限制（每分钟、每小时和每天的请求数）
- 反检测设置（轮换间隔、Cookie 清除、行为标志）
- 提取字段要求（必需与可选）
- 导出设置（去重、验证、完整性阈值）
主要特点
- 多层反检测 — 指纹规避、行为模拟和会话管理
- 基于 VPN 的 IP 轮换 — 12 多个全球位置，具备自动轮换和健康检查功能
- 80 多个数据字段 — 包含经过验证的结构化数据的全面供应商资料
- 人类行为模拟 — Bézier 鼠标路径、可变打字速度、逼真的滚动模式
- CAPTCHA 检测与恢复 — 多类型检测与自动化恢复策略
- 多格式导出 — CSV、Excel 和 JSON，按类别/国家组织
- 数据验证 — Pydantic 强制执行的模式，具备重复检测和完整性评分
- 可配置的营销活动 — YAML 驱动的类别、国家和频率限制配置
- 会话管理 — 疲劳模拟、Cookie 轮换和休息时间安排
- 生产 Shell 脚本 — 针对不同抓取配置的预配置运行器
成果
技术栈
常见问题
MicrocosmWorks 实施了一个多层规避系统，包括覆盖 50 多个国家的住宅代理轮换、使用 Playwright 带有隐身插件的浏览器指纹随机化，以及带有随机延迟的类人请求节奏。该系统通过模拟自然浏览模式和轮换 user agent 字符串，在目标网站上保持低于 2% 的检测率。
MicrocosmWorks 配置了一个智能代理管理层，根据每个目标网站的检测敏感度，在住宅、数据中心和移动代理池之间分配请求。系统跟踪每个 IP 的请求计数，并自动停用接近速率限制的 IP，拥有超过 10,000 个轮换 IP 的池确保了持续的采集能力。
MicrocosmWorks 构建了一个验证管道，用于验证每个收集到的供应商记录的电子邮件可送达性、电话号码格式和运营商查询、网站可用性以及地址地理编码。重复项检测使用公司名称和地址字段上的模糊匹配来防止重复条目，并且完整性评分会标记缺少关键字段的记录以进行重新抓取。
MicrocosmWorks 实施了一个自动化结构监控系统，该系统在每个抓取周期都会将页面 DOM 结构与存储的基线进行对比。当检测到导致超过 10% 的选择器失效的结构变化时，系统会暂停该来源的数据采集，提醒运营团队，并且在许多情况下会使用基于 LLM 的选择器再生模块自动修复选择器。
MicrocosmWorks 提供 web scraping 平台，费率为每小时 $20-$40。一个完整的供应商数据收集系统，包括反检测措施、IP rotation、验证管道和 admin dashboard，通常需要 400-600 个开发小时。大规模操作的持续 proxy 成本通常每月 $500-$2,000，具体取决于收集量。