Web Scraping게시일 June 18, 2026 · 수정일 May 25, 2026

안티-탐지 및 IP 로테이션 기능을 갖춘 자동화된 B2B 공급업체 데이터 수집 플랫폼

한 소싱 팀은 19개 이상의 제품 카테고리와 50개 이상의 국가에 걸쳐 B2B 마켓플레이스 플랫폼에서 구조화된 비즈니스 데이터를 대규모로, 신뢰할 수 있게, 그리고 차단되지 않고 수집하여 포괄적인 공급업체 데이터베이스를 구축해야 했습니다.

프로젝트 상담하기

Web Scraping

Domain

Technologies

Key Results

Delivered

Status

과제

B2B 플랫폼에서 대규모 공급업체 데이터베이스를 구축하는 것은 여러 기술적 장애물을 제시했습니다:

봇 탐지 회피 — 대상 플랫폼은 브라우저 핑거프린팅, 행동 분석, CAPTCHA 챌린지 및 속도 제한을 포함한 정교한 봇 탐지 기능을 사용했습니다.
형식 불일치 — 공급업체 프로필 레이아웃은 카테고리 및 지역에 따라 크게 달라져, 고정된 스크래핑 템플릿을 무효화했습니다.
IP 차단 — 단일 IP에서 발생하는 대량 요청은 몇 분 내에 영구적인 차단을 유발했습니다.
데이터 볼륨 — 수십 개의 카테고리에 걸쳐 레코드당 80개 이상의 필드를 포함하는 50,000개 이상의 공급업체 프로필이 필요했습니다.
데이터 품질 — 추출된 데이터에는 중복, 불완전한 레코드 및 일관되지 않은 형식이 포함되어 유효성 검사가 필요했습니다.
세션 관리 — 장시간 실행되는 스크래핑 세션은 플랫폼이 자동화된 패턴을 감지함에 따라 시간이 지남에 따라 성능이 저하되었습니다.

우리의 솔루션

우리는 다층적인 안티-탐지, VPN 기반 IP 로테이션, 인간 행동 시뮬레이션, 그리고 구조화된 데이터 내보내기 기능을 갖춘 자동화된 B2B 데이터 수집 플랫폼을 구축하여 수만 개의 공급업체 기록을 안정적으로 수집할 수 있게 했습니다.

아키텍처

스크래핑 엔진: 회피 기능을 갖춘 브라우저 자동화를 위한 undetected ChromeDriver가 포함된 Selenium
안티-탐지 계층: 브라우저 핑거프린트 무작위화, 인간 행동 시뮬레이션 및 CAPTCHA 감지
IP 로테이션: 12개 이상의 전 세계 위치에서 프로그래밍 방식 서버 전환 기능을 갖춘 VPN 관리자
데이터 처리: 유효성 검사를 위한 Pydantic 모델, 변환을 위한 pandas, 다중 형식 내보내기
설정: 카테고리, 국가, 속도 제한 및 안티-탐지 매개변수를 위한 YAML 기반 설정
로깅 및 모니터링: 세션당 성공/실패율 추적 기능이 있는 구조화된 로깅

안티-탐지 아키텍처

브라우저 핑거프린트 회피

이 플랫폼은 각 세션에 대해 무작위 브라우저 핑거프린트를 생성하며 다음을 포함합니다:

화면 해상도, 색상 깊이 및 장치 픽셀 비율
Navigator 속성 (플랫폼, 언어, 하드웨어 동시성)
WebGL 공급업체 및 렌더러 정보
Canvas 및 오디오 핑거프린트 노이즈 삽입
스푸핑된 플랫폼과 일치하는 실제 플러그인 및 글꼴 목록
모든 핑거프린트 속성 전반의 시간대 일관성

인간 행동 시뮬레이션

자연스러운 브라우징 패턴을 모방하기 위해 시스템은 다음을 구현합니다:

마우스 움직임 — 실제적인 가속 및 감속을 포함하는 Bézier 곡선 기반 경로
타이핑 시뮬레이션 — 가변적인 타이핑 속도와 가끔 발생하는 실제 오류
스크롤 패턴 — 여러 행동 모드 (주의 깊은 읽기, 빠른 스캔, 산만한 브라우징)
클릭 주저 — 상호 작용 전의 자연스러운 지연
세션 피로 — 인간의 피로를 모방하기 위한 장시간 세션 동안의 행동 변화
휴식 시뮬레이션 — 확장된 세션을 위한 무작위 일시 중지

CAPTCHA 감지 및 복구

다중 유형 감지 (reCAPTCHA, hCaptcha, Cloudflare 챌린지, 슬라이더 CAPTCHA)
각 감지에 대한 신뢰도 점수 부여
IP 로테이션, 세션 재설정 및 확장된 지연을 포함한 복구 전략
디버깅을 위한 증거 수집 (스크린샷 및 HTML)

IP 로테이션 시스템

VPN 관리

12개 이상의 전 세계 서버 위치에 걸친 프로그래밍 방식 VPN 연결 관리
IP 검사를 통한 자동 연결 상태 확인
문제성 위치를 피하기 위한 실패한 서버 블랙리스트 처리
구성 가능한 로테이션 간격 (예: N개 요청마다)
자동 로테이션 트리거를 위한 요청 카운팅
활성 스크래핑 세션을 중단하지 않는 원활한 로테이션

데이터 추출 및 처리

추출된 데이터 필드 (80개 이상)

이 플랫폼은 여러 카테고리에 걸쳐 포괄적인 공급업체 정보를 추출합니다:

기본 정보 — 회사명, 위치 (국가, 주/도, 도시), 카테고리
연락처 — Email, 전화, WhatsApp, 웹사이트, 메시징 핸들
비즈니스 지표 — 사업 유형, 운영 연수, 연간 수익, 직원 수, 공장 규모, 검증 상태, 응답률
제품 정보 — 주요 제품, 카테고리, MOQ, 가격 범위, 리드 타임, 결제 조건, 맞춤화 옵션
인증 — 산업 인증 (ISO, 품질, 지속 가능성, 안전)
무역 정보 — 수출 비율, 목표 시장, 무역 조건, 생산 능력

데이터 유효성 검사 및 품질

Pydantic 모델은 필드 유형, 형식 및 제약 조건을 적용합니다.
Email 및 전화번호 형식 유효성 검사
URL 정규화 및 검증
Email, 전화, 회사명 전반의 중복 감지
최소 데이터 완전성 임계값 (60% 이상의 필드 적용 범위 필요)
사업 유형 분류 및 정규화

내보내기 및 구성

데이터는 여러 형식 (CSV, 서식이 적용된 Excel, JSON)으로 내보내지며 다음 기준으로 구성됩니다:

카테고리 — 제품 카테고리별 개별 데이터셋
국가 — 공급업체 국가별 개별 데이터셋
마스터 목록 — 교차 카테고리 중복 제거가 포함된 통합 데이터셋
요약 보고서 — 추출율, 적용 범위 및 데이터 품질에 대한 통계

설정 시스템

모든 동작은 다음을 포함하는 YAML 설정을 통해 제어됩니다:

하위 카테고리 및 검색어 포함 카테고리 정의
대상 국가 및 우선 지역
속도 제한 (분, 시간, 일별 요청 수)
안티-탐지 설정 (로테이션 간격, 쿠키 삭제, 행동 플래그)
추출 필드 요구 사항 (필수 vs. 선택 사항)
내보내기 설정 (중복 제거, 유효성 검사, 완전성 임계값)

주요 기능

다층적 안티-탐지 — 핑거프린트 회피, 행동 시뮬레이션 및 세션 관리
VPN 기반 IP 로테이션 — 자동 로테이션 및 상태 확인 기능을 갖춘 12개 이상의 전 세계 위치
80개 이상의 데이터 필드 — 유효성 검사된 구조화된 데이터를 포함하는 포괄적인 공급업체 프로필
인간 행동 시뮬레이션 — Bézier 마우스 경로, 가변 타이핑, 실제적인 스크롤 패턴
CAPTCHA 감지 및 복구 — 자동 복구 전략을 갖춘 다중 유형 감지
다중 형식 내보내기 — 카테고리/국가별 구성이 포함된 CSV, Excel, JSON
데이터 유효성 검사 — Pydantic이 적용된 스키마, 중복 감지 및 완전성 점수화
구성 가능한 캠페인 — YAML 기반 카테고리, 국가 및 속도 제한 설정
세션 관리 — 피로 시뮬레이션, 쿠키 로테이션 및 휴식 스케줄링
프로덕션 셸 스크립트 — 다양한 스크래핑 프로필을 위한 사전 구성된 실행기

결과

규모: 19개 이상의 카테고리와 50개 이상의 국가에 걸쳐 50,000개 이상의 공급업체 기록 수집

데이터 품질: 공급업체당 80개 이상의 필드, 60% 이상의 완전성률

탐지 회피: 단순 스크래핑 대비 CAPTCHA 발생 60-80% 감소

연락률: 기록 전체에서 70-80% Email 가용성, 80-90% 전화 가용성

기술 스택

PythonSeleniumUndetected ChromeDriverBeautifulSoupScrapyPlaywrightPydanticpandasVPN IntegrationPyYAMLLoguruYAML Configuration

caseStudyDetail.more 사례 연구

더 많은 기술 구현 사례를 살펴보세요

Web Scraping

AI 기반 블로그 콘텐츠 스크래핑 및 생성 플랫폼

한 미디어 회사는 기존 웹 콘텐츠를 스크래핑하고 AI를 사용하여 분석하며, 추출된 데이터로부터 독창적이고 SEO에 최적화된 블로그 게시물을 생성하여 블로그 콘텐츠 제작을 자동화할 수 있는 지능형 콘텐츠 플랫폼을 필요로 했습니다.

사례 연구 읽기

AI Accounting

OCR 및 QuickBooks 연동을 통한 AI 기반 송장 처리

매월 수백 건의 공급업체 송장을 처리하는 중견 기업은 AI/OCR을 사용하여 송장 데이터를 자동으로 추출하고 이를 QuickBooks에 직접 동기화하여 장부 정리 및 지급 추적을 함으로써 수동 데이터 입력을 없애야 했습니다.

사례 연구 읽기

자주 묻는 질문

MicrocosmWorks는 50개국 이상의 주거용 프록시 로테이션, Playwright와 스텔스 플러그인을 사용한 브라우저 지문 무작위화, 그리고 무작위 지연을 통한 인간과 유사한 요청 페이싱을 포함하는 다층 회피 시스템을 구현했습니다. 이 시스템은 자연스러운 브라우징 패턴을 모방하고 사용자 에이전트 문자열을 교체함으로써 대상 사이트에서 2% 미만의 탐지율을 유지합니다.

MicrocosmWorks는 각 대상 사이트의 탐지 민감도에 따라 주거용, 데이터센터, 모바일 프록시 풀에 요청을 분배하는 지능형 프록시 관리 계층을 구성했습니다. 이 시스템은 IP별 요청 수를 추적하고 속도 제한에 가까워지는 IP를 자동으로 중단하며, 10,000개 이상의 회전하는 IP 풀을 통해 지속적인 수집 용량을 보장합니다.

MicrocosmWorks는 수집된 모든 공급업체 기록에 대해 이메일 전달 가능성, 전화번호 형식 및 통신사 조회, 웹사이트 가용성, 주소 지오코딩을 확인하는 유효성 검사 파이프라인을 구축했습니다. 중복 감지는 회사 이름 및 주소 필드에 대한 퍼지 매칭을 사용하여 중복 항목을 방지하며, 완전성 점수는 중요한 필드가 누락된 기록에 플래그를 지정하여 재스크래핑을 위한 표시를 합니다.

MicrocosmWorks는 모든 크롤링 주기마다 페이지 DOM 구조를 저장된 기준선과 비교하는 자동화된 구조 모니터링 시스템을 구현했습니다. 10% 이상의 셀렉터를 손상시키는 구조적 변경이 감지되면, 시스템은 해당 소스에 대한 수집을 일시 중지하고, 운영팀에 경고하며, 많은 경우 LLM 기반 셀렉터 재생성 모듈을 사용하여 셀렉터를 자동 복구합니다.

MicrocosmWorks는 시간당 $20~$40의 요율로 웹 스크래핑 플랫폼을 제공하며, 안티 감지 조치, IP 로테이션, 유효성 검사 파이프라인, 관리자 대시보드를 포함한 완전한 공급업체 데이터 수집 시스템은 일반적으로 400~600 개발 시간이 소요됩니다. 대규모 운영을 위한 지속적인 프록시 비용은 수집량에 따라 일반적으로 월 $500~$2,000 정도입니다.

비즈니스 혁신을 시작할 준비가 되셨나요?

귀하의 과제에 유사한 솔루션을 적용하는 방법에 대해 논의해 보겠습니다.

문의하기 caseStudyDetail.viewAllCaseStudies