감지 방지 및 IP 로테이션 기능을 갖춘 자동화된 B2B 공급업체 데이터 수집 플랫폼

저희는 다층적인 감지 방지, VPN 기반 IP 로테이션, 인간 행동 시뮬레이션, 구조화된 데이터 내보내기 기능을 갖춘 자동화된 B2B 데이터 수집 플랫폼을 구축하여 수만 개의 공급업체 기록을 안정적으로 수집할 수 있었습니다.

아키텍처

• 스크래핑 엔진: 회피 기능을 갖춘 브라우저 자동화를 위해 undetected ChromeDriver와 함께 Selenium 사용
• 감지 방지 계층: 브라우저 핑거프린트 무작위화, 인간 행동 시뮬레이션 및 CAPTCHA 감지
• IP 로테이션: 12개 이상의 전 세계 위치에서 프로그래밍 방식 서버 전환을 지원하는 VPN 관리자
• 데이터 처리: 유효성 검사를 위한 Pydantic 모델, 변환을 위한 pandas, 다중 형식 내보내기
• 구성: 카테고리, 국가, 속도 제한 및 감지 방지 매개변수를 위한 YAML 기반 설정
• 로깅 및 모니터링: 세션별 성공/실패율 추적을 포함하는 구조화된 로깅

감지 방지 아키텍처

브라우저 핑거프린트 회피

플랫폼은 각 세션에 대해 다음을 포함하는 무작위 브라우저 핑거프린트를 생성합니다:

• 화면 해상도, 색상 깊이 및 장치 픽셀 비율
• 네비게이터 속성 (platform, language, hardware concurrency)
• WebGL 공급업체 및 렌더러 정보
• 캔버스 및 오디오 핑거프린트 노이즈 주입
• 스푸핑된 플랫폼과 일치하는 실제와 같은 플러그인 및 글꼴 목록
• 모든 핑거프린트 속성에서 시간대 일관성

인간 행동 시뮬레이션

자연스러운 브라우징 패턴을 모방하기 위해 시스템은 다음을 구현합니다:

• 마우스 움직임 — 현실적인 가속 및 감속을 포함하는 Bézier 곡선 기반 경로
• 타이핑 시뮬레이션 — 가변적인 타이핑 속도와 가끔 발생하는 실제와 같은 오류
• 스크롤 패턴 — 다양한 행동 모드 (주의 깊은 읽기, 빠른 스캔, 산만한 브라우징)
• 클릭 주저 — 상호 작용 전 자연스러운 지연
• 세션 피로 — 인간의 피로를 모방하기 위한 장기 세션 동안의 행동 변화
• 휴식 시뮬레이션 — 장기 세션을 위한 무작위 일시 중지

CAPTCHA 감지 및 복구

• 다중 유형 감지 (reCAPTCHA, hCaptcha, Cloudflare 챌린지, 슬라이더 CAPTCHA)
• 각 감지에 대한 신뢰도 점수
• IP 로테이션, 세션 재설정, 연장된 지연을 포함한 복구 전략
• 디버깅을 위한 증거 수집 (스크린샷 및 HTML)

IP 로테이션 시스템

VPN 관리

• 12개 이상의 전 세계 서버 위치에 걸친 프로그래밍 방식 VPN 연결 관리
• IP 확인을 통한 자동 연결 상태 확인
• 문제 있는 위치를 피하기 위한 실패 서버 블랙리스트화
• 구성 가능한 로테이션 간격 (예: N개 요청마다)
• 자동 로테이션 트리거를 위한 요청 카운팅
• 활성 스크래핑 세션을 중단하지 않는 원활한 로테이션

데이터 추출 및 처리

추출된 데이터 필드 (80개 이상)

플랫폼은 여러 카테고리에 걸쳐 포괄적인 공급업체 정보를 추출합니다:

• 기본 정보 — 회사명, 위치 (국가, 주, 도시), 카테고리
• 연락처 — 이메일, 전화, WhatsApp, 웹사이트, 메시징 핸들
• 비즈니스 지표 — 사업 유형, 운영 연수, 연간 수익, 직원 수, 공장 규모, 인증 상태, 응답률
• 제품 정보 — 주요 제품, 카테고리, MOQ, 가격 범위, 리드 타임, 지불 조건, 맞춤화 옵션
• 인증 — 산업 인증 (ISO, 품질, 지속 가능성, 안전)
• 거래 정보 — 수출 비율, 대상 시장, 거래 조건, 생산 능력

데이터 유효성 검사 및 품질

• Pydantic 모델은 필드 유형, 형식 및 제약 조건을 적용합니다.
• 이메일 및 전화번호 형식 유효성 검사
• URL 정규화 및 확인
• 이메일, 전화, 회사명 전반에 걸친 중복 감지
• 최소 데이터 완전성 임계값 (60% 이상의 필드 커버리지 필요)
• 사업 유형 분류 및 정규화

내보내기 및 구성

데이터는 여러 형식 (CSV, 서식 있는 Excel, JSON)으로 내보내지며 다음 기준에 따라 구성됩니다:

• 카테고리 — 제품 카테고리별 개별 데이터셋
• 국가 — 공급업체 국가별 개별 데이터셋
• 마스터 목록 — 교차 카테고리 중복 제거가 포함된 결합 데이터셋
• 요약 보고서 — 추출율, 커버리지 및 데이터 품질에 대한 통계

구성 시스템

모든 동작은 다음을 포함하는 YAML 구성을 통해 제어됩니다:

• 하위 카테고리 및 검색어를 포함한 카테고리 정의
• 대상 국가 및 우선 지역
• 속도 제한 (분, 시간, 일별 요청 수)
• 감지 방지 설정 (로테이션 간격, 쿠키 지우기, 행동 플래그)
• 추출 필드 요구 사항 (필수 vs. 선택)
• 내보내기 설정 (중복 제거, 유효성 검사, 완전성 임계값)

주요 특징

1. 다층 감지 방지 — 핑거프린트 회피, 행동 시뮬레이션 및 세션 관리
2. VPN 기반 IP 로테이션 — 자동 로테이션 및 상태 확인 기능을 갖춘 12개 이상의 전 세계 위치
3. 80개 이상의 데이터 필드 — 유효성 검사된 구조화된 데이터를 포함하는 포괄적인 공급업체 프로필
4. 인간 행동 시뮬레이션 — Bézier 마우스 경로, 가변 타이핑, 실제와 같은 스크롤 패턴
5. CAPTCHA 감지 및 복구 — 자동화된 복구 전략을 갖춘 다중 유형 감지
6. 다중 형식 내보내기 — 카테고리/국가별 구성이 가능한 CSV, Excel, JSON
7. 데이터 유효성 검사 — 중복 감지 및 완전성 점수 매기기를 포함하는 Pydantic 적용 스키마
8. 구성 가능한 캠페인 — YAML 기반의 카테고리, 국가 및 속도 제한 구성
9. 세션 관리 — 피로 시뮬레이션, 쿠키 로테이션 및 휴식 스케줄링
10. 운영 쉘 스크립트 — 다양한 스크래핑 프로필을 위한 사전 구성된 러너