Plataforma Automatizada de Recopilación de Datos de Proveedores B2B con Anti-Detección y Rotación de IP

Construimos una plataforma automatizada de recopilación de datos B2B con anti-detección multicapa, rotación de IP basada en VPN, simulación de comportamiento humano y exportación de datos estructurados — capaz de recopilar de manera fiable decenas de miles de registros de proveedores.

Arquitectura

• Motor de Scraping: Selenium con undetected ChromeDriver para la automatización del navegador con evasión
• Capa Anti-Detección: Aleatorización de huellas dactilares del navegador (browser fingerprint), simulación de comportamiento humano y detección de CAPTCHA
• Rotación de IP: Gestor de VPN con cambio programático de servidor en más de 12 ubicaciones globales
• Procesamiento de Datos: Modelos Pydantic para validación, pandas para transformación, exportación en múltiples formatos
• Configuración: Configuración basada en YAML para categorías, países, límites de velocidad (rate limits) y parámetros de anti-detección
• Registro y Monitoreo: Registro estructurado con seguimiento de tasas de éxito/fallo por sesión

Arquitectura Anti-Detección

Evasión de Huellas Dactilares del Navegador (Browser Fingerprint Evasion)

La plataforma genera huellas dactilares de navegador aleatorizadas para cada sesión, cubriendo:

• Resolución de pantalla, profundidad de color y relación de píxeles del dispositivo
• Propiedades del navegador (plataforma, idioma, concurrencia de hardware)
• Información del proveedor y renderizador de WebGL
• Inyección de ruido en la huella dactilar de Canvas y audio
• Listas realistas de plugins y fuentes que coinciden con la plataforma suplantada
• Coherencia de la zona horaria en todas las propiedades de la huella dactilar

Simulación de Comportamiento Humano

Para imitar patrones de navegación naturales, el sistema implementa:

• Movimiento del Ratón — Rutas basadas en curvas de Bézier con aceleración y desaceleración realistas
• Simulación de Escritura — Velocidades de escritura variables con errores realistas ocasionales
• Patrones de Desplazamiento — Múltiples modos de comportamiento (lectura cuidadosa, escaneo rápido, navegación distraída)
• Duda al Hacer Clic — Retrasos naturales antes de las interacciones
• Fatiga de Sesión — Cambios de comportamiento en sesiones largas para imitar la fatiga humana
• Simulación de Pausas — Pausas aleatorias para sesiones extendidas

Detección y Recuperación de CAPTCHA

• Detección multitipo (reCAPTCHA, hCaptcha, desafíos de Cloudflare, CAPTCHA de deslizador)
• Puntuación de confianza para cada detección
• Estrategias de recuperación que incluyen rotación de IP, reinicio de sesión y retrasos extendidos
• Recopilación de pruebas (capturas de pantalla y HTML) para depuración

Sistema de Rotación de IP

Gestión de VPN

• Gestión programática de la conexión VPN en más de 12 ubicaciones de servidores globales
• Verificación automática del estado de la conexión mediante comprobaciones de IP
• Inclusión en listas negras de servidores fallidos para evitar ubicaciones problemáticas
• Intervalos de rotación configurables (p. ej., cada N solicitudes)
• Conteo de solicitudes para disparadores de rotación automática
• Rotación sin interrupciones sin interrumpir las sesiones de scraping activas

Extracción y Procesamiento de Datos

Campos de Datos Extraídos (80+)

La plataforma extrae información completa de proveedores en varias categorías:

• Información Básica — Nombre de la empresa, ubicación (país, provincia, ciudad), categoría
• Detalles de Contacto — Correo electrónico (Email), teléfono, WhatsApp, sitio web, identificadores de mensajería
• Métricas de Negocio — Tipo de negocio, años en operación, ingresos anuales, número de empleados, tamaño de la fábrica, estado de verificación, tasa de respuesta
• Información del Producto — Productos principales, categorías, MOQ, rangos de precios, plazos de entrega, condiciones de pago, opciones de personalización
• Certificaciones — Certificaciones de la industria (ISO, calidad, sostenibilidad, seguridad)
• Información Comercial — Porcentaje de exportación, mercados objetivo, términos comerciales, capacidad de producción

Validación y Calidad de los Datos

• Los modelos Pydantic aplican tipos de campo, formatos y restricciones
• Validación del formato de correo electrónico y número de teléfono
• Normalización y verificación de URL
• Detección de duplicados en correo electrónico, teléfono y nombre de la empresa
• Umbral mínimo de completitud de datos (se requiere cobertura del 60%+ de campos)
• Clasificación y normalización del tipo de negocio

Exportación y Organización

Los datos se exportan en múltiples formatos (CSV, Excel con formato, JSON) y se organizan por:

• Categoría — Conjuntos de datos separados por categoría de producto
• País — Conjuntos de datos separados por país del proveedor
• Listas Maestras — Conjuntos de datos combinados con deduplicación entre categorías
• Informes Resumen — Estadísticas sobre tasas de extracción, cobertura y calidad de los datos

Sistema de Configuración

Todo el comportamiento se controla mediante la configuración YAML, que abarca:

• Definiciones de categorías con subcategorías y términos de búsqueda
• Países objetivo y regiones prioritarias
• Limitación de velocidad (rate limiting) (solicitudes por minuto, hora y día)
• Configuración de anti-detección (intervalos de rotación, limpieza de cookies, banderas de comportamiento)
• Requisitos de campos de extracción (obligatorios vs. opcionales)
• Configuración de exportación (deduplicación, validación, umbrales de completitud)

Características Clave

1. Anti-Detección Multicapa — Evasión de huellas dactilares, simulación de comportamiento y gestión de sesiones
2. Rotación de IP Basada en VPN — Más de 12 ubicaciones globales con rotación automática y comprobaciones de estado
3. Más de 80 Campos de Datos — Perfiles completos de proveedores con datos validados y estructurados
4. Simulación de Comportamiento Humano — Rutas de ratón Bézier, escritura variable, patrones de desplazamiento realistas
5. Detección y Recuperación de CAPTCHA — Detección multitipo con estrategias de recuperación automatizadas
6. Exportación Multiformato — CSV, Excel y JSON con organización por categoría/país
7. Validación de Datos — Esquemas aplicados por Pydantic con detección de duplicados y puntuación de completitud
8. Campañas Configurables — Configuración de categoría, país y límite de velocidad (rate limit) impulsada por YAML
9. Gestión de Sesiones — Simulación de fatiga, rotación de cookies y programación de pausas
10. Scripts de Shell de Producción — Ejecutores preconfigurados para diferentes perfiles de scraping