منصة آلية لجمع بيانات الموردين من B2B مع مكافحة الكشف وتدوير عناوين IP

لقد قمنا ببناء منصة آلية لجمع بيانات B2B مع طبقات متعددة لمكافحة الكشف، وتدوير عناوين IP المستند إلى VPN، ومحاكاة السلوك البشري، وتصدير البيانات المنظمة — قادرة على جمع عشرات الآلاف من سجلات الموردين بموثوقية.

الهندسة المعمارية

• محرك السحب (Scraping Engine): Selenium مع undetected ChromeDriver لأتمتة المتصفح مع التهرب.
• طبقة مكافحة الكشف (Anti-Detection Layer): عشوائية بصمات المتصفح، محاكاة السلوك البشري، واكتشاف CAPTCHA.
• تدوير IP (IP Rotation): مدير VPN مع تبديل خادم برمجي عبر أكثر من 12 موقعًا عالميًا.
• معالجة البيانات (Data Processing): نماذج Pydantic للتحقق، pandas للتحويل، تصدير متعدد التنسيقات.
• الإعدادات (Configuration): إعدادات قائمة على YAML للفئات والدول وحدود المعدل ومعلمات مكافحة الكشف.
• التسجيل والمراقبة (Logging & Monitoring): تسجيل منظم مع تتبع معدل النجاح/الفشل لكل جلسة.

هندسة مكافحة الكشف

التهرب من بصمة المتصفح

تنشئ المنصة بصمات متصفح عشوائية لكل جلسة تشمل:

• دقة الشاشة، عمق الألوان، ونسبة بكسل الجهاز.
• خصائص Navigator (النظام الأساسي، اللغة، التزامن العتادي).
• معلومات WebGL للمورد والمُقدم (renderer).
• حقن ضوضاء في بصمات Canvas والصوت.
• قوائم واقعية للمكونات الإضافية والخطوط تتطابق مع المنصة المزوّرة.
• اتساق المنطقة الزمنية عبر جميع خصائص بصمات الأصابع.

محاكاة السلوك البشري

لمحاكاة أنماط التصفح الطبيعية، ينفذ النظام:

• حركة الماوس (Mouse Movement) — مسارات قائمة على منحنيات Bézier مع تسارع وتباطؤ واقعيين.
• محاكاة الكتابة (Typing Simulation) — سرعات كتابة متغيرة مع أخطاء واقعية عرضية.
• أنماط التمرير (Scrolling Patterns) — أوضاع سلوكية متعددة (قراءة متأنية، مسح سريع، تصفح مشتت).
• تردد النقر (Click Hesitation) — تأخيرات طبيعية قبل التفاعلات.
• إجهاد الجلسة (Session Fatigue) — تغييرات في السلوك خلال الجلسات الطويلة لمحاكاة الإجهاد البشري.
• محاكاة فترات الراحة (Break Simulation) — توقفات عشوائية للجلسات الممتدة.

اكتشاف واستعادة CAPTCHA

• اكتشاف متعدد الأنواع (reCAPTCHA, hCaptcha, Cloudflare challenges, slider CAPTCHAs).
• تسجيل نقاط الثقة لكل اكتشاف.
• استراتيجيات الاستعادة بما في ذلك تدوير IP، إعادة ضبط الجلسة، وتأخيرات ممتدة.
• جمع الأدلة (لقطات شاشة و HTML) لأغراض تصحيح الأخطاء.

نظام تدوير عناوين IP

إدارة VPN

• إدارة اتصال VPN برمجياً عبر أكثر من 12 موقع خادم عالمي.
• التحقق التلقائي من صحة الاتصال عبر فحوصات IP.
• إدراج الخوادم الفاشلة في القائمة السوداء لتجنب المواقع التي بها مشكلات.
• فترات تدوير قابلة للتكوين (مثل، كل N طلب).
• عد الطلبات لتشغيل التدوير التلقائي.
• تدوير سلس دون مقاطعة جلسات السحب (scraping sessions) النشطة.

استخراج ومعالجة البيانات

حقول البيانات المستخرجة (80+)

تستخرج المنصة معلومات مورد شاملة عبر عدة فئات:

• المعلومات الأساسية (Basic Info) — اسم الشركة، الموقع (البلد، المحافظة، المدينة)، الفئة.
• تفاصيل الاتصال (Contact Details) — البريد الإلكتروني، الهاتف، WhatsApp، الموقع الإلكتروني، معرفات المراسلة.
• مقاييس الأعمال (Business Metrics) — نوع العمل، سنوات التشغيل، الإيرادات السنوية، عدد الموظفين، حجم المصنع، حالة التحقق، معدل الاستجابة.
• معلومات المنتج (Product Info) — المنتجات الرئيسية، الفئات، MOQ (الحد الأدنى للطلب)، نطاقات الأسعار، أوقات التسليم، شروط الدفع، خيارات التخصيص.
• الشهادات (Certifications) — شهادات الصناعة (ISO، الجودة، الاستدامة، السلامة).
• معلومات التجارة (Trade Info) — نسبة التصدير، الأسواق المستهدفة، شروط التجارة، القدرة الإنتاجية.

التحقق من البيانات والجودة

• تفرض نماذج Pydantic أنواع الحقول وتنسيقاتها وقيودها.
• التحقق من تنسيق البريد الإلكتروني ورقم الهاتف.
• توحيد URL والتحقق منه.
• اكتشاف التكرارات عبر البريد الإلكتروني والهاتف واسم الشركة.
• الحد الأدنى لاكتمال البيانات (مطلوب تغطية 60%+ من الحقول).
• تصنيف وتوحيد أنواع الأعمال.

التصدير والتنظيم

يتم تصدير البيانات بتنسيقات متعددة (CSV, Excel مع التنسيق, JSON) ويتم تنظيمها حسب:

• الفئة (Category) — مجموعات بيانات منفصلة لكل فئة منتج.
• البلد (Country) — مجموعات بيانات منفصلة لكل بلد مورد.
• القوائم الرئيسية (Master Lists) — مجموعات بيانات مدمجة مع إزالة التكرارات عبر الفئات.
• تقارير موجزة (Summary Reports) — إحصائيات حول معدلات الاستخراج، والتغطية، وجودة البيانات.

نظام الإعدادات

يتم التحكم في جميع السلوكيات عبر إعدادات YAML التي تغطي:

• تعريفات الفئات مع الفئات الفرعية ومصطلحات البحث.
• البلدان المستهدفة والمناطق ذات الأولوية.
• تحديد المعدل (الطلبات في الدقيقة، الساعة، واليوم).
• إعدادات مكافحة الكشف (فترات التدوير، مسح ملفات تعريف الارتباط، علامات السلوك).
• متطلبات حقول الاستخراج (مطلوب مقابل اختياري).
• إعدادات التصدير (إزالة التكرارات، التحقق، عتبات الاكتمال).

الميزات الرئيسية

1. مكافحة الكشف متعددة الطبقات (Multi-Layer Anti-Detection) — التهرب من بصمة الأصبع، محاكاة السلوك، وإدارة الجلسات.
2. تدوير IP القائم على VPN (VPN-Based IP Rotation) — أكثر من 12 موقعًا عالميًا مع تدوير تلقائي وفحوصات صحية.
3. أكثر من 80 حقلاً للبيانات (80+ Data Fields) — ملفات تعريف مورد شاملة مع بيانات منظمة ومتحقق منها.
4. محاكاة السلوك البشري (Human Behavior Simulation) — مسارات ماوس Bézier، كتابة متغيرة، أنماط تمرير واقعية.
5. اكتشاف واستعادة CAPTCHA (CAPTCHA Detection & Recovery) — اكتشاف متعدد الأنواع مع استراتيجيات استعادة آلية.
6. تصدير متعدد التنسيقات (Multi-Format Export) — CSV، Excel، و JSON مع تنظيم حسب الفئة/البلد.
7. التحقق من البيانات (Data Validation) — مخططات Pydantic enforced مع اكتشاف التكرارات وتسجيل نقاط الاكتمال.
8. حملات قابلة للتكوين (Configurable Campaigns) — إعدادات الفئة والبلد وحد المعدل المدفوعة بـ YAML.
9. إدارة الجلسات (Session Management) — محاكاة الإجهاد، تدوير ملفات تعريف الارتباط، وجدولة فترات الراحة.
10. برامج Shell النصية للإنتاج (Production Shell Scripts) — مشغلات معدة مسبقًا لملفات تعريف السحب (scraping profiles) المختلفة.