تنظيم تجمعات GPU لأعباء العمل في الذكاء الاصطناعي

تطبق MicrocosmWorks جدولة GPU مدركة لأعباء العمل تستخدم تجزئة MIG (Multi-Instance GPU) على وحدات معالجة الرسوميات A100/H100 لعزل أعباء عمل الاستدلال في شرائح GPU أصغر، مع تخصيص وحدات GPU كاملة أو تخصيصات متعددة لوحدات GPU لمهام التدريب، مما يمنع تجزئة الذاكرة الناتجة عن تداخل أعباء العمل المختلطة. يفهم المنسق ملفات تعريف الذاكرة لأنواع أعباء العمل المختلفة ويقوم بجدولتها لزيادة استخدام GPU إلى أقصى حد دون التسبب في أخطاء نفاد الذاكرة الناتجة عن التخصيصات المجزأة. بالنسبة للعناقيد التي تشغل كلاً من الاستدلال والتدريب، يحقق هذا النهج عادةً استخدام GPU بنسبة 70-85% مقارنةً بنسبة 30-40% الشائعة في العناقيد المختلطة المجدولة بشكل ساذج.

عادةً ما تقوم MicrocosmWorks بنشر تنسيق وحدات معالجة الرسوميات (GPU orchestration) باستخدام Kubernetes مع NVIDIA GPU Operator ومكونات جدولة مخصصة (custom scheduling plugins)، المعززة بإطارات عمل مثل Run:ai أو Volcano لجدولة المجموعات (gang scheduling)، وقوائم الانتظار المتساوية (fair-share queuing)، وتخصيص وحدات الـ GPU الجزئية (fractional GPU allocation) التي لا يدعمها vanilla Kubernetes بشكل أصلي. يتعامل Kubernetes القياسي مع وحدات الـ GPU كموارد عددية معتمة (opaque integer resources)، بينما يفهم مكدسنا المحسّن بنية الـ GPU (GPU topology) (وصلات NVLink البينية، PCIe مقابل NVSwitch)، وسعة الذاكرة، وقدرة الحوسبة لاتخاذ قرارات التوزيع التي تؤثر بشكل كبير على أداء التدريب. بالنسبة للمجموعات الكبيرة (أكثر من 50 وحدة GPU)، يمكن لذكاء الجدولة وحده أن يحسن الإنتاجية الفعالة (effective throughput) بنسبة 20-40% مقارنة بجدولة وحدات الـ GPU الافتراضية في Kubernetes.

تطبق MicrocosmWorks استراتيجيات شراء GPU متعددة المستويات تجمع بين وحدات GPU السحابية حسب الطلب لسعة الدفعات، والمثيلات المحجوزة لأعباء العمل الأساسية المستقرة، ومثيلات Spot/preemptible لمهام التدريب المتسامحة مع الأخطاء والمزودة بـ checkpointing — مما يحقق خفضًا في التكلفة بنسبة 40-60% مقارنة بالتسعير حسب الطلب فقط. تقوم طبقة التنسيق تلقائيًا بـ checkpointing مهام التدريب على فترات قابلة للضبط، مما يتيح استعادة preemption سلسة عند استعادة مثيلات Spot، وتوجيه أعباء عمل الاستدلال الحساسة للوقت إلى السعة المحجوزة لضمان التوفر. بالنسبة للمؤسسات ذات الطلب المستمر على GPU، نقوم أيضًا بتقييم الاستضافة المشتركة مع أجهزة NVIDIA المملوكة مقابل الأساليب السحابية فقط، حيث أن نقطة التعادل للأجهزة المملوكة تكون عادةً 12-18 شهرًا من الاستخدام المستمر.

تنشر MicrocosmWorks وصلات بينية عالية النطاق الترددي ومنخفضة الكمون باستخدام شبكات InfiniBand (400Gbps NDR) أو RoCE v2 (100-400Gbps) مع بنية شبكة محسّنة لـ NCCL، لأن أداء التدريب الموزع غالبًا ما يكون مقيدًا بالشبكة بدلاً من كونه مقيدًا بالحوسبة عندما يؤدي تزامن التدرجات عبر العقد إلى إنشاء عنق زجاجة في الاتصالات. تتضمن بنية الشبكة وضع مهام مدرك للطوبولوجيا الذي يجمع "pods" التدريب الموزع على العقد المتصلة عبر نفس محول الشبكة (إدراك طوبولوجيا leaf-spine) لتقليل حركة المرور بين المحولات. لعمليات النشر السحابي، نستفيد من placement groups وخيارات cluster networking (AWS EFA, GCP GPUDirect-TCPX, Azure InfiniBand) التي توفر أداء شبكة near-bare-metal، مع استشارات بنية الشبكة بسعر 35-50 دولارًا في الساعة.

تطبق MicrocosmWorks التعددية المستأجرة (multi-tenancy) المستندة إلى الـ namespace مع حصص GPU دنيا مضمونة لكل فريق، وقدرة انفجارية (burst capacity) تتجاوز الحصة عندما يكون لدى الـ cluster موارد خاملة، وسياسات إيقاف (preemption) قائمة على الأولوية تضمن حصول أعباء عمل الاستدلال (inference) الإنتاجية عالية الأولوية على الموارد دائمًا حتى خلال فترات التدريب الكثيفة. تتضمن المنصة بوابة خدمة ذاتية حيث يمكن لقادة الفرق تقديم مهام التدريب، وعرض مواقع قائمة الانتظار، ومراقبة استخدام الـ GPU، وإدارة أولويات مهام فرقهم دون الحاجة إلى تدخل من هندسة المنصة (platform engineering). تتبع تقارير الاسترداد (Chargeback reporting) ساعات الـ GPU المستهلكة من قبل كل فريق ومشروع، مما يمكّن فرق المالية (finance teams) من تخصيص تكاليف بنية AI التحتية بدقة عبر وحدات الأعمال (business units).