On-Off Scaling Pattern for AI & Video Processing Workloads

لقد قمنا بتطبيق On-Off scaling pattern — وهي architecture هجينة حيث يتم provisioning لـ compute resources just-in-time لـ active workloads وتُسحب بالكامل عندما تكون idle، مع warm pools لـ latency-sensitive tasks و cold pools لـ batch jobs.

Architecture

• Job Queue: Database-backed Job Queue مع priority classification
• Orchestrator: service تدير resource lifecycle و job routing
• GPU Workers (AI): Cloud GPU pods لـ inference (object detection, transcription, speaker detection)
• CPU Workers (Video): Cloud VMs لـ video encoding و rendering
• Warm Pool: Pre-initialized instances لـ latency-sensitive jobs (وقت startup أقل من 30 ثانية)
• Cold Pool: On-demand instances لـ batch/bulk processing (وقت startup من 2-5 دقائق مقبول)

On-Off Pattern Implementation

Resource Lifecycle States

تنتقل Resources عبر lifecycle محدد: من حالة fully deallocated (zero cost)، مرورًا بـ provisioning و warming (models loading, health checks)، إلى ready و processing states، ثم عبر cooldown window قبل العودة إلى deallocated.

Warm Pool Strategy

لـ latency-sensitive processing (يبدأها المستخدم، ويتوقع results في دقائق):

• الحفاظ على minimum warm pool من instances خلال business hours
• Pre-load AI models عند container startup
• توجيه incoming jobs إلى warm instances أولاً
• Scale out additional warm instances عندما يتجاوز queue depth العتبة المحددة
• Configurable cooldown timer يحافظ على instances alive بين sporadic jobs

Cold Pool Strategy

لـ batch processing (bulk jobs ليلية، non-urgent re-encodes):

• Zero instances تعمل by default
• Job Queue تُطلق provisioning عندما يتم submitted لـ batch jobs
• Bulk-optimized instances لـ throughput على حساب latency
• Terminate فورًا بعد اكتمال batch
• استخدام spot/preemptible instances لتحقيق significant cost savings

Job Classification & Routing

يتم تصنيف Jobs تلقائيًا by priority و type، ثم تُوجّه إلى appropriate pool:

• High priority user-initiated AI tasks تُوجّه إلى warm GPU pools
• Critical real-time tasks تُوجّه إلى always-on dedicated instances
• Medium priority encoding tasks تُوجّه إلى warm or cold CPU pools
• Low priority batch tasks تُوجّه إلى cold spot/preemptible instances

Orchestrator Logic

Scale-Up Triggers

• Queue depth يتجاوز configurable threshold
• Average wait time يتجاوز SLA لـ priority level
• Scheduled ramp-up قبل known peak hours
• Manual trigger عبر admin API لـ anticipated traffic spikes

Scale-Down Triggers

• لم تتم معالجة أي jobs لـ duration of the cooldown window
• Scheduled wind-down بعد peak hours
• جميع queued jobs اكتملت مع zero new submissions
• Cost threshold تم الوصول إليه لـ billing period

Health & Recovery

• Regular health probes على جميع active instances
• Unhealthy instances تُستبدل automatically
• Failed jobs تُعاد إلى queue مع retry count وتُوجّه إلى different instance
• Dead letter queue لـ jobs التي تتجاوز max retries

Cost Impact

حقق On-Off pattern حوالي 70% cost reduction مقارنة بـ always-on fixed infrastructure عن طريق elimination of idle compute خلال off-peak hours، و right-sizing resources per job type، و leveraging spot instances لـ batch workloads.

Key Features

1. Zero Idle Cost — Resources تُسحب بالكامل عندما لا تقوم processing jobs
2. Warm Pools — Pre-initialized instances لـ latency-sensitive workloads
3. Cold Pools — On-demand provisioning لـ batch jobs بأقل cost
4. Job Classification — Automatic routing بناءً على priority و type و latency requirements
5. Cooldown Windows — Configurable idle timeout يمنع premature scale-down بين bursts
6. Spot/Preemptible Support — Batch jobs تُوجّه إلى discounted instances لتحقيق significant savings
7. Health & Recovery — Auto-replacement لـ unhealthy instances مع job re-queuing
8. Scheduled Scaling — Anticipate known traffic patterns بقواعد time-based provisioning