Pattern ng On-Off Scaling para sa mga Workload ng AI at Video Processing

Nagpatupad kami ng isang pattern ng On-Off scaling — isang hybrid na arkitektura kung saan ang mga compute resource ay inilalaan just-in-time para sa mga aktibong workload at ganap na dinide-allocate kapag idle, na may warm pool para sa mga task na sensitibo sa latency at cold pool para sa mga batch job.

Arkitektura

• Job Queue: Database-backed na job queue na may klasipikasyon ng priyoridad
• Orchestrator: Serbisyo na namamahala sa resource lifecycle at job routing
• GPU Workers (AI): Cloud GPU pod para sa inference (object detection, transcription, speaker detection)
• CPU Workers (Video): Cloud VM para sa video encoding at rendering
• Warm Pool: Mga pre-initialized na instance para sa mga trabahong sensitibo sa latency (< 30s startup)
• Cold Pool: Mga on-demand na instance para sa batch/bulk processing (2-5 min startup na katanggap-tanggap)

Implementasyon ng Pattern ng On-Off

Mga Estado ng Resource Lifecycle

Ang mga resource ay dumadaan sa isang tinukoy na lifecycle: mula sa ganap na deallocated (walang gastos), sa pamamagitan ng provisioning at warming (paglo-load ng mga modelo, health check), hanggang sa handa at processing state, pagkatapos ay sa pamamagitan ng cooldown window bago bumalik sa deallocated.

Diskarte ng Warm Pool

Para sa latency-sensitive processing (sinimulan ng user, umaasa ng resulta sa loob ng ilang minuto):

• Panatilihin ang isang minimum na warm pool ng mga instance sa oras ng negosyo
• I-pre-load ang mga AI model sa container startup
• I-route ang mga papasok na trabaho sa mga warm instance muna
• Mag-scale out ng karagdagang warm instance kapag lumampas sa threshold ang queue depth
• Pinapanatili ng configurable na cooldown timer ang mga instance na buhay sa pagitan ng mga sporadic na trabaho

Diskarte ng Cold Pool

Para sa batch processing (mga overnight bulk job, hindi apurahang re-encode):

• Walang instance na tumatakbo bilang default
• Ang job queue ay nagti-trigger ng provisioning kapag may isinumiteng batch job
• Mga instance na naka-optimize para sa bulk para sa throughput kaysa sa latency
• I-terminate agad pagkatapos makumpleto ang batch
• Gumamit ng spot/preemptible instance para sa malaking pagtitipid sa gastos

Klasipikasyon at Routing ng Trabaho

Ang mga trabaho ay awtomatikong kinoklasipika ayon sa priyoridad at uri, pagkatapos ay iru-route sa naaangkop na pool:

• Ang mga mataas na priyoridad na AI task na sinimulan ng user ay iru-route sa mga warm GPU pool
• Ang mga kritikal na real-time task ay iru-route sa mga always-on na dedicated instance
• Ang mga katamtamang priyoridad na encoding task ay iru-route sa mga warm o cold CPU pool
• Ang mga mababang priyoridad na batch task ay iru-route sa mga cold spot/preemptible instance

Lohika ng Orchestrator

Mga Trigger sa Scale-Up

• Lumampas ang queue depth sa configurable na threshold
• Lumampas ang average wait time sa SLA para sa antas ng priyoridad
• Naka-iskedyul na ramp-up bago ang mga kilalang oras ng rurok
• Manual na trigger sa pamamagitan ng admin API para sa inaasahang traffic spike

Mga Trigger sa Scale-Down

• Walang trabahong naproseso sa loob ng tagal ng cooldown window
• Naka-iskedyul na wind-down pagkatapos ng mga oras ng rurok
• Lahat ng queued job ay nakumpleto nang walang bagong submission
• Naabot ang cost threshold para sa billing period

Kalusugan at Pagbawi

• Regular na health probe sa lahat ng aktibong instance
• Awtomatikong pinapalitan ang mga unhealthy instance
• Ang mga nabigong trabaho ay muling inilaan sa queue na may retry count at iru-route sa ibang instance
• Dead letter queue para sa mga trabahong lumampas sa max retries

Epekto sa Gastos

Ang pattern ng On-Off ay naghatid ng humigit-kumulang 70% na pagbawas sa gastos kumpara sa always-on na fixed infrastructure sa pamamagitan ng pag-alis ng idle compute sa mga oras na hindi abala, pagtama ng laki ng mga resource bawat uri ng trabaho, at paggamit ng spot instance para sa mga batch workload.

Mga Pangunahing Tampok

1. Walang Gastos sa Idle — Ganap na dinide-allocate ang mga resource kapag hindi nagpoproseso ng trabaho
2. Warm Pool — Mga pre-initialized na instance para sa mga workload na sensitibo sa latency
3. Cold Pool — On-demand na provisioning para sa mga batch job sa pinakamababang gastos
4. Klasipikasyon ng Trabaho — Awtomatikong routing batay sa priyoridad, uri, at mga kinakailangan sa latency
5. Cooldown Window — Pinipigilan ng configurable na idle timeout ang maagang scale-down sa pagitan ng mga burst
6. Suporta sa Spot/Preemptible — Ang mga batch job ay iru-route sa mga diskwentong instance para sa malaking pagtitipid
7. Kalusugan at Pagbawi — Awtomatikong pagpapalit ng mga unhealthy instance na may job re-queuing
8. Naka-iskedyul na Scaling — Anticipahin ang mga kilalang pattern ng traffic gamit ang time-based provisioning rule