Pola Skala On-Off untuk Beban Kerja AI & Pemrosesan Video

Kami mengimplementasikan pola skala On-Off — sebuah arsitektur hibrida di mana sumber daya komputasi disediakan just-in-time untuk beban kerja aktif dan didealokasikan sepenuhnya saat menganggur, dengan warm pools untuk tugas-tugas yang sensitif terhadap latensi dan cold pools untuk batch jobs.

Arsitektur

• Antrean Pekerjaan: Antrean pekerjaan yang didukung database dengan klasifikasi prioritas
• Orchestrator: Service yang mengelola siklus hidup sumber daya dan perutean pekerjaan
• GPU Workers (AI): Pod GPU Cloud untuk inference (object detection, transcription, speaker detection)
• CPU Workers (Video): VM Cloud untuk video encoding dan rendering
• Warm Pool: Instance yang sudah diinisialisasi sebelumnya untuk pekerjaan yang sensitif terhadap latensi (< 30 detik startup)
• Cold Pool: Instance on-demand untuk pemrosesan batch/bulk (startup 2-5 menit dapat diterima)

Implementasi Pola On-Off

Status Siklus Hidup Sumber Daya

Sumber daya bergerak melalui siklus hidup yang terdefinisi: dari didealokasikan sepenuhnya (biaya nol), melalui provisioning dan warming (pemuatan model, pemeriksaan kesehatan), ke status siap dan memproses, lalu melalui jendela cooldown sebelum kembali ke status didealokasikan.

Strategi Warm Pool

Untuk pemrosesan yang sensitif terhadap latensi (dimulai oleh pengguna, mengharapkan hasil dalam hitungan menit):

• Pertahankan warm pool minimum instance selama jam kerja
• Muat sebelumnya model AI saat startup container
• Arahkan pekerjaan yang masuk ke instance warm terlebih dahulu
• Skala keluar instance warm tambahan saat kedalaman antrean melebihi ambang batas
• Pengatur waktu cooldown yang dapat dikonfigurasi menjaga instance tetap aktif di antara pekerjaan sporadis

Strategi Cold Pool

Untuk pemrosesan batch (pekerjaan bulk semalam, re-encodes yang tidak mendesak):

• Nol instance berjalan secara default
• Antrean pekerjaan memicu provisioning saat batch jobs diajukan
• Instance yang dioptimalkan untuk bulk untuk throughput daripada latensi
• Hentikan segera setelah batch selesai
• Gunakan instance spot/preemptible untuk penghematan biaya yang signifikan

Klasifikasi & Perutean Pekerjaan

Pekerjaan secara otomatis diklasifikasikan berdasarkan prioritas dan jenis, kemudian diarahkan ke pool yang sesuai:

• Tugas AI yang dimulai pengguna dengan prioritas tinggi diarahkan ke warm GPU pools
• Tugas real-time kritis diarahkan ke instance dedicated yang selalu aktif
• Tugas encoding prioritas sedang diarahkan ke warm atau cold CPU pools
• Tugas batch prioritas rendah diarahkan ke instance spot/preemptible cold

Logika Orchestrator

Pemicu Peningkatan Skala

• Kedalaman antrean melebihi ambang batas yang dapat dikonfigurasi
• Waktu tunggu rata-rata melebihi SLA untuk tingkat prioritas
• Peningkatan skala terjadwal sebelum jam puncak yang diketahui
• Pemicu manual melalui admin API untuk lonjakan lalu lintas yang diantisipasi

Pemicu Penurunan Skala

• Tidak ada pekerjaan yang diproses selama jendela cooldown
• Penurunan skala terjadwal setelah jam puncak
• Semua pekerjaan yang diantrekan selesai tanpa ada pengajuan baru
• Ambang batas biaya tercapai untuk periode penagihan

Kesehatan & Pemulihan

• Pemeriksaan kesehatan rutin pada semua instance aktif
• Instance yang tidak sehat diganti secara otomatis
• Pekerjaan yang gagal diantrekan ulang dengan jumlah percobaan ulang dan diarahkan ke instance yang berbeda
• Antrean dead letter untuk pekerjaan yang melebihi percobaan ulang maksimum

Dampak Biaya

Pola On-Off menghasilkan sekitar 70% pengurangan biaya dibandingkan infrastruktur tetap yang selalu aktif dengan menghilangkan komputasi yang menganggur selama jam non-puncak, menyesuaikan ukuran sumber daya per jenis pekerjaan, dan memanfaatkan instance spot untuk beban kerja batch.

Fitur Utama

1. Biaya Menganggur Nol — Sumber daya sepenuhnya didealokasikan saat tidak memproses pekerjaan
2. Warm Pools — Instance yang sudah diinisialisasi sebelumnya untuk beban kerja yang sensitif terhadap latensi
3. Cold Pools — Provisioning on-demand untuk batch jobs dengan biaya terendah
4. Klasifikasi Pekerjaan — Perutean otomatis berdasarkan prioritas, jenis, dan persyaratan latensi
5. Jendela Cooldown — Batas waktu idle yang dapat dikonfigurasi mencegah penurunan skala prematur di antara lonjakan
6. Dukungan Spot/Preemptible — Batch jobs diarahkan ke instance diskon untuk penghematan signifikan
7. Kesehatan & Pemulihan — Penggantian otomatis instance yang tidak sehat dengan antrean ulang pekerjaan
8. Penskalaan Terjadwal — Mengantisipasi pola lalu lintas yang diketahui dengan aturan provisioning berbasis waktu