Memanfaatkan RunPod untuk Inferensi AI yang Skalabel dan Hemat Biaya

Kami mengadopsi RunPod sebagai lapisan komputasi GPU, menggunakan instance GPU on-demand dan spot mereka untuk menjalankan beban kerja inferensi AI dengan sebagian kecil dari biaya GPU cloud tradisional, dengan arsitektur warm-instance untuk meminimalkan cold start.

Arsitektur

• Komputasi: pod GPU RunPod untuk beban kerja inferensi, dengan tingkatan GPU dipilih per beban kerja
• Orkestrasi: Orkestrator FastAPI pada cloud primer yang mengelola pod RunPod
• Jaringan: Tunnel aman antara infrastruktur primer dan instance RunPod
• Penyimpanan Model: Image Docker pra-bangun dengan model yang sudah ada di dalamnya untuk startup cepat
• Pemantauan: Pemeriksaan kesehatan dan auto-restart untuk ketersediaan pod

Desain Infrastruktur

Konfigurasi Pod

• Pemilihan GPU: Tingkatan GPU yang hemat biaya dipilih per beban kerja, mencapai penghematan biaya ~85-90% dibandingkan instance GPU penyedia cloud besar yang setara
• Template Docker: Kontainer kustom dengan model AI pra-muat untuk inferensi
• Penyimpanan Persisten: Volume jaringan untuk bobot model dan file konfigurasi
• Variabel Lingkungan: Konfigurasi dinamis untuk stream endpoints, API keys, dan feature flags

Strategi Instance Hangat

Daripada melakukan cold-start pod per permintaan, kami mempertahankan instance hangat selama jam operasional:

1. Skala Terjadwal — Pod dimulai sebelum jam puncak, dihentikan selama jam di luar puncak
2. Model Pra-Muat — Mesin inferensi dimuat saat kontainer dimulai, siap segera
3. Probe Kesehatan — Orkestrator memantau pod RunPod secara berkala untuk memverifikasi kesiapan
4. Pemulihan Otomatis — Pod yang tidak sehat secara otomatis diganti melalui RunPod API

Komunikasi Antar-Cloud

• Cloud Primer: API servers, databases, recording workers
• Cloud GPU (RunPod): AI inference, object detection, tracking
• Alur Data: Frame video dikirim dari cloud primer ke RunPod untuk inferensi; hasil deteksi dikembalikan melalui WebSocket
• Sinkronisasi Timestamp: Sinkronisasi berbasis PTS untuk menangani perbedaan waktu antar cloud

Optimasi Biaya

Model harga RunPod memberikan penghematan yang signifikan dibandingkan dengan instance GPU setara dari penyedia cloud besar:

• On-Demand: Pengurangan ~85-90% dalam biaya komputasi GPU per jam
• Harga Spot: Penghematan tambahan 50% untuk pemrosesan batch non-kritis di community cloud
• Pemadaman Terjadwal: Stop/start otomatis berdasarkan jam operasional semakin mengurangi biaya
• Ukuran yang Tepat (Right-Sizing): Pilih tingkatan GPU yang sesuai dengan kebutuhan VRAM aktual daripada menyediakan berlebihan (over-provisioning)
• Distribusi Multi-Pod: Sebarkan aliran di seluruh GPU yang lebih kecil dan lebih murah daripada satu instance besar

Alur Kerja Deployment

1. Bangun — Docker image dengan semua model, dependensi, dan kode aplikasi
2. Dorong (Push) — Image didorong ke container registry
3. Deploy — RunPod API membuat pod dengan GPU, image, dan volume mounts yang ditentukan
4. Konfigurasi — Variabel lingkungan diatur untuk deployment spesifik
5. Monitor — Orkestrator memverifikasi kesehatan pod dan mulai merutekan permintaan inferensi
6. Skala — Pod tambahan diluncurkan melalui API saat beban meningkat

Fitur Utama

1. Pengurangan Biaya yang Signifikan — Penghematan 85-90% dibandingkan instance GPU cloud besar yang setara
2. Kontainer Pra-Bangun — Model sudah ada di dalam Docker images untuk startup di bawah 30 detik
3. Skala Berbasis API — Pembuatan/penghancuran pod secara terprogram berdasarkan permintaan
4. Dukungan Multi-GPU — Beberapa tingkatan GPU tersedia tergantung pada persyaratan beban kerja
5. Fallback Instance Spot — Beban kerja non-kritis berjalan di community cloud dengan diskon
6. Arsitektur Antar-Cloud — Komputasi GPU dipisahkan dari infrastruktur primer