Arsitektur Streaming RTSP Skala Otomatis dengan Dua Orchestrator & Tanpa Kehilangan Paket

Kami merancang arsitektur streaming skala otomatis dual-orchestrator dengan cluster ingesti dan distribusi terpisah, graceful shutdown 5 fase untuk zero packet drop, URL berbasis DNS yang stabil, dan koneksi ulang AI worker otomatis.

Arsitektur

• Server Streaming: MediaMTX untuk dukungan protokol RTSP/WebRTC/HLS
• Cluster Ingesti: 1-10 server yang menerima stream RTSP kamera
• Cluster Distribusi: 2-20 server yang melayani penonton (WebRTC/HLS) dan AI workers (RTSP)
• Dual Orchestrators: Pengontrol penskalaan independen untuk ingesti dan distribusi
• Load Balancers: Load balancer terpisah per cluster dengan algoritma yang sesuai protokol
• Service Registry: Redis untuk status server, pemetaan stream, dan koordinasi
• Pemantauan Kesehatan: Pemeriksaan kesehatan aktif dengan pemulihan otomatis
• Lapisan DNS: Nama domain stabil yang menunjuk ke load balancers (URL tidak pernah berubah)

Desain Dual Orchestrator

Mengapa Dua Orchestrator

Ingesti dan distribusi memiliki karakteristik penskalaan yang secara fundamental berbeda:

• Ingesti berskala dengan jumlah kamera dan bandwidth masuk (terprediksi, tumbuh stabil)
• Distribusi berskala dengan jumlah penonton dan permintaan AI worker (bursty, tidak terprediksi)

Orchestrator terpisah memungkinkan masing-masing untuk berskala secara independen dengan kebijakan, metrik, dan ambang batas khusus — tanpa keputusan penskalaan satu cluster memengaruhi yang lain.

Ingestion Orchestrator

• Metrik Utama: Koneksi kamera per server
• Metrik Sekunder: Pemanfaatan bandwidth masuk
• Penskalaan Naik (Scale Up): Ketika CPU melebihi ambang batas atau kamera per server melebihi kapasitas
• Penskalaan Turun (Scale Down): Ketika pemanfaatan turun di bawah ambang batas untuk periode stabilisasi berkelanjutan
• Rentang Server: 1 hingga 10 server

Distribution Orchestrator

• Metrik Utama: Koneksi penonton + AI worker per server
• Metrik Sekunder: Pemanfaatan bandwidth keluar
• Penskalaan Naik (Scale Up): Ketika CPU melebihi ambang batas atau koneksi per server melebihi kapasitas
• Penskalaan Turun (Scale Down): Ketika pemanfaatan turun di bawah ambang batas untuk periode berkelanjutan (stabilisasi lebih lama dari ingesti)
• Rentang Server: 2 hingga 20 server (minimal 2 untuk ketersediaan tinggi)

Zero Packet Drop: Graceful Shutdown 5 Fase

Ketika server distribusi dijadwalkan untuk dihapus, proses 5 fase memastikan tidak ada frame yang hilang:

Fase 1: Pra-Notifikasi

Server ditandai sebagai "DRAINING" di service registry. Bobot load balancer dikurangi sehingga koneksi baru diarahkan ke tempat lain. Notifikasi Redis pub/sub dan webhooks memberi tahu AI workers untuk bersiap migrasi.

Fase 2: Pembaruan Load Balancer

Server dihapus dari kumpulan backend load balancer. Tidak ada koneksi baru yang dapat mencapai server yang sedang draining. Koneksi yang ada berlanjut tanpa gangguan.

Fase 3: Migrasi AI Worker

AI workers memutuskan koneksi dari server yang sedang draining dan menyambung kembali ke server distribusi yang sehat. Pemeliharaan status berbasis checkpoint memastikan pemrosesan dilanjutkan dari frame yang tepat di mana ia berhenti. Total jeda: sekitar 3 detik tanpa kehilangan frame.

Fase 4: Pengurasan Penonton

Koneksi penonton yang tersisa dikuras secara alami selama jendela yang dapat dikonfigurasi. Pemutar video modern otomatis menyambung kembali ke URL stabil yang sama, yang mengarahkan ke server yang sehat. Sebagian besar penonton tidak mengalami gangguan.

Fase 5: Pembersihan

Verifikasi semua koneksi telah ditutup. Hapus server dari service registry. Hancurkan instance cloud. Catat metrik penskalaan.

URL Stabil

Arsitektur URL memastikan kamera dan klien tidak pernah memerlukan konfigurasi ulang:

• Target publikasi kamera: Nama domain ingesti yang stabil
• Target akses penonton/AI: Nama domain distribusi yang stabil
• Catatan DNS menunjuk ke IP load balancer (yang bersifat permanen)
• Load balancers menangani perutean ke server backend secara transparan
• Server backend dapat ditambahkan, dihapus, atau diganti tanpa perubahan URL

Service Registry (Redis)

Sebuah instance Redis terpusat mengoordinasikan seluruh sistem:

• Pelacakan status server (aktif, draining, offline)
• Pemetaan stream-ke-server (kamera mana yang ada di server ingesti mana)
• Status AI worker dan data checkpoint
• Metrik beban per server untuk keputusan penskalaan
• Saluran Pub/sub untuk event koordinasi real-time

Koneksi Ulang Klien AI

Sebuah library klien AI menyediakan koneksi ulang yang mulus:

• Mendengarkan notifikasi penghapusan server melalui Redis pub/sub
• Checkpointing frame otomatis pada interval reguler
• Koneksi ulang ke server distribusi yang sehat saat notifikasi
• Melanjutkan pemrosesan dari checkpoint dengan jeda minimal
• Pelaporan metrik untuk event koneksi ulang

Pemantauan Kesehatan

• Pemeriksaan kesehatan aktif pada setiap server secara berkala
• Pembaruan load balancer otomatis saat kegagalan server
• Pemicu pemulihan otomatis untuk server yang tidak responsif
• Pelacakan uptime dan pelaporan ketersediaan

Fitur Utama

1. Dual Orchestrators — Penskalaan independen untuk cluster ingesti dan distribusi
2. Zero Packet Drop — Graceful shutdown 5 fase dengan migrasi AI worker
3. URL Stabil — Perutean berbasis DNS memastikan URL tidak pernah berubah selama penskalaan
4. Koneksi Ulang AI Worker — Migrasi berbasis checkpoint dengan jeda ~3 detik dan tanpa kehilangan frame
5. Penskalaan Independen — Ingesti dan distribusi berskala berdasarkan metrik mereka sendiri
6. Service Registry — Koordinasi berbasis Redis untuk status server dan pemetaan stream
7. Pemantauan Kesehatan — Pemeriksaan aktif dengan pemulihan otomatis
8. Optimasi Biaya — Penskalaan turun otomatis selama periode permintaan rendah