이중 오케스트레이터 및 제로 패킷 손실을 갖춘 오토스케일링 RTSP 스트리밍 아키텍처

저희는 별도의 수집(ingestion) 및 배포(distribution) 클러스터, 제로 패킷 손실을 위한 5단계 우아한 종료(graceful shutdown), 안정적인 DNS 기반 URL, 그리고 자동화된 AI 워커 재연결 기능을 갖춘 이중 오케스트레이터 오토스케일링 스트리밍 아키텍처를 설계했습니다.

아키텍처

• 스트리밍 서버: RTSP/WebRTC/HLS 프로토콜 지원을 위한 MediaMTX
• 수집 클러스터: 카메라 RTSP 스트림을 수신하는 1~10개의 서버
• 배포 클러스터: 시청자(WebRTC/HLS) 및 AI 워커(RTSP)에게 서비스를 제공하는 2~20개의 서버
• 이중 오케스트레이터: 수집 및 배포를 위한 독립적인 확장 컨트롤러
• 로드 밸런서: 프로토콜에 적합한 알고리즘을 사용하는 클러스터별 별도 로드 밸런서
• 서비스 레지스트리: 서버 상태, 스트림 매핑 및 조정을 위한 Redis
• 상태 모니터링: 자동 복구 기능이 있는 활성 상태 확인
• DNS 계층: 로드 밸런서(URLs는 절대 변경되지 않음)를 가리키는 안정적인 도메인 이름

이중 오케스트레이터 설계

두 개의 오케스트레이터가 필요한 이유

수집 및 배포는 근본적으로 다른 확장 특성을 가집니다:

• 수집(Ingestion)은 카메라 수와 인바운드 대역폭에 따라 확장됩니다 (예측 가능하며 꾸준히 증가)
• 배포(Distribution)는 시청자 수와 AI 워커 수요에 따라 확장됩니다 (급증하며 예측 불가능)

별도의 오케스트레이터를 통해 각 클러스터는 다른 클러스터의 확장 결정에 영향을 주지 않으면서 특수화된 정책, 지표 및 임계값을 사용하여 독립적으로 확장할 수 있습니다.

수집 오케스트레이터

• 주요 지표: 서버당 카메라 연결 수
• 보조 지표: 인바운드 대역폭 활용률
• 스케일 업: CPU가 임계값을 초과하거나 서버당 카메라 수가 용량을 초과할 때
• 스케일 다운: 활용률이 지속적인 안정화 기간 동안 임계값 아래로 떨어질 때
• 서버 범위: 1~10개 서버

배포 오케스트레이터

• 주요 지표: 서버당 시청자 + AI 워커 연결 수
• 보조 지표: 아웃바운드 대역폭 활용률
• 스케일 업: CPU가 임계값을 초과하거나 서버당 연결 수가 용량을 초과할 때
• 스케일 다운: 활용률이 지속적인 기간 동안 임계값 아래로 떨어질 때 (수집보다 더 긴 안정화 기간)
• 서버 범위: 2~20개 서버 (고가용성을 위해 최소 2개)

제로 패킷 손실: 5단계 우아한 종료

배포 서버가 제거될 예정일 때, 5단계 프로세스를 통해 프레임 손실을 방지합니다:

1단계: 사전 알림

서비스 레지스트리에서 서버가 "DRAINING"으로 표시됩니다. 로드 밸런서 가중치가 줄어들어 새로운 연결은 다른 곳으로 라우팅됩니다. Redis pub/sub 알림 및 웹훅은 AI 워커에게 마이그레이션을 준비하도록 알립니다.

2단계: 로드 밸런서 업데이트

로드 밸런서 백엔드 풀에서 서버가 제거됩니다. 새로운 연결은 드레이닝 중인 서버에 도달할 수 없습니다. 기존 연결은 중단 없이 계속됩니다.

3단계: AI 워커 마이그레이션

AI 워커는 드레이닝 중인 서버에서 연결을 끊고 정상적인 배포 서버에 다시 연결합니다. 체크포인트 기반 상태 보존은 처리가 중단된 정확한 프레임부터 재개되도록 보장합니다. 총 공백: 약 3초이며 프레임 손실은 없습니다.

4단계: 시청자 드레이닝

남아있는 시청자 연결은 구성 가능한 시간 동안 자연스럽게 드레이닝됩니다. 최신 비디오 플레이어는 동일한 안정적인 URL에 자동으로 다시 연결되며, 이 URL은 정상적인 서버로 라우팅됩니다. 대부분의 시청자는 중단을 경험하지 않습니다.

5단계: 정리

모든 연결이 닫혔는지 확인합니다. 서비스 레지스트리에서 서버를 제거합니다. 클라우드 인스턴스를 파괴합니다. 확장 지표를 기록합니다.

안정적인 URL

URL 아키텍처는 카메라와 클라이언트가 재구성될 필요가 없도록 보장합니다:

• 카메라 발행 대상: 안정적인 수집 도메인 이름
• 시청자/AI 접근 대상: 안정적인 배포 도메인 이름
• DNS 레코드는 로드 밸런서 IP (영구적)를 가리킵니다
• 로드 밸런서는 백엔드 서버로의 라우팅을 투명하게 처리합니다
• 백엔드 서버는 URL 변경 없이 추가, 제거 또는 교체될 수 있습니다

서비스 레지스트리 (Redis)

중앙 집중식 Redis 인스턴스는 전체 시스템을 조정합니다:

• 서버 상태 추적 (활성, 드레이닝, 오프라인)
• 스트림-서버 매핑 (어떤 카메라가 어떤 수집 서버에 있는지)
• AI 워커 상태 및 체크포인트 데이터
• 확장 결정을 위한 서버별 로드 지표
• 실시간 조정 이벤트를 위한 Pub/sub 채널

AI 클라이언트 재연결

AI 클라이언트 라이브러리는 원활한 재연결을 제공합니다:

• Redis pub/sub를 통해 서버 제거 알림을 수신합니다
• 정기적인 간격으로 자동 프레임 체크포인트 생성
• 알림 시 정상적인 배포 서버로 재연결
• 최소한의 공백으로 체크포인트부터 처리 재개
• 재연결 이벤트에 대한 지표 보고

상태 모니터링

• 정기적인 간격으로 모든 서버에 대한 활성 상태 확인
• 서버 장애 시 자동 로드 밸런서 업데이트
• 응답 없는 서버에 대한 자동 복구 트리거
• 가동 시간 추적 및 가용성 보고

주요 기능

1. 이중 오케스트레이터 — 수집 및 배포 클러스터를 위한 독립적인 확장
2. 제로 패킷 손실 — AI 워커 마이그레이션을 포함한 5단계 우아한 종료
3. 안정적인 URL — DNS 기반 라우팅으로 확장 중 URL이 변경되지 않도록 보장
4. AI 워커 재연결 — 약 3초의 공백과 제로 프레임 손실을 갖는 체크포인트 기반 마이그레이션
5. 독립적인 확장 — 수집 및 배포는 자체 지표를 기반으로 확장
6. 서비스 레지스트리 — 서버 상태 및 스트림 매핑을 위한 Redis 기반 조정
7. 상태 모니터링 — 자동 복구 기능이 있는 활성 확인
8. 비용 최적화 — 수요가 적은 기간 동안 자동 스케일 다운