AI 및 비디오 처리 워크로드를 위한 온-오프 스케일링 패턴

저희는 온-오프 스케일링 패턴을 구현했습니다 — 활성 워크로드에 맞춰 컴퓨팅 리소스가 Just-In-Time으로 프로비저닝되고 유휴 상태일 때는 완전히 할당 해제되며, 지연 시간에 민감한 작업을 위한 warm pools와 배치 작업을 위한 cold pools를 갖춘 하이브리드 아키텍처입니다.

아키텍처

• Job Queue (작업 큐): 우선순위 분류를 지원하는 데이터베이스 기반 작업 큐
• Orchestrator (오케스트레이터): 리소스 라이프사이클 및 작업 라우팅을 관리하는 서비스
• GPU Workers (AI): inference (객체 감지, 트랜스크립션, 화자 감지)를 위한 클라우드 GPU pods
• CPU Workers (Video): 비디오 인코딩 및 렌더링을 위한 클라우드 VMs
• Warm Pool (웜 풀): 지연 시간에 민감한 작업 (< 30초 시작)을 위한 사전 초기화된 인스턴스
• Cold Pool (콜드 풀): 배치/대량 처리를 위한 on-demand 인스턴스 (2-5분 시작 허용)

온-오프 패턴 구현

리소스 라이프사이클 상태

리소스는 정의된 라이프사이클을 거칩니다: 완전히 할당 해제된 상태 (제로 비용)부터 provisioning 및 warming (모델 로딩, health checks), 준비 및 처리 상태를 거쳐, 다시 할당 해제 상태로 돌아가기 전에 cooldown window를 거칩니다.

웜 풀 전략

지연 시간에 민감한 처리 (사용자 시작, 몇 분 안에 결과 예상)의 경우:

• 영업 시간 동안 최소한의 warm pool 인스턴스를 유지합니다.
• 컨테이너 시작 시 AI 모델을 사전 로드합니다.
• 들어오는 작업을 먼저 warm instances로 라우팅합니다.
• 큐 길이가 임계값을 초과하면 추가 warm instances를 scale out합니다.
• 구성 가능한 cooldown timer는 산발적인 작업 사이에 인스턴스를 활성 상태로 유지합니다.

콜드 풀 전략

배치 처리 (밤샘 대량 작업, 긴급하지 않은 재인코딩)의 경우:

• 기본적으로 실행 중인 인스턴스는 없습니다.
• Job queue가 provisioning을 트리거합니다.
• 지연 시간보다 throughput을 위한 대량 최적화 인스턴스.
• 배치 완료 즉시 종료합니다.
• 상당한 비용 절감을 위해 spot/preemptible instances를 사용합니다.

작업 분류 및 라우팅

작업은 우선순위와 유형에 따라 자동으로 분류된 후 적절한 풀로 라우팅됩니다:

• 고우선순위 사용자 시작 AI 작업은 warm GPU pools로 라우팅됩니다.
• 중요 real-time 작업은 always-on dedicated instances로 라우팅됩니다.
• 중간 우선순위 인코딩 작업은 warm 또는 cold CPU pools로 라우팅됩니다.
• 저우선순위 배치 작업은 cold spot/preemptible instances로 라우팅됩니다.

오케스트레이터 로직

스케일업 트리거

• 큐 길이가 구성 가능한 임계값을 초과합니다.
• 평균 대기 시간이 우선순위 수준의 SLA를 초과합니다.
• 알려진 peak hours 전의 예정된 ramp-up.
• 예상되는 traffic spikes를 위한 admin API를 통한 수동 트리거.

스케일다운 트리거

• cooldown window 기간 동안 처리된 작업이 없습니다.
• peak hours 이후 예정된 wind-down.
• 모든 대기 중인 작업이 완료되었고 새 제출이 없습니다.
• billing period 동안 비용 임계값에 도달했습니다.

상태 및 복구

• 모든 활성 인스턴스에 대한 정기적인 health probes.
• 비정상 인스턴스는 자동으로 교체됩니다.
• 실패한 작업은 retry count와 함께 재큐에 들어가고 다른 인스턴스로 라우팅됩니다.
• 최대 retries를 초과하는 작업을 위한 Dead letter queue.

비용 영향

온-오프 패턴은 비피크 시간대의 유휴 compute를 제거하고, 작업 유형별로 리소스 크기를 조정하며, 배치 워크로드에 spot instances를 활용함으로써 always-on fixed infrastructure 대비 약 70%의 비용 절감을 달성했습니다.

주요 기능

1. 유휴 비용 제로 — 작업을 처리하지 않을 때 리소스가 완전히 할당 해제됩니다.
2. 웜 풀 — 지연 시간에 민감한 워크로드를 위한 사전 초기화된 인스턴스.
3. 콜드 풀 — 최저 비용으로 배치 작업을 위한 on-demand provisioning.
4. 작업 분류 — 우선순위, 유형 및 지연 시간 요구 사항에 따른 자동 라우팅.
5. 쿨다운 기간 — 구성 가능한 idle timeout으로 버스트 사이에 조기 scale-down을 방지합니다.
6. Spot/Preemptible 지원 — 배치 작업은 할인된 인스턴스로 라우팅되어 상당한 비용 절감 효과를 얻습니다.
7. 상태 및 복구 — 비정상 인스턴스의 자동 교체 및 작업 re-queuing.
8. 예약된 스케일링 — 시간 기반 provisioning 규칙으로 알려진 traffic patterns를 예측합니다.