AI 및 비디오 처리 워크로드용 On-Off 스케일링 패턴

저희는 On-Off 스케일링 패턴을 구현했습니다 — 활성 워크로드에 맞춰 컴퓨팅 리소스가 Just-In-Time으로 프로비저닝되고 유휴 시 완전히 할당 해제되며, 대기 시간에 민감한 작업에는 웜 풀을, 배치 작업에는 콜드 풀을 사용하는 하이브리드 아키텍처입니다.

아키텍처

• Job Queue: 우선순위 분류 기능이 있는 데이터베이스 기반 작업 큐
• Orchestrator: 리소스 라이프사이클 및 작업 라우팅을 관리하는 서비스
• GPU Workers (AI): 추론(객체 감지, 트랜스크립션, 화자 감지)을 위한 클라우드 GPU 파드
• CPU Workers (Video): 비디오 인코딩 및 렌더링을 위한 클라우드 VM
• Warm Pool: 대기 시간에 민감한 작업(30초 미만 시작)을 위한 사전 초기화된 인스턴스
• Cold Pool: 배치/대량 처리(2-5분 시작 허용)를 위한 온디맨드 인스턴스

On-Off 패턴 구현

리소스 라이프사이클 상태

리소스는 정의된 라이프사이클을 거칩니다: 완전히 할당 해제된 상태(제로 비용)에서 프로비저닝 및 웜업(모델 로딩, 상태 점검)을 거쳐 준비 및 처리 상태로 이동한 다음, 할당 해제 상태로 돌아가기 전에 쿨다운 기간을 거칩니다.

웜 풀 전략

대기 시간에 민감한 처리(사용자 시작, 몇 분 내 결과 예상)의 경우:

• 업무 시간 동안 최소한의 웜 풀 인스턴스를 유지합니다.
• 컨테이너 시작 시 AI 모델을 사전 로드합니다.
• 들어오는 작업을 웜 인스턴스로 먼저 라우팅합니다.
• 큐 깊이가 임계값을 초과할 때 추가 웜 인스턴스를 스케일 아웃합니다.
• 구성 가능한 쿨다운 타이머는 산발적인 작업 사이에 인스턴스를 활성 상태로 유지합니다.

콜드 풀 전략

배치 처리(밤샘 대량 작업, 긴급하지 않은 재인코딩)의 경우:

• 기본적으로 실행 중인 인스턴스가 없습니다.
• 배치 작업이 제출될 때 작업 큐가 프로비저닝을 트리거합니다.
• 대기 시간보다 처리량에 최적화된 대량 인스턴스.
• 배치가 완료된 후 즉시 종료합니다.
• 상당한 비용 절감을 위해 스팟/선점형 인스턴스를 사용합니다.

작업 분류 및 라우팅

작업은 우선순위 및 유형에 따라 자동으로 분류된 후 적절한 풀로 라우팅됩니다:

• 고우선순위 사용자 시작 AI 작업은 웜 GPU 풀로 라우팅됩니다.
• 중요 실시간 작업은 상시 가동 전용 인스턴스로 라우팅됩니다.
• 중우선순위 인코딩 작업은 웜 또는 콜드 CPU 풀로 라우팅됩니다.
• 저우선순위 배치 작업은 콜드 스팟/선점형 인스턴스로 라우팅됩니다.

Orchestrator 로직

스케일업 트리거

• 큐 깊이가 구성 가능한 임계값을 초과할 때
• 평균 대기 시간이 우선순위 수준의 SLA를 초과할 때
• 알려진 피크 시간 전에 예정된 램프업
• 예상되는 트래픽 급증을 위한 관리자 API를 통한 수동 트리거

스케일다운 트리거

• 쿨다운 기간 동안 처리된 작업이 없을 때
• 피크 시간 이후 예정된 윈드다운
• 새로운 제출 없이 모든 대기 중인 작업이 완료되었을 때
• 청구 기간 동안 비용 임계값에 도달했을 때

상태 및 복구

• 모든 활성 인스턴스에 대한 정기적인 상태 프로브
• 비정상 인스턴스는 자동으로 교체됩니다.
• 실패한 작업은 재시도 횟수와 함께 다시 큐에 추가되고 다른 인스턴스로 라우팅됩니다.
• 최대 재시도 횟수를 초과하는 작업에 대한 데드 레터 큐

비용 영향

On-Off 패턴은 비피크 시간 동안 유휴 컴퓨팅을 제거하고, 작업 유형별로 리소스를 적절히 조정하며, 배치 워크로드에 스팟 인스턴스를 활용함으로써, 상시 가동 고정 인프라 대비 약 70%의 비용 절감을 달성했습니다.

주요 기능

1. 제로 유휴 비용 — 작업을 처리하지 않을 때 리소스가 완전히 할당 해제됩니다.
2. 웜 풀 — 대기 시간에 민감한 워크로드를 위한 사전 초기화된 인스턴스.
3. 콜드 풀 — 최저 비용으로 배치 작업을 위한 온디맨드 프로비저닝.
4. 작업 분류 — 우선순위, 유형 및 대기 시간 요구 사항에 따른 자동 라우팅.
5. 쿨다운 기간 — 구성 가능한 유휴 타임아웃은 버스트 사이에 조기 스케일다운을 방지합니다.
6. 스팟/선점형 지원 — 상당한 비용 절감을 위해 배치 작업이 할인된 인스턴스로 라우팅됩니다.
7. 상태 및 복구 — 작업 재큐잉을 통한 비정상 인스턴스의 자동 교체.
8. 예정된 스케일링 — 시간 기반 프로비저닝 규칙으로 알려진 트래픽 패턴을 예측합니다.