확장 가능하고 비용 효율적인 AI 추론을 위한 RunPod 활용

저희는 GPU 컴퓨팅 레이어로 RunPod를 채택하여, 온디맨드 및 스팟 GPU 인스턴스를 사용하여 기존 클라우드 GPU 비용의 일부로 AI 추론 워크로드를 실행하고, 콜드 스타트를 최소화하기 위한 웜 인스턴스 아키텍처를 구현했습니다.

아키텍처

• 컴퓨팅: 추론 워크로드를 위한 RunPod GPU 파드, 워크로드별로 GPU 티어 선택
• 오케스트레이션: 주 클라우드의 FastAPI 오케스트레이터가 RunPod 파드 관리
• 네트워킹: 주 인프라와 RunPod 인스턴스 간의 보안 터널
• 모델 저장: 빠른 시작을 위해 모델이 내장된 사전 구축된 Docker 이미지
• 모니터링: 파드 가용성을 위한 상태 확인 및 자동 재시작

인프라 설계

파드 구성

• GPU 선택: 워크로드별로 비용 효율적인 GPU 티어를 선택하여, 동등한 주요 클라우드 제공업체의 GPU 인스턴스 대비 약 85-90%의 비용 절감 달성
• Docker 템플릿: 추론을 위해 사전 로드된 AI 모델을 포함하는 맞춤형 컨테이너
• 영구 스토리지: 모델 가중치 및 구성 파일을 위한 네트워크 볼륨
• 환경 변수: 스트림 엔드포인트, API 키 및 기능 플래그를 위한 동적 구성

웜 인스턴스 전략

요청당 파드를 콜드 스타트하는 대신, 운영 시간 동안 웜 인스턴스를 유지합니다:

1. 예약된 스케일링 — 피크 시간 전에 파드를 시작하고, 비피크 시간 동안 중지
2. 사전 로드된 모델 — 컨테이너 시작 시 추론 엔진 로드, 즉시 준비 완료
3. 상태 프로브 — 오케스트레이터가 RunPod 파드의 준비 상태를 정기적으로 모니터링
4. 자동 복구 — 비정상적인 파드는 RunPod API를 통해 자동으로 교체

크로스-클라우드 통신

• 주요 클라우드: API 서버, 데이터베이스, 녹화 워커
• GPU 클라우드 (RunPod): AI 추론, 객체 탐지, 트래킹
• 데이터 흐름: 주 클라우드에서 RunPod로 비디오 프레임을 전송하여 추론 수행; 탐지 결과는 WebSocket을 통해 반환
• 타임스탬프 동기화: 클라우드 간의 클록 스큐를 처리하기 위한 PTS 기반 동기화

비용 최적화

RunPod의 요금 모델은 주요 클라우드 제공업체의 동등한 GPU 인스턴스와 비교하여 상당한 비용 절감을 가져왔습니다:

• 온디맨드: 시간당 GPU 컴퓨팅 비용 약 85-90% 절감
• 스팟 가격: 커뮤니티 클라우드에서 비중요 배치 처리를 위한 추가 50% 절감
• 예약된 종료: 운영 시간을 기반으로 한 자동 중지/시작으로 비용 추가 절감
• 적정 규모 조정: 과도한 프로비저닝 대신 실제 VRAM 요구 사항에 맞는 GPU 티어 선택
• 다중 파드 분배: 하나의 대규모 인스턴스 대신 더 작고 저렴한 GPU에 스트림 분산

배포 워크플로우

1. 빌드 — 모든 모델, 종속성 및 애플리케이션 코드를 포함하는 Docker 이미지
2. 푸시 — 컨테이너 레지스트리에 이미지 푸시
3. 배포 — RunPod API가 지정된 GPU, 이미지 및 볼륨 마운트로 파드 생성
4. 구성 — 특정 배포를 위한 환경 변수 설정
5. 모니터링 — 오케스트레이터가 파드 상태를 확인하고 추론 요청 라우팅 시작
6. 스케일 — 로드가 증가하면 API를 통해 추가 파드 시작

주요 기능

1. 상당한 비용 절감 — 동등한 주요 클라우드 GPU 인스턴스 대비 85-90% 절감
2. 사전 구축된 컨테이너 — 30초 미만의 시작 시간을 위해 Docker 이미지에 내장된 모델
3. API 기반 스케일링 — 수요에 따른 프로그래밍 방식의 파드 생성/삭제
4. 다중 GPU 지원 — 워크로드 요구 사항에 따라 여러 GPU 티어 사용 가능
5. 스팟 인스턴스 대체 — 비중요 워크로드는 할인된 커뮤니티 클라우드에서 실행
6. 크로스-클라우드 아키텍처 — 주 인프라와 분리된 GPU 컴퓨팅