확장 가능하고 비용 효율적인 AI 추론을 위한 RunPod 활용

저희는 GPU 컴퓨팅 레이어로 RunPod를 채택하여, 온디맨드 및 스팟 GPU 인스턴스를 활용해 기존 클라우드 GPU 비용의 극히 일부로 AI 추론 워크로드를 실행했으며, 콜드 스타트를 최소화하기 위한 웜 인스턴스 아키텍처를 사용했습니다.

아키텍처

• Compute: 추론 워크로드용 RunPod GPU Pod, 워크로드별로 GPU 티어 선택
• Orchestration: RunPod Pod를 관리하는 주 클라우드의 FastAPI 오케스트레이터
• Networking: 주 인프라와 RunPod 인스턴스 간의 보안 터널
• Model Storage: 빠른 시작을 위해 모델이 내장된 사전 구축된 Docker 이미지
• Monitoring: Pod 가용성을 위한 상태 확인 및 자동 재시작

인프라 설계

Pod 구성

• GPU Selection: 워크로드별로 비용 효율적인 GPU 티어 선택, 동급 주요 클라우드 제공업체 GPU 인스턴스 대비 약 85-90% 비용 절감
• Docker Templates: 추론을 위해 AI 모델이 사전 로드된 사용자 지정 컨테이너
• Persistent Storage: 모델 가중치 및 구성 파일을 위한 네트워크 볼륨
• Environment Variables: 스트림 엔드포인트, API 키 및 기능 플래그를 위한 동적 구성

웜 인스턴스 전략

요청별로 Pod를 콜드 스타트하는 대신, 운영 시간 동안 웜 인스턴스를 유지합니다:

1. Scheduled Scaling — 피크 시간 전에 Pod 시작, 비피크 시간 동안 중지
2. Pre-Loaded Models — 컨테이너 시작 시 추론 엔진 로드, 즉시 준비
3. Health Probes — 오케스트레이터는 RunPod Pod의 준비 상태를 정기적으로 모니터링하여 확인
4. Auto-Recovery — 비정상 Pod는 RunPod API를 통해 자동으로 교체

크로스 클라우드 통신

• Primary Cloud: API 서버, 데이터베이스, 녹화 워커
• GPU Cloud (RunPod): AI 추론, 객체 감지, 트래킹
• Data Flow: 비디오 프레임은 추론을 위해 주 클라우드에서 RunPod로 전송; 감지 결과는 WebSocket을 통해 반환
• Timestamp Sync: 클라우드 간의 클록 스큐를 처리하기 위한 PTS 기반 동기화

비용 최적화

RunPod의 가격 모델은 주요 클라우드 제공업체의 동급 GPU 인스턴스에 비해 상당한 비용 절감을 가져왔습니다:

• On-Demand: 시간당 GPU 컴퓨팅 비용 약 85-90% 절감
• Spot Pricing: 커뮤니티 클라우드에서 중요하지 않은 배치 처리에 대해 50% 추가 절감
• Scheduled Shutdown: 운영 시간을 기반으로 한 자동 중지/시작으로 비용 추가 절감
• Right-Sizing: 과도한 프로비저닝 대신 실제 VRAM 요구 사항에 맞는 GPU 티어 선택
• Multi-Pod Distribution: 하나의 대형 인스턴스 대신 더 작고 저렴한 GPU에 스트림 분산

배포 워크플로

1. Build — 모든 모델, 종속성 및 애플리케이션 코드를 포함한 Docker 이미지 빌드
2. Push — 컨테이너 레지스트리로 이미지 푸시
3. Deploy — RunPod API가 지정된 GPU, 이미지 및 볼륨 마운트로 Pod 생성
4. Configure — 특정 배포를 위한 환경 변수 설정
5. Monitor — 오케스트레이터가 Pod 상태를 확인하고 추론 요청 라우팅 시작
6. Scale — 로드 증가 시 API를 통해 추가 Pod 시작

주요 기능

1. Significant Cost Reduction — 동급 주요 클라우드 GPU 인스턴스 대비 85-90% 비용 절감
2. Pre-Built Containers — 30초 미만 시작을 위해 Docker 이미지에 내장된 모델
3. API-Driven Scaling — 수요에 기반한 프로그래밍 방식의 Pod 생성/삭제
4. Multi-GPU Support — 워크로드 요구 사항에 따라 여러 GPU 티어 사용 가능
5. Spot Instance Fallback — 중요하지 않은 워크로드는 할인된 커뮤니티 클라우드에서 실행
6. Cross-Cloud Architecture — GPU 컴퓨팅이 주 인프라로부터 분리