확장 가능하고 비용 효율적인 AI 추론을 위한 RunPod 활용

저희는 GPU 컴퓨팅 계층으로 RunPod를 채택하여, 온디맨드 및 Spot GPU 인스턴스를 사용하여 기존 클라우드 GPU 비용의 일부로 AI 추론 워크로드를 실행하고, 콜드 스타트를 최소화하기 위한 웜 인스턴스 아키텍처를 사용했습니다.

아키텍처

• 컴퓨팅: 추론 워크로드를 위한 RunPod GPU pod, 워크로드별로 GPU 티어 선택
• 오케스트레이션: 기본 클라우드의 FastAPI 오케스트레이터가 RunPod pod 관리
• 네트워킹: 기본 인프라와 RunPod 인스턴스 간의 보안 터널
• 모델 스토리지: 빠른 시작을 위해 모델이 포함된 사전 구축된 Docker 이미지
• 모니터링: pod 가용성을 위한 상태 확인 및 자동 재시작

인프라 설계

Pod 구성

• GPU 선택: 워크로드별로 비용 효율적인 GPU 티어 선택, 동급 주요 클라우드 제공업체 GPU 인스턴스 대비 약 85-90% 비용 절감 달성
• Docker 템플릿: 추론을 위해 AI 모델이 사전 로드된 사용자 지정 컨테이너
• 영구 스토리지: 모델 가중치 및 구성 파일을 위한 네트워크 볼륨
• 환경 변수: 스트림 엔드포인트, API 키 및 기능 플래그를 위한 동적 구성

웜 인스턴스 전략

요청당 pod를 콜드 스타트하는 대신, 운영 시간 동안 웜 인스턴스를 유지합니다:

1. 예정된 스케일링 — 피크 시간 전에 pod 시작, 비피크 시간 동안 중지
2. 사전 로드된 모델 — 컨테이너 시작 시 추론 엔진 로드, 즉시 준비
3. 상태 프로브 — 오케스트레이터가 RunPod pod의 준비 상태를 정기적으로 모니터링
4. 자동 복구 — 비정상적인 pod는 RunPod API를 통해 자동으로 교체

크로스 클라우드 통신

• 기본 클라우드: API 서버, 데이터베이스, 녹화 워커
• GPU 클라우드 (RunPod): AI 추론, 객체 감지, 추적
• 데이터 흐름: 비디오 프레임은 기본 클라우드에서 RunPod로 추론을 위해 전송; 감지 결과는 WebSocket을 통해 반환
• 타임스탬프 동기화: 클라우드 간 클럭 스큐를 처리하기 위한 PTS 기반 동기화

비용 최적화

RunPod의 가격 모델은 주요 클라우드 제공업체의 동급 GPU 인스턴스와 비교하여 상당한 비용 절감을 제공했습니다:

• On-Demand: 시간당 GPU 컴퓨팅 비용 약 85-90% 절감
• Spot Pricing: 커뮤니티 클라우드에서 중요하지 않은 배치 처리에 대해 추가 50% 절감
• 예정된 종료: 운영 시간에 따른 자동 중지/시작으로 비용 추가 절감
• 적정 크기 조정: 과도한 프로비저닝 대신 실제 VRAM 요구 사항에 맞는 GPU 티어 선택
• 멀티 Pod 분산: 하나의 큰 인스턴스 대신 더 작고 저렴한 GPU에 스트림 분산

배포 워크플로우

1. 빌드 — 모든 모델, 종속성 및 애플리케이션 코드를 포함한 Docker 이미지
2. 푸시 — 컨테이너 레지스트리로 이미지 푸시
3. 배포 — RunPod API는 지정된 GPU, 이미지 및 볼륨 마운트를 사용하여 pod 생성
4. 구성 — 특정 배포를 위한 환경 변수 설정
5. 모니터링 — 오케스트레이터는 pod 상태를 확인하고 추론 요청 라우팅 시작
6. 스케일 — 로드 증가 시 API를 통해 추가 pod 시작

주요 특징

1. 상당한 비용 절감 — 동급 주요 클라우드 GPU 인스턴스 대비 85-90% 절감
2. 사전 구축된 컨테이너 — 30초 미만 시작을 위해 Docker 이미지에 모델 포함
3. API 기반 스케일링 — 수요에 따른 프로그래밍 방식의 pod 생성/삭제
4. 멀티 GPU 지원 — 워크로드 요구 사항에 따라 여러 GPU 티어 사용 가능
5. Spot 인스턴스 대체 — 중요하지 않은 워크로드는 할인된 커뮤니티 클라우드에서 실행
6. 크로스 클라우드 아키텍처 — GPU 컴퓨팅이 기본 인프라와 분리됨