EC2 및 S3 기반 영구 스토리지를 활용한 Kubernetes 상 Milvus 오토스케일링

쿼리 노드를 위한 Horizontal Pod Autoscaling, 컴퓨팅을 위한 Cluster Autoscaler, 그리고 영구 스토리지 백엔드로 Amazon S3를 사용하여 Kubernetes (EKS)에 Milvus를 배포했습니다. 이를 통해 데이터 손실 위험을 없애고 스토리지 비용을 약 80% 절감했습니다.

아키텍처

• 오케스트레이션: Amazon EKS (Elastic Kubernetes Service)
• 컴퓨팅: Cluster Autoscaler가 관리하는 EC2 인스턴스 (혼합 인스턴스 유형)
• 벡터 DB: 분산 모드로 Helm 차트를 통해 배포된 Milvus
• 객체 스토리지: 세그먼트 파일, 인덱스 파일, 빈로그 영구 저장을 위한 Amazon S3
• 메타데이터: Milvus 조정 및 메타데이터를 위한 etcd 클러스터
• 메시지 큐: Milvus 로그 파이프라인을 위한 메시지 스트리밍
• 모니터링: Milvus 메트릭 및 오토스케일링 신호를 위한 Prometheus + Grafana

Kubernetes 상 Milvus 분산 아키텍처

컴포넌트 배포

Milvus는 전용 노드 유형을 가진 분산 모드로 실행되며, 각 노드는 독립적인 스케일링이 가능한 Kubernetes 워크로드로 배포됩니다:

• 프록시 노드 — 클라이언트 연결 및 요청 라우팅 처리
• 쿼리 노드 — 벡터 검색 실행 및 세그먼트를 메모리로 로드
• 데이터 노드 — 쓰기 경로 처리 및 세그먼트를 S3로 플러시
• 인덱스 노드 — 벡터 인덱스 구축 및 S3에 쓰기
• 코디네이터 — 클러스터 조정 및 타임스탬프 할당
• etcd — 메타데이터 저장 및 서비스 디스커버리
• 메시지 큐 — 로그 스트리밍 및 선행 쓰기 로그

Horizontal Pod Autoscaling (HPA)

쿼리 노드 오토스케일링

쿼리 노드는 주요 스케일링 대상입니다. 이들은 벡터 세그먼트를 메모리로 로드하고 검색을 실행합니다. 스케일링은 CPU 활용률, 메모리 활용률, 쿼리 큐 깊이, P99 쿼리 지연 시간 등 여러 메트릭에 의해 구동됩니다. HPA는 적절한 최소/최대 복제본, 스파이크 처리를 위한 빠른 스케일업, 플래핑을 피하기 위한 점진적인 스케일다운으로 구성됩니다.

인덱스 노드 오토스케일링

인덱스 노드는 보류 중인 인덱스 빌드 작업에 따라 확장됩니다. 빌드 큐에 보류 중인 항목이 있을 때 스케일업하고 유휴 상태일 때 스케일다운합니다.

EC2 Cluster Autoscaler

인스턴스 전략

• 노드 그룹: 비용 최적화를 위한 다양한 인스턴스 유형을 가진 여러 노드 그룹
• 쿼리 워크로드: 인메모리 벡터 세그먼트를 위한 메모리 최적화 인스턴스
• 인덱스 워크로드: CPU 집약적인 인덱스 구축을 위한 컴퓨팅 최적화 인스턴스
• 스팟 인스턴스: 인덱스 노드 및 비주요 데이터 노드는 상당한 절약을 위해 스팟 인스턴스에서 실행됩니다.
• 온디맨드: 안정성을 위해 온디맨드 인스턴스에서 실행되는 쿼리 노드 및 코디네이터

스케일링 동작

HPA가 스케줄링할 수 없는 새 Pod를 생성하면 Cluster Autoscaler는 적절한 노드 그룹에 새 EC2 인스턴스를 프로비저닝합니다. 새 쿼리 노드는 할당된 세그먼트를 S3에서 메모리로 로드하고 쿼리를 서비스하기 시작하며, 전체 스케일업 프로세스는 몇 분 내에 완료됩니다.

S3 기반 영구 스토리지

블록 스토리지 대신 S3를 사용하는 이유

S3는 Milvus용 블록 스토리지에 비해 상당한 이점을 제공합니다:

• 대규모 데이터셋의 경우 스토리지 비용 약 80% 절감
• 내장된 다중 AZ 복제로 11-나인 내구성
• 수동 볼륨 크기 조정 없이 무제한 스케일링
• Pod 독립적 — Pod 또는 노드 라이프사이클과 관계없이 항상 데이터 사용 가능
• AZ 종속성 없음 — 모든 가용 영역에서 데이터 접근 가능

S3를 사용한 데이터 흐름

1. 쓰기 경로: 데이터 노드는 삽입을 메모리에 버퍼링한 다음, 밀봉된 세그먼트를 S3로 플러시합니다.
2. 인덱스 구축: 인덱스 노드는 S3에서 세그먼트를 읽고 인덱스를 구축한 다음 인덱스 파일을 S3에 다시 씁니다.
3. 쿼리 경로: 쿼리 노드는 S3에서 세그먼트와 인덱스를 다운로드하고 메모리에 로드하여 쿼리를 제공합니다.
4. 복구: Pod가 다시 시작될 때, 쿼리 노드는 할당된 세그먼트를 S3에서 다시 다운로드합니다 (데이터 손실 없음).

S3 성능 최적화

• 세그먼트 크기 튜닝은 S3 요청 비용과 데이터 신선도를 균형 있게 맞춥니다.
• NVMe 인스턴스 스토리지의 로컬 SSD 캐싱은 핫 세그먼트에 대한 반복적인 S3 읽기를 방지합니다.
• 병렬 다운로드는 빠른 쿼리 노드 시작을 가능하게 합니다.
• 수명 주기 정책은 오래된 데이터를 더 저렴한 스토리지 계층으로 아카이빙합니다.

모니터링 및 관찰 가능성

배포에는 Prometheus 및 Grafana를 통한 포괄적인 모니터링이 포함됩니다:

• 쿼리 성능 — 지연 시간 분포, QPS, 캐시 적중률
• 클러스터 개요 — 노드 수, Pod 상태, 리소스 활용률
• 스토리지 상태 — S3 사용량, 세그먼트 수, 플러시 속도
• 오토스케일링 이벤트 — HPA 이벤트, 노드 스케일링, Pod 스케줄링 지연 시간
• 경고 — 높은 지연 시간, OOM 위험, 플러시 실패 및 용량 제한에 대한 자동 경고

주요 특징

1. 쿼리 노드 HPA — CPU, 메모리, 지연 시간 및 큐 깊이에 기반한 자동 스케일링
2. EC2 Cluster Autoscaler — 혼합 인스턴스 유형을 사용한 동적 노드 프로비저닝
3. S3 영구 저장 — 11-나인 내구성, 블록 스토리지보다 약 80% 저렴, AZ 장애 생존 가능
4. 스팟 인스턴스 — 상당한 컴퓨팅 절약을 위한 스팟 인스턴스 상의 인덱스 및 데이터 노드
5. 로컬 SSD 캐시 — NVMe 캐싱은 핫 세그먼트에 대한 반복적인 S3 읽기를 제거합니다.
6. 무중단 복구 — Pod 재시작 시 S3에서 세그먼트를 다시 로드하여 데이터 손실 없음
7. 다중 AZ — 완벽한 AZ 장애 허용을 위한 S3 스토리지 + 다중 AZ 노드 그룹
8. 관찰 가능성 — Milvus 특정 메트릭 및 오토스케일링 가시성을 제공하는 Prometheus + Grafana