확장 가능한 벡터 데이터베이스 아키텍처

MicrocosmWorks는 팀이 이미 PostgreSQL을 사용하고 있는 경우, 새로운 인프라 구성 요소를 도입할 필요가 없으며 하이브리드 SQL-plus-vector 쿼리를 기본적으로 지원하므로 500만~1,000만 개 미만의 벡터를 사용하는 프로젝트에 pgvector를 일반적으로 권장합니다. 1,000만 개 이상의 벡터를 처리하거나 높은 동시성에서 50ms 미만의 p99 지연 시간이 필요할 경우, Qdrant, Weaviate 또는 Milvus와 같은 전용 벡터 데이터베이스는 최적화된 인덱싱 알고리즘과 GPU 가속 검색을 통해 훨씬 더 나은 성능을 제공합니다. 저희는 아키텍처 검토 중에 고객의 실제 쿼리 패턴과 성장 예측을 벤치마킹하여 이러한 결정을 내릴 수 있도록 돕습니다.

MicrocosmWorks는 효율적인 검색을 위해 의미론적으로 관련된 데이터를 co-located 상태로 유지하면서, vector를 node들에 분산시키는 hash-based 또는 metadata-based sharding 전략으로 vector database clusters를 설계합니다. 우리는 관련 shard로 검색 요청을 분산시키고 전역 top-K aggregation을 사용하여 결과를 병합하며, 수십 개의 shard에 걸쳐서도 100ms 미만의 latency를 유지하는 query routing layers를 구현합니다. 우리의 monitoring dashboards는 dataset이 확장됨에 따라 hotspot이 발생하는 것을 방지하기 위해 shard balance, query distribution, 그리고 replication lag을 추적합니다.

MicrocosmWorks는 scalar quantization (float32를 int8로 줄임) 및 product quantization을 적용하여 vector storage를 4-8배 압축하며, 일반적으로 recall에서 2% 미만의 저하가 발생합니다. 이는 production에 배포하기 전에 고객의 실제 query workload에 대한 A/B testing을 통해 검증됩니다. 또한, quantized vectors가 초기 candidate retrieval에 사용되고 full-precision vectors는 상위 결과의 최종 re-ranking에만 사용되는 2단계 retrieval approach를 구현합니다. 이 하이브리드 전략을 통해 고객은 수억 개의 vectors를 극히 일부의 비용으로 저장하면서도, 비압축 작업과 구별할 수 없는 검색 품질을 유지할 수 있습니다.

MicrocosmWorks는 쓰기 내구성을 위해 동기식 복제를 사용하는 다중-복제본 구성으로 벡터 데이터베이스를 배포하고, 내결함성 및 로드 밸런싱을 위해 가용 영역에 걸쳐 분산된 읽기 복제본을 사용합니다. 당사는 노드 장애가 발생하더라도 10초 미만의 읽기 불가용성만 발생하고 데이터 손실은 전혀 없도록 상태 확인 기반의 리더 선출을 통한 자동화된 페일오버를 구성합니다. 당사의 코드형 인프라 템플릿에는 각 벡터 데이터베이스 엔진에 맞춰진 사전 구성된 백업 일정, 특정 시점 복구, 그리고 재해 복구 런북이 포함되어 있습니다.

MicrocosmWorks는 각 애플리케이션 또는 임베딩 모델이 적절한 인덱스 구성과 함께 자체적인 격리된 컬렉션을 가지도록 하는 다중 컬렉션 벡터 데이터베이스 배포를 설계하며, 동시에 비용 효율성을 위해 기본 클러스터 인프라를 공유합니다. 저희는 애플리케이션 컨텍스트를 기반으로 요청을 올바른 컬렉션으로 라우팅하고, 일치하는 모델로 쿼리 임베딩과 같은 컬렉션별 사전 처리를 적용하는 통합 쿼리 게이트웨이를 구현합니다. 이러한 멀티테넌트 벡터 데이터베이스 접근 방식은 애플리케이션별로 개별 클러스터를 운영하는 것에 비해 인프라 비용을 일반적으로 40-60% 절감합니다.