アーキテクチャパターンに戻る
AI / DataEnterprise
スケーラブルなベクトルデータベースアーキテクチャ
1万個のベクトルであれば、埋め込み検索は容易です。しかし、1億個のベクトルで100ミリ秒未満のP99を達成しようとすると、それはインフラストラクチャの問題となり、このパターンがそれを解決します。
|
このアーキテクチャについて議論する2 topics covered
AI / Data
Category
Enterprise
Complexity
AI/ML, Eコマース
Industries
2+
Technologies
このパターンが必要なケース
RAGパイプラインやレコメンデーションシステムは、開発段階では数千のベクトルで問題なく動作します。しかし、埋め込みが5000万個になり、クエリに100ミリ秒未満のレイテンシが必要で、インデックスが継続的に増大し、メモリを大量に消費している場合、問題が生じます。水平方向にスケールし、メモリを効率的に管理し（すべてがRAMに常駐する必要はない）、取り込み中の同時書き込みがクエリパフォーマンスを低下させず、本質的には検索インデックスであるものに対し、インフラストラクチャ費用が月額1万ドルもかからないベクトルデータベースアーキテクチャが必要です。
パターン概要
Related Architecture Patterns
Explore more design patterns and system architectures
よくある質問
MicrocosmWorksは、チームが既にPostgreSQLを使用しており、500万から1000万未満のベクトルを扱うプロジェクトでは、pgvectorを一般的に推奨しています。これは、新しいインフラコンポーネントの導入を避けられ、ハイブリッドなSQLとベクトルのクエリをネイティブにサポートするためです。1000万ベクトルを超える場合や、高並行性で50ミリ秒未満のp99レイテンシが必要な場合は、Qdrant、Weaviate、Milvusのような専用のベクトルデータベースが、最適化されたインデックスアルゴリズムとGPUアクセラレーションによる検索を通じて、著しく優れたパフォーマンスを提供します。私たちは、クライアントの実際のクエリパターンと成長予測をベンチマークすることで、アーキテクチャレビュー中にこの決定を支援します。
MicrocosmWorks は、効率的な検索のために意味的に関連するデータを共存させながら、ベクトルをノード全体に分散させる hash-based または metadata-based の sharding 戦略を用いて vector database クラスターを設計しています。当社は、関連するシャードに検索リクエストをファンアウトし、グローバルな top-K aggregation を使用して結果をマージするクエリルーティングレイヤーを実装しており、数十のシャードにわたっても sub-100ms のレイテンシを維持しています。当社の監視ダッシュボードは、データセットの規模が拡大するにつれてホットスポットを防止するために、シャードのバランス、クエリの分布、および replication lag を追跡します。
MicrocosmWorks は、scalar quantization（float32 を int8 に削減）と product quantization を適用し、vector storage を4〜8倍に圧縮します。これにより、通常、recall の劣化は2%未満に抑えられます。これは、production 環境にデプロイする前に、お客様の実際の query workload で A/B testing を通じて検証しています。さらに、quantized vectors が最初の candidate retrieval を行い、full-precision vectors は上位結果の最終的な re-ranking にのみ使用される、two-stage retrieval アプローチを実装しています。この hybrid strategy により、お客様は数億個の vector をはるかに低いコストで保存できると同時に、uncompressed operation と区別できない検索品質を維持できます。
MicrocosmWorks は、vector databases をマルチレプリカ構成でデプロイし、write durability のために synchronous replication を使用し、fault tolerance と load balancing のために availability zones 全体に read replicas を分散させています。当社は、health-check-driven leader election を用いた automated failover を設定しており、node failure が発生した場合でも、read unavailability が10秒未満に抑えられ、zero data loss になります。当社の infrastructure-as-code テンプレートには、事前設定されたバックアップスケジュール、point-in-time recovery、および disaster recovery runbooks が含まれており、各 vector database engine に合わせて調整されています。
MicrocosmWorksは、マルチコレクションのベクターデータベースデプロイメントを設計します。これにより、各アプリケーションまたはembeddingモデルは、適切なインデックス構成を持つ独自の独立したコレクションを取得し、コスト効率のために基盤となるクラスターインフラストラクチャを共有します。当社は、アプリケーションコンテキストに基づいてリクエストを正しいコレクションにルーティングし、一致するモデルによるクエリembeddingのような、コレクション固有の前処理を適用する統合されたクエリゲートウェイを実装しています。このマルチテナントベクターデータベースのアプローチは、アプリケーションごとに個別のクラスターを運用する場合と比較して、通常、インフラストラクチャコストを40〜60%削減します。
