可扩展向量数据库架构

MicrocosmWorks 通常推荐在团队已使用 PostgreSQL 且向量数量少于 500 万到 1000 万的项目中使用 pgvector，因为它避免引入新的基础设施组件，并原生支持混合的 SQL 加向量查询。超过 1000 万向量时，或者在高并发下需要低于 50 毫秒的 p99 延迟时，像 Qdrant、Weaviate 或 Milvus 这样专门构建的向量数据库通过优化的索引算法和 GPU 加速搜索，能提供显著更好的性能。我们通过基准测试客户实际的查询模式和增长预测，在架构审查期间帮助他们做出这个决定。

MicrocosmWorks 设计的向量数据库集群采用基于哈希或基于元数据的分片策略，将向量分布到各个节点，同时保持语义相关数据共置，以实现高效搜索。我们实现查询路由层，将搜索请求扇出到相关分片，并使用全局 Top-K 聚合合并结果，即使跨越数十个分片也能保持亚 100 毫秒的延迟。我们的监控仪表板跟踪分片均衡、查询分布和复制延迟，以防止在数据集扩展时出现热点。

MicrocosmWorks 应用 scalar quantization（将 float32 降至 int8）和 product quantization，可将向量存储压缩 4-8 倍，通常 recall 下降不到 2%。我们在部署到生产环境之前，通过对您实际的查询工作负载进行 A/B testing 来验证这一点。我们还实施了两阶段 retrieval 方法，其中 quantized vectors 用于初始 candidate retrieval，而 full-precision vectors 仅用于 top 结果的 final re-ranking。这种 hybrid strategy 使客户能够以极低的成本存储数亿个向量，同时保持搜索质量与 uncompressed operation 无异。

MicrocosmWorks 将矢量数据库部署在多副本配置中，利用同步复制确保写入持久性，并将读取副本分布在不同可用区，以实现容错和负载均衡。我们配置了采用健康检查驱动的主节点选举的自动化故障转移机制，确保节点故障时，读取不可用时间少于 10 秒，并且数据零丢失。我们的 infrastructure-as-code 模板包含预配置的备份计划、point-in-time recovery 以及针对每种矢量数据库引擎量身定制的 disaster recovery runbooks。

MicrocosmWorks 构建多集合的 vector database 部署，其中每个应用程序或 embedding model 都有其独立的 collection，并带有适当的 index configurations，同时共享底层的 cluster infrastructure 以实现成本效益。我们实现了一个统一的 query gateway，它根据应用程序上下文将请求路由到正确的 collection，并应用 collection-specific 的预处理，例如使用匹配模型进行 query embedding。这种 multi-tenant vector database 方法与每个应用程序运行单独的 cluster 相比，通常可将 infrastructure costs 降低 40-60%。