RAGパイプラインアーキテクチャ

MicrocosmWorks は RAG パイプラインにおける競合解決を、ソース権威ランキング、タイムスタンプに基づく最新性重み付け、そして各取得パッセージがその主張をどれだけ強く支持するかを評価する信頼度スコアリングを通じて実装しています。矛盾するパッセージが取得された場合、当社のパイプラインは最も権威のある回答を提示し、ユーザーが情報に基づいた意思決定を行えるよう、不一致と出典を透明に表示します。また、ドメインエキスパートが不正確な解決策にフラグを立てられるフィードバックループを構築しており、これにより時間の経過とともに取得ランキングが向上します。

MicrocosmWorksは、ドキュメント構造に基づいて異なる戦略を適用するコンテンツアウェアなチャンキングを使用しています。具体的には、散文にはセマンティックな段落分割、ヘッダーコンテキストを保持したテーブルには行レベルまたはセクションレベルのチャンキング、そしてインポートステートメントを付加したコードには関数レベルのチャンキングを適用します。私たちは各チャンクに、ドキュメントタイトル、セクション階層、コンテンツタイプなどのメタデータで情報を付加することで、検索ステージでタイプ固有のスコアリングを適用できるようにしています。このアプローチは、私たちのクライアントプロジェクトにおける検索関連性ベンチマークにおいて、素朴な固定サイズチャンキングを25〜40%一貫して上回っています。

MicrocosmWorksは、RAGパイプラインを3つの側面からテストする評価ハーネスを構築しています。すなわち、検索の関連性（適切なチャンクが見つかっているか）、回答の忠実性（生成された回答が実際に検索されたコンテンツを反映しているか）、そして回答の完全性（質問全体に対応しているか）です。私たちは、既知の回答を持つクエリ、敵対的なエッジケース、複数ドキュメントの統合を必要とする質問を含む、ドメインエキスパートと共にゴールデンテストセットを作成します。この評価はCI/CDで自動的に実行されるため、すべてのパイプラインの変更はデプロイ前に基準品質メトリクスに対してベンチマークされます。

MicrocosmWorks は、お客様の規模、クエリパターン、運用要件に基づいて vector database を選定します。マネージドのシンプルさには Pinecone、ハイブリッドなキーワード・vector 検索には Weaviate、すでに PostgreSQL に投資しているチームには pgvector、高スループットなセルフホスト型デプロイメントには Qdrant を推奨しています。1,000万 vector 未満の規模では、ほとんどの選択肢が 100ms 未満の latency を実現しますが、数億 vector の規模になるとその差は顕著になり、index type、quantization、および sharding strategy が極めて重要になります。私たちはアーキテクチャ設計フェーズで、お客様の実際の embedding dimensions とクエリパターンを候補となるオプションに対してベンチマークします。

MicrocosmWorksは、ソースドキュメントリポジトリの変更を監視し、変更されたセクションのみをre-chunkおよびre-embedし、完全なreindexを必要とせずにvector storeを更新する、漸進的な取り込みパイプラインを構築しています。当社は、セクションレベルでコンテンツの変更を検出するdocument fingerprintingを実装しているため、1つの段落の編集で200ページ全体のドキュメントの再処理がトリガーされることはありません。リアルタイムの鮮度要件を持つクライアントには、変更されたばかりのドキュメントをソースシステムに直接問い合わせ、その結果をvector searchのヒットとマージするライブリトリーバルレイヤーを追加します。