マルチエージェントオーケストレーションとドキュメント間相互参照によるAI活用型スプレッドシート＆ドキュメント分析

私たちは、大規模ドキュメント向けのベクトルデータベースバック型検索、異なるドキュメントタイプ向けの専門エージェント、ドキュメント間推論のためのオーケストレーター、そしてスプレッドシート編集のための書き戻し機能を備えた、マルチエージェント AI ドキュメントインテリジェンスプラットフォームを構築しました。

アーキテクチャ

• Orchestrator: 専門エージェント間で多段階ワークフローを調整する AI オーケストレーターエージェント
• Spreadsheet Agent: Excel/CSV/Google Sheets の分析、数式生成、セル編集を処理
• Document Agent: PDF/Word ドキュメントの読み取り、抽出、要約を処理
• Cross-Reference Agent: ドキュメントタイプを横断する結合、比較、照合を実行
• Vector Database: ドキュメントチャンクとスプレッドシート行のセマンティックインデックス作成のための Milvus
• LLM Layer: 関数呼び出しを備えたマルチモデルアプローチ
• Backend: ドキュメント処理とエージェントオーケストレーションのための Python/FastAPI
• Frontend: ファイルアップロード、チャットインターフェース、ライブスプレッドシートプレビューを備えた React ダッシュボード
• Storage: オリジナルファイル用の S3、メタデータとジョブ追跡用の PostgreSQL

マルチエージェントアーキテクチャ

エージェントの役割

1. Orchestrator Agent

ユーザーからのクエリを受け取り、それらをサブタスクに分解し、専門エージェントに委任する中央コーディネーターです。ユーザーの意図を分析し、実行計画を作成し、エージェント間のデータフローを管理し、結果を集約し、エラーリカバリを処理します。

2. Spreadsheet Agent

スキーマ理解、自然言語からクエリへの変換、集計とフィルタリング、数式生成、セル編集と列の補完、グラフの提案、データ検証/異常検出など、表形式データ操作に特化しています。

3. Document Agent

OCR およびレイアウトを考慮したテキスト抽出、セクション識別、契約からのキーバリュー抽出、要約、セマンティック条項検索、PDF/Word ドキュメントからの表抽出など、非構造化および半構造化ドキュメントに特化しています。

4. Cross-Reference Agent

ドキュメント間のエンティティマッチング、データ照合と不一致識別、タイムライン分析、競合するデータの依存関係解決、ドキュメントタイプを横断する SQL ライクな結合操作など、多ドキュメント推論に特化しています。

Vector Database Layer

ドキュメントにベクトル DB を使用する理由

大規模なドキュメントやスプレッドシートは、単一の LLM コンテキストウィンドウには収まりません。ベクトルデータベースは、数百万の行とドキュメントチャンクにわたるセマンティック検索、クエリごとに必要な部分のみの取得、埋め込み類似性によるドキュメント間エンティティリンク、そしてクエリごとに再処理が不要な永続的なインデックス作成を可能にします。

インデックス作成戦略

スプレッドシートのインデックス作成：

各行は主要な列値を連結することで自然言語表現に変換され、その後埋め込み処理され、書き戻し操作のために元のファイル、シート、行インデックスへの参照とともに保存されます。

ドキュメントのインデックス作成：

ドキュメントはレイアウトを考慮して抽出され、重複するセマンティックセグメントにチャンク化され、埋め込み処理され、ソースファイル、セクション、ページ番号への参照とともに保存されます。

ドキュメント間エンティティインデックス：

別のインデックスが、ドキュメントを横断するエンティティ（ベンダー、製品、人物、請求書番号）をリンクし、ソースファイルに関わらずエンティティのすべての言及を迅速に見つける相互参照クエリを可能にします。

検索パイプライン

ユーザーがドキュメント間の質問をすると、オーケストレーターはどのドキュメントとエージェントが必要かを特定し、すべてのソースから関連データを見つけるためにベクトル検索を実行し、専門エージェントに処理を委任し、結果を一貫した応答に集約します。

Orchestration Engine

クエリ分解

オーケストレーターは、複雑なクエリを多段階の実行計画に分解します。例えば、「納期遅延のあるベンダーを見つけ、契約の違約金条項を確認し、請求可能な違約金を計算する」といった質問は、スプレッドシートエージェントを介した納品データ照会、ドキュメントエージェントを介した契約検索、相互参照エージェントを介した結果結合という連続したステップに分解されます。

エージェント間通信

• エージェントは型付きペイロードを持つ構造化メッセージを介して通信します
• オーケストレーターは中間結果とともに実行コンテキストを維持します
• 失敗したステップは再試行またはフォールバック戦略をトリガーします
• 一部のステップが完了し、他が失敗した場合、部分的な結果が返されます

スプレッドシートの編集と書き戻し

編集機能

このプラットフォームは、AI エージェントによって提案され、ユーザーの承認を得て適用される、セル更新、列の補完、行挿入、条件付き書式設定、新規シート作成、数式挿入をサポートしています。

書き戻しパイプライン

1. エージェントが編集操作を決定します（どのセル、どのような値か）
2. 差分強調表示（変更前と変更後の値）付きの編集プレビューがユーザーに表示されます
3. ユーザーは提案された変更を承認または修正します
4. バックエンドは、形式に応じて適切なライブラリを使用してファイルに変更を適用します
5. 変更されたファイルは、編集監査証跡とともに新しいバージョンとして保存されます
6. 変更された行のベクトルインデックスが更新されます

バージョン管理

• すべての編集は新しいファイルバージョンを作成します（元のファイルは保持されます）
• 差分ログは、何が、いつ、なぜ変更されたかを正確に示します
• ワンクリックで以前の任意のバージョンにロールバックできます
• 編集の帰属：どのエージェントまたはユーザーが各変更を行ったか

新規ドキュメントの処理パイプライン

ファイルアップロードフロー

1. ユーザーがファイルをアップロードします（ドラッグアンドドロップまたは API）
2. ファイルタイプが検出され、適切なプロセッサにルーティングされます
3. スプレッドシート：解析、スキーマ推論、行の埋め込みとインデックス作成
4. PDF：OCR（スキャン済みの場合）→レイアウト抽出→チャンク化→埋め込み→インデックス作成
5. Word ドキュメント：テキスト抽出→セクション解析→チャンク化→埋め込み→インデックス作成
6. エンティティ抽出：NER がすべてのドキュメントから人物、組織、日付、金額を識別します
7. ドキュメント間リンク：エンティティインデックスが新しい言及で更新されます
8. ファイルメタデータは PostgreSQL に、埋め込みはベクトル DB に、元のファイルは S3 に保存されます

サポートされる形式

このプラットフォームは、Excel, CSV, Google Sheets（完全な書き戻し機能付き）、ネイティブおよびスキャン済み PDF（読み取り専用）、Word ドキュメントおよび Google Docs（限定的な書き戻し機能付き）をサポートしています。

主要機能

1. マルチエージェントアーキテクチャ — スプレッドシート、ドキュメント、相互参照に特化したエージェント
2. AI Orchestrator — 複雑なクエリを多段階の実行計画に分解
3. ドキュメント間参照 — ファイルタイプを横断するエンティティリンクとデータ照合
4. ベクトル駆動型検索 — LLM のコンテキスト制限を超えるデータセットをセマンティック検索で処理
5. スプレッドシート書き戻し — AI がユーザーの承認を得てセルを編集、列を補完、数式を挿入
6. 大規模データセットサポート — 50,000行以上のスプレッドシートをインデックス化し、ベクトル検索でクエリ可能
7. バージョン管理 — すべての編集が差分ログとロールバック機能でバージョン管理
8. 自然言語クエリ — 複雑な分析質問を平易な英語で問い合わせ可能
9. マルチフォーマットサポート — Excel, CSV, Google Sheets, PDF, Word, Google Docs
10. 編集プレビュー — 変更が適用される前の差分強調表示プレビュー