LLMとベクトルデータベースパイプラインのためのコンテキストに応じた暗号化

我々は、ストレージの前に機密フィールドを選択的に暗号化しつつ、階層化されたアプローチを通じてセマンティックな検索可能性を維持するコンテキストに応じた暗号化アーキテクチャを実装しました。これは、メタデータ内のPIIを暗号化し、サニタイズされた非機密コンテンツを埋め込みに利用できるようにするものです。

アーキテクチャ

• 暗号化エンジン: テナントごとの暗号化キーを使用するAES-256-GCM
• 鍵管理: 鍵の生成、ローテーション、およびアクセス制御のためのAWS KMS
• PII検出: NERベース（Named Entity Recognition）のPII分類器
• ベクトルデータベース: サニタイズされた埋め込みに対する類似性検索のためのMilvus
• LLMレイヤー: サニタイズされたコンテキストがLLMに送信され、生成後に機密フィールドが再挿入されます
• 監査システム: すべての復号化イベントは、ユーザー、タイムスタンプ、および目的とともにログ記録されます
• データベース: 暗号化されたメタデータのためのPostgreSQL

コンテキストに応じた暗号化戦略

データ分類

任意のデータがパイプラインに入る前に、PII分類器が各フィールドを機密レベルによって分類します。

• 高度な機密性 (例：政府ID、金融口座番号、医療ID) — 暗号化され、埋め込まれず、LLMには送信されません
• 機密PII (例：氏名、メールアドレス、電話番号) — 保存時に暗号化され、埋め込み前にプレースホルダーに置換されます
• コンテキスト情報 (例：役職、会社名) — 保存時に暗号化され、同意があれば埋め込みに利用可能です
• 非機密性 (例：製品説明、公開情報) — そのまま保存され、埋め込まれます

暗号化レイヤー

レイヤー1：保存時のフィールドレベル暗号化

機密フィールドは、ストレージの前にAES-256-GCMで暗号化されます。各テナントには、AWS KMSを介したキー階層によって管理される専用のデータ暗号化キー (DEK) が割り当てられます。シャドウフィールドには、復号化を必要とせずに完全一致ルックアップのための検索可能なハッシュが保存されます。

レイヤー2：埋め込み前のサニタイズ

PIIは検出され、テキストが埋め込みモデルに送信される前に型を保持するプレースホルダーに置換されます。これにより、識別可能な情報を削除しつつ、類似性検索のためのセマンティックな意味が保持されます。元のデータとプレースホルダーのマッピングは、ベクトルレコードとともに暗号化されて保存されます。

レイヤー3：LLM生成後のコンテキスト挿入

LLMは、応答を生成するためにプレースホルダーを含むサニタイズされたコンテキストを受け取ります。生成後、システムは暗号化されたストレージから実際の値を応答に再挿入します。これにより、機密データがLLMのトレーニングデータに入ったり、プロバイダーによってキャッシュされたりするのを防ぎます。

ベクトルデータベースのセキュリティ

コレクション設計

ベクトルコレクションは、サニタイズされた埋め込みと暗号化された元のメタデータを一緒に保存します。テナント分離はパーティションキーを介して強制され、各テナントのメタデータは自身のキーを使用して暗号化されます。APIレイヤーは、任意の復号化操作の前にテナントの所有権を検証します。

鍵管理とローテーション

鍵階層

多層鍵階層が使用されます。AWS KMS内のマスターキーがテナントごとの鍵暗号化キーをラップし、それらがフィールドレベル暗号化に使用されるテナントごとのデータ暗号化キーをラップします。これにより、鍵チェーン全体を再暗号化することなく効率的な鍵ローテーションが可能になります。

鍵ローテーションプロセス

1. 新しいDEKの生成 — 既存の鍵暗号化キーの下で新しいデータ暗号化キーが作成されます
2. 新規書き込み — すべての新しいデータは新しいキーで暗号化され、古いキーは読み取りに対して有効なままです
3. バックグラウンド再暗号化 — バッチジョブが既存のレコードを新しいキーで再暗号化します
4. 古いDEKの廃棄 — すべてのレコードが移行されたら、古いキーは非アクティブとしてマークされます
5. 監査ログ — ローテーションイベントは、タイムスタンプと影響を受けたレコード数とともにログ記録されます

監査とコンプライアンス

復号化監査ログ

すべての復号化イベントは、誰がそれを要求したか、何が復号化されたか、いつ、なぜ（要求コンテキスト）、どのキーが使用されたかを記録し、完全なコンプライアンス証跡を提供します。

GDPR消去権

このシステムは、リレーショナルデータベースとベクトルデータベースの両方で完全なデータ削除をサポートしており、暗号的に残留アクセスがないことを保証するためのオプションの鍵ローテーションを備えています。すべての削除操作はGDPR監査証跡にログ記録されます。

主要機能

1. フィールドレベル暗号化 — レコード全体ではなく、機密フィールドにAES-256-GCMを適用
2. PIIサニタイズ — プレースホルダーは埋め込みのセマンティックな意味を保持します
3. LLM後の再挿入 — 機密データはLLMプロバイダーに送信されません
4. テナントごとのキー — AWS KMS管理による分離された暗号化キー
5. 鍵ローテーション — バックグラウンド再暗号化によるゼロダウンタイムローテーション
6. 埋め込みの安全性 — サニタイズされた埋め込みはPIIに対する反転攻撃を防ぎます
7. 監査証跡 — コンプライアンスレポートのためにすべての復号化がログ記録されます
8. GDPR準拠 — 暗号化されたストレージとベクトルDB全体での自動消去