LLM 및 벡터 데이터베이스 파이프라인을 위한 상황별 암호화

우리는 저장 전에 민감한 필드를 선택적으로 암호화하는 동시에 계층화된 접근 방식을 통해 의미론적 검색 가능성을 보존하는 상황별 암호화 아키텍처를 구현했습니다. 즉, PII를 메타데이터에 암호화하고, 정제된 비민감성 콘텐츠는 임베딩에 사용할 수 있도록 유지하는 것입니다.

아키텍처

• 암호화 엔진: 테넌트별 암호화 키를 사용하는 AES-256-GCM
• 키 관리: 키 생성, 순환 및 접근 제어를 위한 AWS KMS
• PII 감지: NER 기반(개체명 인식) PII 분류기
• Vector Database: 정제된 임베딩에 대한 유사성 검색을 위한 Milvus
• LLM 계층: LLM으로 전송된 정제된 컨텍스트, 생성 후 민감한 필드 재주입
• 감사 시스템: 사용자, 타임스탬프 및 목적과 함께 모든 복호화 이벤트 로깅
• 데이터베이스: 암호화된 메타데이터를 위한 PostgreSQL

상황별 암호화 전략

데이터 분류

어떤 데이터도 파이프라인에 들어가기 전에, PII 분류기가 각 필드를 민감도 수준별로 분류합니다:

• 고민감성 (예: 주민등록번호, 금융 계좌 번호, 의료 ID) — 암호화됨, 임베딩되지 않음, LLM으로 전송되지 않음
• 민감한 PII (예: 전체 이름, 이메일 주소, 전화번호) — 저장 중 암호화됨, 임베딩 전에 자리표시자로 대체됨
• 상황별 (예: 직책, 회사명) — 저장 중 암호화됨, 동의 하에 임베딩에 사용 가능
• 비민감성 (예: 제품 설명, 공개 정보) — 있는 그대로 저장 및 임베딩됨

암호화 계층

계층 1: 저장 중 필드 수준 암호화

민감한 필드는 저장 전에 AES-256-GCM으로 암호화됩니다. 각 테넌트는 AWS KMS를 통해 키 계층 구조로 관리되는 전용 data encryption key(DEK)를 받습니다. Shadow fields는 복호화 없이 정확 일치 조회를 위한 검색 가능한 해시를 저장합니다.

계층 2: 임베딩 전 정제

텍스트가 임베딩 모델로 전송되기 전에 PII가 감지되고 유형을 보존하는 자리표시자로 대체됩니다. 이는 식별 가능한 정보를 제거하면서 유사성 검색을 위한 의미론적 의미를 보존합니다. 원본-자리표시자 매핑은 벡터 레코드와 함께 암호화되어 저장됩니다.

계층 3: LLM 생성 후 컨텍스트 주입

LLM은 응답 생성을 위해 자리표시자가 있는 정제된 컨텍스트를 받습니다. 생성 후, 시스템은 암호화된 저장소에서 실제 값을 응답에 다시 주입합니다. 이는 민감한 데이터가 LLM 훈련 데이터에 들어가거나 제공업체에 의해 캐시되는 것을 방지합니다.

벡터 데이터베이스 보안

컬렉션 설계

벡터 컬렉션은 정제된 임베딩과 함께 암호화된 원본 메타데이터를 저장합니다. 테넌트 격리는 partition keys를 통해 강제되며, 각 테넌트의 메타데이터는 자체 키를 사용하여 암호화됩니다. API 계층은 모든 복호화 작업 전에 테넌트 소유권을 검증합니다.

키 관리 및 순환

키 계층 구조

다단계 키 계층 구조가 사용됩니다: AWS KMS의 master key는 테넌트별 key encryption keys를 래핑하고, 이는 다시 필드 수준 암호화에 사용되는 테넌트별 data encryption keys를 래핑합니다. 이를 통해 전체 키 체인을 재암호화하지 않고도 효율적인 키 순환이 가능합니다.

키 순환 프로세스

1. 새로운 DEK 생성 — 기존 key encryption key 아래에 새로운 data encryption key 생성
2. 새로운 쓰기 — 모든 새로운 데이터는 새 키로 암호화됨; 이전 키는 읽기에 유효하게 유지됩니다.
3. 백그라운드 재암호화 — 배치 작업이 새 키로 기존 레코드를 재암호화합니다.
4. 오래된 DEK 폐기 — 모든 레코드 마이그레이션 후, 오래된 키가 비활성으로 표시됩니다.
5. 감사 로그 — 타임스탬프 및 영향을 받은 레코드 수와 함께 순환 이벤트가 로깅됩니다.

감사 및 규정 준수

복호화 감사 로그

모든 복호화 이벤트는 누가 요청했는지, 무엇이 복호화되었는지, 언제, 왜(요청 컨텍스트), 어떤 키가 사용되었는지를 캡처하여 완전한 규정 준수 추적을 제공합니다.

GDPR 삭제할 권리

이 시스템은 relational database와 벡터 데이터베이스 모두에서 전체 데이터 삭제를 지원하며, 암호학적으로 잔여 접근이 없도록 보장하는 선택적 key rotation 기능을 제공합니다. 모든 삭제 작업은 GDPR 감사 추적에 로깅됩니다.

주요 기능

1. 필드 수준 암호화 — 전체 레코드가 아닌 민감한 필드에 AES-256-GCM 적용
2. PII 정제 — 자리표시자가 임베딩의 의미론적 의미를 보존함
3. LLM 후 재주입 — 민감한 데이터는 LLM 제공업체에 절대 전송되지 않음
4. 테넌트별 키 — AWS KMS 관리하에 격리된 암호화 키
5. 키 순환 — 백그라운드 재암호화를 통한 무중단 순환
6. 임베딩 안전성 — 정제된 임베딩이 PII에 대한 역공격을 방지함
7. 감사 추적 — 규정 준수 보고를 위해 모든 복호화 로깅
8. GDPR 준수 — 암호화된 저장소 및 vector DB 전체에 걸친 자동 삭제