다중 에이전트 오케스트레이션 및 문서 간 참조를 통한 AI 기반 스프레드시트 및 문서 분석

우리는 대규모 문서를 위한 벡터 데이터베이스 기반 검색, 다양한 문서 유형을 위한 특화된 에이전트, 문서 간 추론을 위한 오케스트레이터, 그리고 스프레드시트 편집을 위한 쓰기-백 (write-back) 기능을 갖춘 다중 에이전트 AI 문서 인텔리전스 플랫폼을 구축했습니다.

아키텍처

• Orchestrator: 특화된 에이전트들 간의 다단계 워크플로우를 조정하는 AI 오케스트레이터 에이전트
• Spreadsheet Agent: Excel/CSV/Google Sheets 분석, 수식 생성 및 셀 편집을 처리합니다.
• Document Agent: PDF/Word 문서 읽기, 추출 및 요약을 처리합니다.
• Cross-Reference Agent: 다양한 문서 유형에 걸쳐 조인, 비교 및 조정을 수행합니다.
• Vector Database: 문서 청크 및 스프레드시트 행의 의미론적 색인화를 위한 Milvus
• LLM Layer: 함수 호출을 포함한 다중 모델 접근 방식
• Backend: 문서 처리 및 에이전트 오케스트레이션을 위한 Python/FastAPI
• Frontend: 파일 업로드, 채팅 인터페이스 및 실시간 스프레드시트 미리 보기를 제공하는 React 대시보드
• Storage: 원본 파일용 S3, 메타데이터 및 작업 추적용 PostgreSQL

다중 에이전트 아키텍처

에이전트 역할

1. 오케스트레이터 에이전트

사용자 쿼리를 수신하고 이를 하위 작업으로 분해하여 특화된 에이전트에게 위임하는 중앙 코디네이터입니다. 사용자 의도를 분석하고, 실행 계획을 수립하며, 에이전트 간 데이터 흐름을 관리하고, 결과를 집계하며, 오류 복구를 처리합니다.

2. 스프레드시트 에이전트

스키마 이해, 자연어 쿼리 번역, 집계 및 필터링, 수식 생성, 셀 편집 및 열 채우기, 차트 제안, 데이터 유효성 검사/이상 감지를 포함한 테이블 형식 데이터 작업에 특화되어 있습니다.

3. 문서 에이전트

OCR 및 레이아웃 인식 텍스트 추출, 섹션 식별, 계약서에서 키-값 추출, 요약, 의미론적 절 검색, PDF/Word 문서에서 테이블 추출을 포함한 비정형 및 반정형 문서에 특화되어 있습니다.

4. 교차 참조 에이전트

문서 간 개체 일치, 데이터 조정 및 불일치 식별, 타임라인 분석, 충돌하는 데이터에 대한 종속성 해결, 문서 유형 간 SQL 유사 조인 작업을 포함한 다중 문서 추론에 특화되어 있습니다.

벡터 데이터베이스 레이어

문서에 벡터 DB를 사용하는 이유

대규모 문서와 스프레드시트는 단일 LLM 컨텍스트 창에 모두 들어갈 수 없습니다. 벡터 데이터베이스는 수백만 개의 행과 문서 청크에 걸친 의미론적 검색, 쿼리당 관련 부분만 검색, 임베딩 유사성을 통한 문서 간 개체 연결, 그리고 모든 쿼리마다 재처리가 필요 없는 영구적인 색인화를 가능하게 합니다.

색인화 전략

스프레드시트 색인화:

각 행은 주요 열 값을 연결하여 자연어 표현으로 변환된 후, 임베딩되어 원본 파일, 시트 및 쓰기-백 작업을 위한 행 인덱스에 대한 참조와 함께 저장됩니다.

문서 색인화:

문서는 레이아웃을 인식하여 추출되고, 중첩된 의미론적 세그먼트로 청크화되며, 임베딩되어 원본 파일, 섹션 및 페이지 번호에 대한 참조와 함께 저장됩니다.

문서 간 개체 색인:

별도의 색인은 문서 간에 개체 (공급업체, 제품, 사람, 송장 번호)를 연결하여, 원본 파일에 관계없이 개체의 모든 언급을 빠르게 찾을 수 있도록 교차 참조 쿼리를 가능하게 합니다.

검색 파이프라인

사용자가 문서 간 질문을 할 때, 오케스트레이터는 필요한 문서와 에이전트를 식별하고, 모든 소스에서 관련 데이터를 찾기 위해 벡터 검색을 수행하며, 처리를 위해 특화된 에이전트에게 위임하고, 결과를 일관된 응답으로 집계합니다.

오케스트레이션 엔진

쿼리 분해

오케스트레이터는 복잡한 쿼리를 다단계 실행 계획으로 분해합니다. 예를 들어, "납기 지연된 공급업체를 찾고, 계약 위약금 조항을 확인하고, 청구 가능한 위약금을 계산하라"와 같은 질문은 스프레드시트 에이전트를 통한 배송 데이터 쿼리, 문서 에이전트를 통한 계약 검색, 교차 참조 에이전트를 통한 결과 조인과 같은 순차적인 단계로 분해됩니다.

에이전트 통신

• 에이전트는 타입이 지정된 페이로드를 가진 구조화된 메시지를 통해 통신합니다.
• 오케스트레이터는 중간 결과를 포함한 실행 컨텍스트를 유지합니다.
• 실패한 단계는 재시도 또는 대체 전략을 트리거합니다.
• 일부 단계는 완료되었지만 다른 단계가 실패하면 부분적인 결과가 반환됩니다.

스프레드시트 편집 및 쓰기-백

편집 기능

이 플랫폼은 AI 에이전트가 제안하고 사용자 승인 하에 적용되는 셀 업데이트, 열 채우기, 행 삽입, 조건부 서식, 새 시트 생성, 수식 삽입을 지원합니다.

쓰기-백 파이프라인

1. 에이전트가 편집 작업 (어떤 셀, 어떤 값)을 결정합니다.
2. 변경 사항 미리 보기가 차이 강조 (이전 값 vs. 새 값)와 함께 사용자에게 표시됩니다.
3. 사용자가 제안된 변경 사항을 승인하거나 수정합니다.
4. 백엔드는 형식별 적절한 라이브러리를 사용하여 파일에 변경 사항을 적용합니다.
5. 수정된 파일은 편집 감사 추적과 함께 새 버전으로 저장됩니다.
6. 변경 된 행에 대한 벡터 색인이 업데이트됩니다.

버전 제어

• 모든 편집은 새 파일 버전을 생성합니다 (원본 보존).
• 차이 로그는 무엇이, 언제, 왜 변경되었는지 정확히 보여줍니다.
• 클릭 한 번으로 이전 버전으로 롤백합니다.
• 편집 기여: 각 변경 사항을 수행한 에이전트 또는 사용자.

새 문서 처리 파이프라인

파일 업로드 흐름

1. 사용자가 파일 업로드 (드래그 앤 드롭 또는 API).
2. 파일 유형 감지 및 적절한 프로세서로 라우팅.
3. 스프레드시트: 파싱, 스키마 추론, 행 임베딩 및 색인화.
4. PDF: OCR (스캔된 경우) → 레이아웃 추출 → 청크화 → 임베딩 → 색인화.
5. Word Docs: 텍스트 추출 → 섹션 파싱 → 청크화 → 임베딩 → 색인화.
6. 개체 추출: NER이 모든 문서에서 사람, 조직, 날짜, 금액을 식별.
7. 문서 간 연결: 새 언급으로 개체 색인 업데이트.
8. 파일 메타데이터는 PostgreSQL에, 임베딩은 벡터 DB에, 원본은 S3에 저장.

지원되는 형식

이 플랫폼은 Excel, CSV, Google Sheets (완전 쓰기-백 지원), 기본 및 스캔된 PDF (읽기 전용), Word docs 및 Google Docs (제한적 쓰기-백 지원)를 지원합니다.

주요 기능

1. 다중 에이전트 아키텍처 — 스프레드시트, 문서 및 교차 참조를 위한 특화된 에이전트
2. AI Orchestrator — 복잡한 쿼리를 다단계 실행 계획으로 분해
3. 문서 간 참조 — 파일 유형 간 개체 연결 및 데이터 조정
4. 벡터 기반 검색 — LLM 컨텍스트 한계를 넘어서는 데이터셋을 처리하는 의미론적 검색
5. 스프레드시트 쓰기-백 — AI가 사용자 승인 하에 셀을 편집하고, 열을 채우며, 수식을 삽입
6. 대규모 데이터셋 지원 — 50,000개 이상의 행을 가진 스프레드시트를 벡터 검색을 통해 색인화 및 쿼리 가능
7. 버전 제어 — 모든 편집은 차이 로그 및 롤백 기능과 함께 버전 관리
8. 자연어 쿼리 — 복잡한 분석 질문을 평이한 영어로 질의
9. 다중 형식 지원 — Excel, CSV, Google Sheets, PDF, Word, Google Docs
10. 편집 미리 보기 — 변경 사항 적용 전에 차이 강조된 미리 보기