AI 기반 멀티 에이전트 오케스트레이션 및 교차 문서 참조 스프레드시트 & 문서 분석
한 기업의 데이터 팀은 자연어를 사용하여 대규모 스프레드시트 및 문서(Excel, CSV, Google Sheets, PDF, Word 문서) 컬렉션을 분석, 쿼리 및 편집해야 했습니다. 이 솔루션은 여러 파일에 걸쳐 데이터를 교차 참조하고 수동 데이터 정제 없이 다단계 분석 워크플로우를 실행할 수 있는 기능을 제공합니다.
프로젝트 상담하기
과제
대규모 비즈니스 문서를 다루는 것은 여러 가지 마찰을 야기했습니다:
- 사일로화된 데이터 — 수십 개의 스프레드시트, PDF 및 Word 문서에 중요한 정보가 흩어져 있어 이들을 한꺼번에 쿼리할 방법이 없었습니다.
- 수동 교차 참조 — 공급업체 가격 목록 (Excel)을 계약 조건 (PDF) 및 송장 내역 (CSV)과 비교하는 데 수동으로 몇 시간을 찾아봐야 했습니다.
- 수식의 한계 — 복잡한 분석 질문에 스프레드시트 수식만으로는 답할 수 없었습니다.
- 컨텍스트 윈도우 한계 — 대규모 스프레드시트 (50,000개 이상의 행)는 LLM 컨텍스트 윈도우를 초과하여, 단순한 접근 방식으로는 실패할 수밖에 없었습니다.
- 편집 기능 부재 — 기존 AI 도구는 문서를 분석할 수 있었지만, 변경 사항을 원본 파일에 다시 저장할 수 없었습니다.
- 다단계 추론 — 여러 문서에 걸쳐 순차적 분석을 요구하는 질문은 오케스트레이션된 다단계 워크플로우를 필요로 했습니다.
우리의 솔루션
당사는 대규모 문서를 위한 벡터 데이터베이스 기반 검색, 다양한 문서 유형을 위한 전문 에이전트, 교차 문서 추론을 위한 오케스트레이터, 그리고 스프레드시트 편집을 위한 쓰기-저장(write-back) 기능을 갖춘 멀티 에이전트 AI 문서 인텔리전스 플랫폼을 구축했습니다.
아키텍처
- 오케스트레이터: 전문 에이전트 간의 다단계 워크플로우를 조율하는 AI 오케스트레이터 에이전트
- 스프레드시트 에이전트: Excel/CSV/Google Sheets 분석, 수식 생성 및 셀 편집을 처리합니다.
- 문서 에이전트: PDF/Word 문서 읽기, 추출 및 요약을 처리합니다.
- 교차 참조 에이전트: 문서 유형 간 조인, 비교 및 조정을 수행합니다.
- 벡터 데이터베이스: 문서 청크 및 스프레드시트 행의 의미론적 색인화를 위한 Milvus
- LLM 레이어: 함수 호출을 통한 멀티 모델 접근 방식
- 백엔드: 문서 처리 및 에이전트 오케스트레이션을 위한 Python/FastAPI
- 프런트엔드: 파일 업로드, 채팅 인터페이스 및 실시간 스프레드시트 미리보기가 있는 React 대시보드
- 스토리지: 원본 파일을 위한 S3, 메타데이터 및 작업 추적을 위한 PostgreSQL
멀티 에이전트 아키텍처
에이전트 역할
1. 오케스트레이터 에이전트사용자 쿼리를 수신하고, 이를 하위 작업으로 분해하여 전문 에이전트에 위임하는 중앙 코디네이터입니다. 사용자 의도를 분석하고, 실행 계획을 생성하며, 에이전트 간 데이터 흐름을 관리하고, 결과를 취합하며, 오류 복구를 처리합니다.
2. 스프레드시트 에이전트스키마 이해, 자연어-쿼리 변환, 집계 및 필터링, 수식 생성, 셀 편집 및 열 채우기, 차트 제안, 데이터 유효성 검사/이상 감지 등 표 형식 데이터 작업에 특화되어 있습니다.
3. 문서 에이전트OCR 및 레이아웃 인식 텍스트 추출, 섹션 식별, 계약서에서 키-값 추출, 요약, 의미론적 조항 검색, PDF/Word 문서에서 테이블 추출 등 비정형 및 반정형 문서에 특화되어 있습니다.
4. 교차 참조 에이전트문서 간 엔티티 매칭, 데이터 조정 및 불일치 식별, 타임라인 분석, 충돌하는 데이터에 대한 의존성 해결, 문서 유형 간 SQL 유사 조인 작업 등 다중 문서 추론에 특화되어 있습니다.
벡터 데이터베이스 레이어
문서에 Vector DB를 사용하는 이유
대규모 문서와 스프레드시트는 단일 LLM 컨텍스트 윈도우에 맞지 않습니다. 벡터 데이터베이스는 수백만 개의 행과 문서 청크에 걸쳐 의미론적 검색을 가능하게 하고, 쿼리당 관련 부분만 검색하며, 임베딩 유사성을 통해 교차 문서 엔티티 연결을 지원하고, 모든 쿼리마다 재처리할 필요가 없는 영구적인 인덱싱을 제공합니다.
인덱싱 전략
스프레드시트 인덱싱:각 행은 주요 열 값을 연결하여 자연어 표현으로 변환된 후, 임베딩되어 원본 파일, 시트 및 쓰기-저장(write-back) 작업을 위한 행 인덱스 참조와 함께 저장됩니다.
문서 인덱싱:문서는 레이아웃 인식을 통해 추출되고, 중첩된 의미론적 세그먼트로 청크화되며, 임베딩되어 원본 파일, 섹션 및 페이지 번호 참조와 함께 저장됩니다.
교차 문서 엔티티 인덱스:별도의 인덱스가 문서 전반에 걸쳐 엔티티(공급업체, 제품, 사람, 송장 번호)를 연결하여, 원본 파일에 관계없이 엔티티의 모든 언급을 신속하게 찾을 수 있도록 교차 참조 쿼리를 가능하게 합니다.
검색 파이프라인
사용자가 교차 문서 질문을 하면, 오케스트레이터는 필요한 문서와 에이전트를 식별하고, 모든 소스에서 관련 데이터를 찾기 위해 벡터 검색을 수행하며, 처리를 위해 전문 에이전트에 위임하고, 결과를 일관된 응답으로 취합합니다.
오케스트레이션 엔진
쿼리 분해
오케스트레이터는 복잡한 쿼리를 다단계 실행 계획으로 분해합니다. 예를 들어, "납품이 늦은 공급업체를 찾고, 계약 벌칙 조항을 확인하고, 청구 가능한 벌칙을 계산하라"와 같은 질문은 다음과 같은 순차적 단계로 분해될 것입니다: 스프레드시트 에이전트를 통한 납품 데이터 쿼리, 문서 에이전트를 통한 계약서 검색, 교차 참조 에이전트를 통한 결과 조인.
에이전트 통신
- 에이전트는 타입이 지정된 페이로드와 함께 구조화된 메시지를 통해 통신합니다.
- 오케스트레이터는 중간 결과와 함께 실행 컨텍스트를 유지합니다.
- 실패한 단계는 재시도 또는 대체 전략을 트리거합니다.
- 일부 단계는 완료되었지만 다른 단계는 실패한 경우 부분 결과가 반환됩니다.
스프레드시트 편집 및 쓰기-저장(Write-Back)
편집 기능
이 플랫폼은 셀 업데이트, 열 채우기, 행 삽입, 조건부 서식, 새 시트 생성 및 수식 삽입을 지원합니다. 이 모든 기능은 AI 에이전트에 의해 제안되며 사용자 승인을 통해 적용됩니다.
쓰기-저장(Write-Back) 파이프라인
- 에이전트가 편집 작업(어떤 셀, 어떤 값)을 결정합니다.
- 사용자에게 변경 내용 강조(이전 값 대 새 값)와 함께 편집 미리보기가 표시됩니다.
- 사용자가 제안된 변경 사항을 승인하거나 수정합니다.
- 백엔드가 형식별 적절한 라이브러리를 사용하여 파일에 변경 사항을 적용합니다.
- 수정된 파일은 편집 감사 추적과 함께 새 버전으로 저장됩니다.
- 변경된 행에 대해 벡터 인덱스가 업데이트됩니다.
버전 제어
- 모든 편집은 새 파일 버전(원본 보존)을 생성합니다.
- 차이점 로그는 무엇이, 언제, 왜 변경되었는지 정확히 보여줍니다.
- 한 번의 클릭으로 이전 버전으로 롤백합니다.
- 편집 기여: 어떤 에이전트 또는 사용자가 각 변경을 수행했는지.
새 문서 처리 파이프라인
파일 업로드 흐름
- 사용자가 파일을 업로드합니다 (드래그 앤 드롭 또는 API).
- 파일 유형이 감지되고 적절한 프로세서로 라우팅됩니다.
- 스프레드시트: 파싱, 스키마 추론, 행 임베딩 및 색인화
- PDF: OCR (스캔된 경우) → 레이아웃 추출 → 청크화 → 임베딩 → 색인화
- Word 문서: 텍스트 추출 → 섹션 파싱 → 청크화 → 임베딩 → 색인화
- 엔티티 추출: NER이 모든 문서에서 사람, 조직, 날짜, 금액을 식별합니다.
- 교차 문서 연결: 새 언급으로 엔티티 인덱스가 업데이트됩니다.
- 파일 메타데이터는 PostgreSQL에, 임베딩은 벡터 DB에, 원본 파일은 S3에 저장됩니다.
지원되는 형식
이 플랫폼은 Excel, CSV, Google Sheets(완전한 쓰기-저장(write-back) 지원), 기본 및 스캔 PDF(읽기 전용), Word 문서 및 Google Docs(제한적인 쓰기-저장(write-back) 지원)를 지원합니다.
주요 기능
- 멀티 에이전트 아키텍처 — 스프레드시트, 문서 및 교차 참조를 위한 전문 에이전트
- AI 오케스트레이터 — 복잡한 쿼리를 다단계 실행 계획으로 분해
- 교차 문서 참조 — 파일 유형 간 엔티티 연결 및 데이터 조정
- 벡터 기반 검색 — 의미론적 검색으로 LLM 컨텍스트 한계를 넘어서는 데이터셋 처리
- 스프레드시트 쓰기-저장(Write-Back) — AI가 사용자 승인을 받아 셀을 편집하고, 열을 채우고, 수식을 삽입
- 대규모 데이터셋 지원 — 벡터 검색을 통해 50,000개 이상의 행을 가진 스프레드시트 색인화 및 쿼리 가능
- 버전 제어 — 모든 편집은 차이점 로그 및 롤백 기능과 함께 버전 관리
- 자연어 쿼리 — 일반 영어로 복잡한 분석 질문을 할 수 있음
- 멀티 형식 지원 — Excel, CSV, Google Sheets, PDF, Word, Google Docs
- 편집 미리보기 — 변경 사항이 적용되기 전, 차이점이 강조된 미리보기
결과
기술 스택
caseStudyDetail.more 사례 연구
더 많은 기술 구현 사례를 살펴보세요
하이브리드 검색 및 다중 형식 지원을 갖춘 로컬 우선 문서 RAG 시스템
개발자 도구를 구축하는 팀은 여러 파일 형식을 수집하고, 검색 가능한 지식 기반을 구축하며, 외부 API로 데이터를 전송하지 않고도 RAG(Retrieval-Augmented Generation)를 사용하여 자연어 질의에 답변할 수 있는 완전 로컬의 개인 정보 보호 문서 인텔리전스 시스템이 필요했습니다.
Catant HR 및 인력 관리 플랫폼
Catant는 기업이 단일 대시보드에서 직원, 급여, 근태 및 규정 준수를 관리하도록 돕는 모듈형 HR 및 인력 관리 플랫폼입니다.
자주 묻는 질문
MicrocosmWorks는 전문화된 에이전트들이 문서 분석의 다양한 측면을 처리하는 멀티 에이전트 아키텍처를 설계했습니다. 예를 들어, 스프레드시트용 테이블 추출 에이전트, 서술형 문서용 텍스트 요약 에이전트, 그리고 여러 파일에 걸쳐 데이터 포인트 간의 관계를 식별하는 상호 참조 에이전트가 있습니다. 이러한 업무 분할은 각 에이전트가 집중된 context window 내에서 작동하고 도메인별 prompting strategies를 적용하기 때문에 단일 모놀리식 LLM 호출보다 더 정확한 결과를 생성합니다.
네, MicrocosmWorks는 분석 에이전트에 구조화된 데이터를 전달하기 전에 수식 종속성을 해결하고, 피벗 테이블 요약을 확장하며, 시트 간 참조를 추적하는 스프레드시트 파싱 엔진을 구축했습니다. 이 시스템은 복잡한 Excel 구성을 LLM이 효과적으로 추론할 수 있는 평면화된 데이터 표현으로 변환하고, 시트 간의 관계형 컨텍스트를 보존하여 AI가 여러 탭의 데이터를 결합해야 하는 '어떤 부서가 Q3 예산을 초과했는지'와 같은 질문에 답할 수 있도록 합니다.
MicrocosmWorks는 업로드된 모든 문서에서 명명된 엔티티, 숫자 식별자, 날짜 참조를 추출한 다음, 파일 전반에 걸쳐 관련된 언급들을 연결하는 지식 그래프를 구축하는 entity linking 파이프라인을 구현했습니다. 사용자가 질문을 하면, 교차 참조 에이전트가 이 그래프를 탐색하여 여러 원본 문서에서 관련 데이터를 가져와서, 인간 분석가가 수 시간의 수동 교차 확인을 통해 수행할 방식으로 정보를 종합하는 답변을 제공합니다.
MicrocosmWorks는 분석 세션당 최대 500개의 파일로 구성된 문서 배치를 처리하도록 시스템을 설계했습니다. 스프레드시트의 개별 파일 크기는 최대 100MB, PDF의 경우 50MB를 지원합니다. 대용량 문서는 자동으로 청크로 분할되어 여러 에이전트 인스턴스에 걸쳐 병렬로 처리되며, 오케스트레이터는 에이전트 출력을 통합된 지식 표현으로 집계함으로써 전체 문서 세트에 대한 일관된 보기를 유지합니다.
MicrocosmWorks는 시간당 $30~$50의 요율로 다중 에이전트 문서 분석 플랫폼을 개발합니다. 운영 가능한 시스템은 일반적으로 문서 구문 분석, 에이전트 오케스트레이션, 상호 참조 감지, 그리고 사용자 대면 쿼리 인터페이스를 포함하여 3~5개월의 개발 기간이 필요합니다. 운영 환경에서의 쿼리당 비용은 문서 볼륨과 LLM 토큰 사용량에 따라 달라집니다. 하지만 다중 에이전트 아키텍처는 전체 문서 세트를 단일 프롬프트에 채워 넣는 대신 각 에이전트에 관련 컨텍스트만 라우팅함으로써 실제로 LLM 비용을 절감합니다.