하이브리드 검색 및 다중 형식 지원을 갖춘 로컬 우선 문서 RAG 시스템

저희는 다중 형식 문서 수집, 구조 인식 청킹, 로컬 임베딩 생성, 하이브리드 검색 파이프라인(의미론적 + 전체 텍스트 + 최신성), 교차 인코더 재순위화 및 웹 기반 UI를 갖춘 완전한 로컬 우선 RAG 시스템을 구축했습니다. 이 모든 것은 사용자 기기에서 전적으로 실행됩니다.

아키텍처

• 문서 로더: PDF, DOCX, XLSX, CSV, HTML, Markdown 및 일반 텍스트용 형식별 파서
• 청커: 페이지, 시트 및 제목 경계를 보존하는 구조 인식 분할
• 임베딩: Transformers.js를 통한 로컬 임베딩 모델 (외부 API 호출 없음)
• 벡터 데이터베이스: 임베딩 저장 및 유사성 검색을 위한 LanceDB (서버리스, 파일 기반)
• 전체 텍스트 검색: 어휘 일치를 위한 트라이그램 기반 인덱싱
• 재순위화기: 맥락 인식 결과 점수화를 위한 교차 인코더 모델
• 쿼리 분석기: 의미론적 쿼리와 구조화된 쿼리 간의 의도 감지 라우팅
• 웹 서버: 프로젝트 관리 및 검색 엔드포인트를 갖춘 Express.js API
• 프론트엔드: 문서 업로드, 관리 및 대화형 검색을 위한 웹 기반 UI

문서 처리 파이프라인

다중 형식 로더

레지스트리 패턴은 파일 형식을 자동으로 감지하고 적절한 파서로 라우팅합니다:

• PDF — 페이지 수준 분할을 통한 텍스트 추출
• Word (.docx/.doc) — 문서 계층을 보존하는 제목 인식 파싱
• Excel/CSV — 헤더 감지 및 행 수준 콘텐츠를 포함한 시트별 파싱
• HTML — 구조 보존을 위한 태그 인식 추출
• Markdown — 제목 기반 섹션 파싱
• 일반 텍스트 — 라인 기반 분할

각 로더는 콘텐츠와 함께 메타데이터(제목, 작성자, 생성일, 페이지/시트 수, 단어 수)를 추출하여 소스 참조가 있는 구조화된 섹션을 생성합니다.

구조 인식 청킹

단순한 텍스트 분할과 달리, 청커는 문서 경계를 존중합니다:

• 페이지 나누기 (PDF), 시트 경계 (스프레드시트) 및 제목 계층 (Word/Markdown)을 보존합니다.
• 구성 가능한 청크 크기 및 오버랩을 통한 토큰 기반 크기 조정
• 계층적 대체: 먼저 섹션별로 분할한 다음, 단락별로, 그 다음 문장별로 분할합니다.
• 각 청크는 출처 표기를 위해 소스 메타데이터(페이지 번호, 시트 이름, 제목)를 유지합니다.

임베딩 및 인덱싱

로컬 임베딩 모델

• Transformers.js를 통해 완전히 로컬에서 실행됩니다 — 데이터가 기기를 벗어나지 않습니다.
• 성능 최적화를 위한 양자화 모델
• 효율적인 대량 처리를 위한 배치 임베딩
• L2 정규화를 통한 단어 경계에서의 자동 절단

벡터 저장소

LanceDB는 서버리스 벡터 스토리지를 제공합니다:

• 파일 기반 (별도의 데이터베이스 서버 필요 없음)
• 독립적인 인덱스를 통한 프로젝트별 격리
• 중복 제거를 위한 SHA256 기반 캐시 키
• 필터링된 검색을 위한 벡터와 함께 저장된 메타데이터

하이브리드 검색 파이프라인

검색 파이프라인은 단일 접근 방식보다 더 나은 결과를 위해 세 가지 순위 지정 신호를 결합합니다:

신호 1: 임베딩 검색 (의미론적)

벡터 유사성 검색은 다른 단어가 사용될 때에도 관련 의미를 가진 청크를 찾습니다. 의역, 동의어 및 개념적 쿼리를 처리합니다.

신호 2: 전체 텍스트 검색 (어휘적)

Jaccard 유사성을 이용한 트라이그램 기반 인덱싱은 임베딩 검색이 놓칠 수 있는 정확한 키워드 일치를 찾아냅니다 — 이는 기술 용어, 이름 및 식별자에게 중요합니다.

신호 3: 최신성 부스트

지수 감쇠 가중치는 최근 액세스 또는 수정된 문서를 선호하여 최신 정보가 먼저 표시되도록 합니다.

점수 조합

신호는 구성 가능한 가중치(기본값: 의미론적 50%, 어휘적 25%, 최신성 25%)와 결합되고, 정규화되며, 최소 점수 임계값에 의해 필터링됩니다.

교차 인코더 재순위화

초기 검색 후, 교차 인코더 모델은 상위 후보의 점수를 다시 매깁니다:

• 맥락 인식 점수화는 쿼리-문서 쌍을 함께 고려합니다 (독립적으로 고려하지 않음).
• 용어 중복을 위한 키워드 부스트 계산
• 혼합 점수화 (교차 인코더 + 키워드 신호)
• 1차 검색만으로는 얻을 수 없는 더 높은 정확도의 최종 순위 목록을 생성합니다.

구조화된 데이터 지원

스프레드시트 콘텐츠의 경우, 시스템은 추가 기능을 제공합니다:

• 열 유형(숫자, 날짜, 부울, 문자열) 자동 감지
• 자연어 필터링 (예: "임계값 이상의 급여를 받는 엔지니어링 부서 직원")
• 집계 지원 (개수, 합계, 평균, 최소값, 최대값)
• 쿼리 분석기는 구조화된 쿼리를 임베딩 검색이 아닌 전용 엔진으로 라우팅합니다.

웹 인터페이스

• 프로젝트 관리 — 지식 기반 프로젝트 생성, 업데이트 및 삭제
• 문서 업로드 — 형식 자동 감지를 통한 드래그 앤 드롭 파일 업로드
• 문서 생성 — UI에서 텍스트로 직접 문서 생성
• 대화형 검색 — 순위가 매겨진 결과를 제공하는 자연어 쿼리 인터페이스
• 통계 — 프로젝트별 인덱스 크기, 문서 수 및 형식 분포

주요 기능

1. 완전한 로컬 기반 — 모든 처리가 온디바이스에서 이루어지며, 임베딩 또는 검색을 위한 외부 API 호출 없음
2. 9가지 입력 형식 — PDF, DOCX, DOC, XLSX, XLS, CSV, HTML, Markdown, 일반 텍스트
3. 구조 인식 청킹 — 페이지, 시트 및 제목을 청크 경계로 보존
4. 하이브리드 검색 — 더 나은 검색을 위해 의미론적, 어휘적 및 최신성 신호 결합
5. 교차 인코더 재순위화 — 더 높은 정확도의 결과를 위한 2차 점수화
6. 구조화된 쿼리 — 스프레드시트 데이터에 대한 자연어 필터링 및 집계
7. 서버리스 벡터 DB — 인프라 오버헤드 없이 LanceDB 파일 기반 저장소
8. 문서 작성 — PDF, DOCX 및 XLSX 생성을 위한 내보내기 기능
9. 프로젝트 격리 — 별도의 인덱스를 가진 독립적인 지식 기반
10. 웹 UI — 문서 관리 및 대화형 검색을 위한 완전한 인터페이스