OCR 및 QuickBooks 연동을 통한 AI 기반 송장 처리

저희는 텍스트 추출을 위한 OCR, LLM 기반의 지능형 필드 파싱, 그리고 자동 장부 정리 항목 생성을 위한 QuickBooks API 연동을 결합한 AI 기반 송장 처리 파이프라인을 구축했습니다.

아키텍처

• 수집 (Ingestion): 이메일 리스너 + 파일 업로드 API + 드래그 앤 드롭 대시보드
• OCR 엔진: PDF 및 스캔 이미지에서 텍스트 추출을 위한 클라우드 기반 Vision API
• AI 파서: 지능형 필드 추출 및 해석을 위한 LLM
• 검증: 신뢰도 점수 부여를 통한 규칙 기반 검증 엔진
• 회계 연동: 청구서 생성 및 공급업체 매칭을 위한 QuickBooks Online API
• 대시보드: 검토, 승인 및 예외 처리를 위한 React 관리자 인터페이스
• 데이터베이스: 송장 기록, 감사 추적 및 공급업체 매핑을 위한 PostgreSQL
• 큐: 배치 처리를 위한 비동기 작업 큐

처리 파이프라인

1단계: 수집 (Ingestion)

송장은 여러 채널을 통해 시스템에 입력됩니다:

• 이메일 전달 — IMAP 리스너가 모니터링하는 전용 이메일 주소
• 파일 업로드 — 관리자 대시보드의 드래그 앤 드롭 인터페이스
• API 업로드 — 다른 시스템으로부터의 프로그래밍 방식 제출
• 대량 가져오기 — 공유 드라이브에서 배치 업로드

지원 형식: PDF, PNG, JPG, TIFF, HEIC, 다중 페이지 PDF

2단계: OCR 텍스트 추출

1. 전처리 — 스캔 문서의 이미지 향상 (기울기 보정, 대비 조정, 노이즈 감소)
2. 텍스트 추출 — Cloud Vision API가 공간 위치 정보와 함께 모든 텍스트를 추출
3. 레이아웃 분석 — 공간 위치 정보를 사용하여 테이블, 헤더, 푸터 및 품목 식별
4. 신뢰도 점수 부여 — 문자별 OCR 신뢰도 추적; 신뢰도가 낮은 영역은 검토를 위해 플래그 지정

3단계: AI 기반 필드 추출

LLM은 원시 OCR 텍스트를 수신하여 공급업체 정보(이름, 주소), 송장 식별자(번호, 날짜, PO 참조), 재무 데이터(소계, 세금, 총계, 통화, 지급 조건) 및 설명, 수량, 금액이 포함된 개별 품목을 포함한 구조화된 송장 데이터를 추출합니다.

추출은 구조화된 출력 스키마, 특이 사례를 위한 few-shot 예제, 모호한 필드에 대한 chain-of-thought 추론, 그리고 필드별 신뢰도 점수 부여를 사용합니다.

4단계: 검증 및 보강

QuickBooks 항목을 생성하기 전에 추출된 데이터는 검증을 거칩니다:

자동 확인:

• 수학적 검증 — 품목 금액이 소계와 일치하는지 확인; 소계 + 세금이 총계와 일치하는지 확인
• 중복 감지 — 송장 번호 + 공급업체 + 금액을 기존 기록과 비교 확인
• 날짜 유효성 — 송장 날짜가 미래가 아님; 만기일이 송장 날짜 이후
• 공급업체 매칭 — 공급업체 이름을 QuickBooks 공급업체 목록과 퍼지 매칭
• GL 코드 제안 — AI가 공급업체 기록 및 품목 설명을 기반으로 총계정원장(General Ledger) 계정 제안
• 금액 임계값 — 구성 가능한 임계값을 초과하는 송장은 수동 승인을 위해 플래그 지정

신뢰도 분류:

• 높은 신뢰도 송장은 자동 승인됨 (모든 필드 추출 완료, 수학적 확인 통과, 공급업체 매칭됨)
• 중간 신뢰도 송장은 검토 대기열로 이동 (일부 불확실한 필드 또는 신규 공급업체)
• 낮은 신뢰도 송장은 수동 입력 필요 (낮은 OCR 품질 또는 비구조화된 형식)

5단계: QuickBooks 연동

공급업체 매칭 및 생성:

추출된 공급업체 이름은 기존 QuickBooks 공급업체 목록과 퍼지 매칭됩니다. 신뢰도 임계값 이상으로 일치하는 항목이 발견되면 기존 공급업체가 연결됩니다. 그렇지 않으면 추출된 정보로 새 공급업체가 생성되고 향후 송장을 위해 캐시됩니다.

청구서 생성:

QuickBooks 청구서 객체는 검증된 송장 데이터로부터 구성되며, 품목은 적절한 GL 계정에 매핑되고, 세액이 적용되며, 지급 조건이 설정되고, 원본 송장 PDF가 첨부됩니다. 내부 기록은 QuickBooks 청구서 ID와 상호 참조됩니다.

GL 계정 매핑:

• 규칙 기반 — 알려진 공급업체를 위한 공급업체별 GL 매핑
• AI 제안 — LLM이 품목 설명을 분석하고 과거 패턴을 기반으로 계정 제안
• 학습 루프 — 수동 수정 사항을 피드백하여 향후 제안 개선
• 기본 대체 — 매핑되지 않은 항목은 나중에 검토할 수 있도록 포괄 계정에 할당

QuickBooks API 연동

인증

• 자동 토큰 갱신 기능을 갖춘 OAuth 2.0
• 저장 중 암호화를 통한 안전한 자격 증명 저장
• 여러 QuickBooks 파일을 가진 기업을 위한 다중 회사 지원

오류 처리

• 지수 백오프를 통한 API 호출 제한 준수
• 지연 증가와 함께 일시적 실패 재시도 로직
• 중복 기록 방지를 위한 충돌 해결
• 부분 생성 실패 시 롤백하여 고아 기록 방지

대시보드 및 워크플로우

송장 대기열

송장은 상태별로 정리됩니다: 검토 대기 중, 자동 승인됨, 예외 (검증 실패 또는 API 오류), 완료됨 (QuickBooks에 동기화됨).

검토 인터페이스

• 나란히 보기: 원본 송장과 추출된 데이터
• 수정된 필드에 대한 diff 하이라이팅 기능이 있는 인라인 편집
• 선택적 메모를 통한 원클릭 승인/거부
• 동일 공급업체의 여러 송장에 대한 일괄 승인

분석

• 처리량 추적 (일별/주별/월별)
• 자동 승인율 모니터링 (목표: 70% 이상)
• 송장당 평균 처리 시간
• 오류율 및 일반적인 실패 원인
• 수동 처리 대비 비용 절감 효과
• 공급업체별 정확도 추세

주요 기능

1. 다중 형식 OCR — PDF, 스캔 문서, 사진 및 다중 페이지 문서
2. AI 필드 추출 — LLM 기반 파싱은 템플릿 없이 모든 송장 레이아웃 처리
3. 신뢰도 점수 부여 — 추출 확실성에 따른 자동 라우팅
4. 중복 감지 — 재제출된 송장으로 인한 이중 지급 방지
5. 공급업체 자동 매칭 — 퍼지 매칭으로 송장을 기존 QuickBooks 공급업체에 연결
6. GL 코드 제안 — AI가 과거 패턴을 기반으로 비용 계정 추천
7. QuickBooks 자동 동기화 — 품목, 세금 및 첨부 PDF와 함께 청구서 생성
8. 학습 루프 — 수동 수정 사항이 향후 추출 정확도 향상
9. 배치 처리 — 이메일 전달 또는 대량 업로드를 통해 수백 개의 송장 처리
10. 감사 추적 — 모든 추출, 편집, 승인 및 동기화 이벤트에 대한 완벽한 로그