AI 기반 OCR 송장 처리 및 QuickBooks 통합

우리는 텍스트 추출을 위한 OCR, LLM 기반의 지능형 필드 구문 분석, 그리고 자동화된 장부 기입 생성을 위한 QuickBooks API 통합을 결합한 AI 기반 송장 처리 파이프라인을 구축했습니다.

아키텍처

• 수집: 이메일 리스너 + 파일 업로드 API + 드래그 앤 드롭 대시보드
• OCR 엔진: PDF 및 스캔 이미지에서 텍스트 추출을 위한 클라우드 기반 Vision API
• AI 파서: 지능형 필드 추출 및 해석을 위한 LLM
• 유효성 검사: 신뢰도 점수 부여 기능이 있는 규칙 기반 유효성 검사 엔진
• 회계 통합: 청구서 생성 및 공급업체 매칭을 위한 QuickBooks Online API
• 대시보드: 검토, 승인 및 예외 처리를 위한 React 관리 인터페이스
• 데이터베이스: 송장 기록, 감사 추적 및 공급업체 매핑을 위한 PostgreSQL
• 큐: 배치 처리를 위한 비동기 작업 큐

처리 파이프라인

1단계: 수집

송장은 여러 채널을 통해 시스템에 입력됩니다:

• 이메일 전달 — IMAP 리스너에 의해 모니터링되는 전용 이메일 주소
• 파일 업로드 — 관리 대시보드의 드래그 앤 드롭 인터페이스
• API 업로드 — 다른 시스템으로부터의 프로그래밍 방식 제출
• 대량 가져오기 — 공유 드라이브로부터의 배치 업로드

지원되는 형식: PDF, PNG, JPG, TIFF, HEIC, 다중 페이지 PDF

2단계: OCR 텍스트 추출

1. 전처리 — 스캔 문서의 이미지 향상 (기울기 보정, 대비 조정, 노이즈 감소)
2. 텍스트 추출 — Cloud Vision API가 공간 위치 정보를 포함한 모든 텍스트를 추출
3. 레이아웃 분석 — 공간 위치 정보는 표, 헤더, 푸터 및 품목 식별에 사용됨
4. 신뢰도 점수 부여 — 문자별 OCR 신뢰도 추적; 신뢰도가 낮은 영역은 검토를 위해 플래그 지정

3단계: AI 기반 필드 추출

LLM은 원시 OCR 텍스트를 수신하고 공급업체 정보(이름, 주소), 송장 식별자(번호, 날짜, PO 참조), 재무 데이터(소계, 세금, 총계, 통화, 지급 조건), 그리고 설명, 수량, 금액을 포함한 개별 품목을 포함하는 구조화된 송장 데이터를 추출합니다.

추출은 구조화된 출력 스키마, 엣지 케이스를 위한 퓨샷(few-shot) 예시, 모호한 필드에 대한 연쇄 사고(chain-of-thought) 추론, 그리고 필드별 신뢰도 점수 부여를 사용합니다.

4단계: 유효성 검사 및 보강

QuickBooks 항목을 생성하기 전에 추출된 데이터는 유효성 검사를 거칩니다:

자동 검사:

• 계산 유효성 검사 — 품목 금액이 소계와 일치하는지 확인; 소계 + 세금이 총계와 일치하는지 확인
• 중복 감지 — 송장 번호 + 공급업체 + 금액을 기존 기록과 비교하여 확인
• 날짜 유효성 — 송장 날짜가 미래가 아님; 만기일이 송장 날짜 이후임
• 공급업체 매칭 — 공급업체 이름을 퍼지(fuzzy) 매칭하여 QuickBooks 공급업체 목록과 비교
• GL 코드 제안 — AI가 공급업체 이력 및 품목 설명 기반으로 General Ledger 계정을 제안
• 금액 임계값 — 구성 가능한 임계값을 초과하는 송장은 수동 승인을 위해 플래그 지정

신뢰도 분류:

• 높은 신뢰도 — 송장은 자동 승인됨 (모든 필드 추출, 계산 검사 통과, 공급업체 매칭 완료)
• 중간 신뢰도 — 송장은 검토 큐로 이동됨 (일부 불확실한 필드 또는 신규 공급업체)
• 낮은 신뢰도 — 송장은 수동 입력 필요 (낮은 OCR 품질 또는 비구조화된 형식)

5단계: QuickBooks 통합

공급업체 매칭 및 생성:

추출된 공급업체 이름은 기존 QuickBooks 공급업체 목록과 퍼지 매칭됩니다. 신뢰도 임계값 이상으로 일치하는 항목이 발견되면 기존 공급업체가 연결됩니다. 그렇지 않으면 추출된 정보로 새 공급업체가 생성되고 향후 송장을 위해 캐시됩니다.

청구서 생성:

QuickBooks 청구서 개체는 유효성이 검사된 송장 데이터로부터 구성됩니다. 품목은 적절한 GL 계정에 매핑되고, 세금 금액이 적용되며, 지급 조건이 설정되고, 원본 송장 PDF가 첨부됩니다. 내부 기록은 QuickBooks 청구서 ID와 상호 참조됩니다.

GL 계정 매핑:

• 규칙 기반 — 알려진 공급업체를 위한 공급업체별 GL 매핑
• AI 제안 — LLM은 품목 설명을 분석하고 과거 패턴을 기반으로 계정을 제안합니다.
• 학습 루프 — 수동 수정 사항이 다시 피드백되어 향후 제안을 개선합니다.
• 기본 대체 — 매핑되지 않은 항목은 추후 검토를 위해 포괄적인 계정에 할당됩니다.

QuickBooks API 통합

인증

• 자동 토큰 갱신 기능이 있는 OAuth 2.0
• 미사용 데이터 암호화(encryption at rest)를 통한 보안 자격 증명 저장
• 여러 QuickBooks 파일을 사용하는 기업을 위한 다중 회사 지원

오류 처리

• 지수 백오프(exponential backoff)를 통해 API 호출 제한 준수
• 지연 시간 증가와 함께 일시적 오류 재시도 로직
• 중복 기록 방지를 위한 충돌 해결
• 고아 기록 방지를 위한 실패한 부분 생성 롤백

대시보드 및 워크플로

송장 큐

송장은 상태별로 정리됩니다: 검토 대기 중, 자동 승인됨, 예외 (유효성 검사 실패 또는 API 오류), 및 완료됨 (QuickBooks에 동기화됨).

검토 인터페이스

• 나란히 보기: 원본 송장과 추출된 데이터를 나란히 표시
• 차이점 강조 표시가 있는 수정된 필드에 대한 인라인 편집
• 선택적 메모 추가 기능이 있는 한 번의 클릭으로 승인/거부
• 동일 공급업체의 여러 송장에 대한 일괄 승인

분석

• 처리량 추적 (일별/주별/월별)
• 자동 승인율 모니터링 (목표: 70% 이상)
• 송장당 평균 처리 시간
• 오류율 및 일반적인 실패 원인
• 수동 처리 대비 비용 절감
• 공급업체별 정확도 추세

주요 기능

1. 다중 형식 OCR — PDF, 스캔 문서, 사진 및 다중 페이지 문서
2. AI 필드 추출 — LLM 기반 구문 분석은 템플릿 없이 모든 송장 레이아웃 처리
3. 신뢰도 점수 부여 — 추출 확실성에 따른 자동 라우팅
4. 중복 감지 — 재제출된 송장으로 인한 이중 지급 방지
5. 공급업체 자동 매칭 — 퍼지 매칭으로 송장을 기존 QuickBooks 공급업체와 연결
6. GL 코드 제안 — AI가 과거 패턴으로부터 경비 계정을 추천
7. QuickBooks 자동 동기화 — 품목, 세금 및 첨부된 PDF와 함께 생성된 청구서
8. 학습 루프 — 수동 수정으로 향후 추출 정확도 향상
9. 배치 처리 — 이메일 전달 또는 대량 업로드를 통해 수백 건의 송장 처리
10. 감사 추적 — 모든 추출, 편집, 승인 및 동기화 이벤트의 전체 로그