AI-drevet regnearks- og dokumentanalyse med multi-agent orkestrering og krydsdokumenthenvisning

Vi byggede en multi-agent AI-dokumentintelligensplatform med vektordatabase-understøttet genfinding til store dokumenter, specialiserede agenter til forskellige dokumenttyper, en orkestrator til krydsdokumentræsonnement og write-back-funktioner til regnearksredigering.

Arkitektur

• Orkestrator: AI-orkestreringsagent, der koordinerer arbejdsgange i flere trin på tværs af specialiserede agenter
• Regnearksagent: Håndterer Excel/CSV/Google Sheets-analyse, formelgenerering og celleredigering
• Dokumentagent: Håndterer PDF/Word-dokumentlæsning, -ekstraktion og -opsamling
• Krydshenvisningsagent: Udfører joins, sammenligninger og afstemning på tværs af dokumenttyper
• Vektordatabase: Milvus til semantisk indeksering af dokumentchunks og regnearksrækker
• LLM-lag: Multi-model tilgang med funktionskald
• Backend: Python/FastAPI til dokumentbehandling og agentorkestrering
• Frontend: React-dashboard med filupload, chatgrænseflade og live regnearksforhåndsvisning
• Lagring: S3 til originale filer, PostgreSQL til metadata og jobsporing

Multi-agent arkitektur

Agentroller

1. Orkestreringsagent

Den centrale koordinator, der modtager brugerforespørgsler, dekomponerer dem til underopgaver og delegerer til specialiserede agenter. Den analyserer brugerens intention, opretter eksekveringsplaner, styrer dataflowet mellem agenter, aggregerer resultater og håndterer fejlgenoprettelse.

2. Regnearksagent

Specialiseret i tabeldataoperationer, herunder skemaforståelse, oversættelse fra naturligt sprog til forespørgsel, aggregeringer og filtrering, formelgenerering, celleredigering og kolonneudfyldning, diagramforslag og datavalidering/anomalidetektion.

3. Dokumentagent

Specialiseret i ustrukturerede og semi-strukturerede dokumenter, herunder OCR og layout-aware tekstekstraktion, sektionsidentifikation, nøgleværdiekstraktion fra kontrakter, opsummering, semantisk klassesøgning og tabeludtrækning fra PDF'er/Word-dokumenter.

4. Krydshenvisningsagent

Specialiseret i ræsonnement på tværs af flere dokumenter, herunder entitetsmatchning på tværs af dokumenter, dataafstemning og uoverensstemmelsesidentifikation, tidslinjeanalyse, afhængighedsopløsning for modstridende data og SQL-lignende join-operationer på tværs af dokumenttyper.

Vektordatabaselag

Hvorfor vektordatabase til dokumenter

Store dokumenter og regneark passer ikke i et enkelt LLM-kontekstvindue. Vektordatabasen muliggør semantisk søgning på tværs af millioner af rækker og dokumentchunks, genfinding af kun relevante dele pr. forespørgsel, entitetslinking på tværs af dokumenter via embedding-lighed og persistent indeksering, der ikke kræver genbehandling ved hver forespørgsel.

Indekseringsstrategi

Regnearksindeksering:

Hver række konverteres til en naturlig sprogrepræsentation ved at sammenkæde nøglekolonners værdier, hvorefter den indlejres og gemmes med referencer tilbage til den originale fil, det originale ark og rækkeindekset for write-back-operationer.

Dokumentindeksering:

Dokumenter udtrækkes med layout-bevidsthed, opdeles i semantiske segmenter med overlap, indlejres og gemmes med referencer til kildefilen, sektionen og sidetallet.

Krydsdokumententitetsindeks:

Et separat indeks forbinder entiteter (leverandører, produkter, personer, fakturanumre) på tværs af dokumenter, hvilket gør krydshenvisningsforespørgsler i stand til hurtigt at finde alle omtaler af en entitet uanset kildefil.

Genfindingspipeline

Når en bruger stiller et krydsdokumentspørgsmål, identificerer orkestratoren, hvilke dokumenter og agenter der er nødvendige, udfører vektorsøgninger for at finde relevante data på tværs af alle kilder, delegerer til specialiserede agenter til behandling og aggregerer resultater til et sammenhængende svar.

Orkestreringsmotor

Forespørgselsdekomponering

Orkestratoren opdeler komplekse forespørgsler i eksekveringsplaner i flere trin. For eksempel vil et spørgsmål som "Find leverandører med forsinkede leverancer, tjek kontraktens strafklausuler og beregn de erstatningsberettigede bøder" blive dekomponeret i sekventielle trin: forespørgsel på leveringsdata via regnearksagenten, søgning i kontrakter via dokumentagenten og samling af resultater via krydshenvisningsagenten.

Agentkommunikation

• Agenter kommunikerer via strukturerede beskeder med typiserede payloads
• Orkestratoren opretholder eksekveringskonteksten med mellemliggende resultater
• Mislykkede trin udløser genforsøg eller fallback-strategier
• Delvise resultater returneres, hvis nogle trin gennemføres, men andre fejler

Regnearksredigering & Write-Back

Redigeringsmuligheder

Platformen understøtter celleopdateringer, kolonneudfyldninger, rækkeindsættelse, betinget formatering, oprettelse af nye ark og formelindsprøjtning – alt sammen foreslået af AI-agenter og anvendt med brugergodkendelse.

Write-Back-pipeline

1. Agenten bestemmer redigeringsoperationen (hvilke celler, hvilke værdier)
2. Redigeringsforhåndsvisning vises til brugeren med diff-fremhævelse (gamle vs. nye værdier)
3. Brugeren godkender eller ændrer de foreslåede ændringer
4. Backend anvender ændringer på filen ved hjælp af passende biblioteker pr. format
5. Den ændrede fil gemmes som en ny version med et redigeringsrevisionsspor
6. Vektorindeks opdateres for ændrede rækker

Versionskontrol

• Hver redigering opretter en ny filversion (originalen bevares)
• Diff-loggen viser præcis, hvad der blev ændret, hvornår og hvorfor
• Rul tilbage til enhver tidligere version med ét klik
• Redigeringsattribuering: hvilken agent eller bruger foretog hver ændring

Behandlingspipeline for nye dokumenter

Filupload-flow

1. Brugeren uploader filer (træk-og-slip eller API)
2. Filtype registreres og sendes til passende processor
3. Regneark: Parsed, skema udledt, rækker indlejret og indekseret
4. PDF'er: OCR (hvis scannet) → layout-ekstraktion → chunking → embedding → indeksering
5. Word-dokumenter: Tekstekstraktion → sektionsparsing → chunking → embedding → indeksering
6. Entitetsekstraktion: NER identificerer personer, organisationer, datoer, beløb på tværs af alle dokumenter
7. Krydsdokument-linking: Entitetsindeks opdateres med nye omtaler
8. Filmetadata gemmes i PostgreSQL, embeddings i vektordatabase, originaler i S3

Understøttede formater

Platformen understøtter Excel, CSV og Google Sheets (med fuld write-back), native og scannede PDF'er (kun læseadgang) samt Word-dokumenter og Google Docs (begrænset write-back).

Nøglefunktioner

1. Multi-agent arkitektur — Specialiserede agenter til regneark, dokumenter og krydshenvisning
2. AI-orkestrator — Dekomponerer komplekse forespørgsler til eksekveringsplaner i flere trin
3. Krydsdokumenthenvisning — Entitetslinking og dataafstemning på tværs af filtyper
4. Vektor-drevet genfinding — Semantisk søgning håndterer datasæt ud over LLM's kontekstgrænser
5. Regneark Write-Back — AI redigerer celler, udfylder kolonner og indsætter formler med brugergodkendelse
6. Understøttelse af store datasæt — Regneark med 50.000+ rækker indekseret og forespørgselbart via vektorsøgning
7. Versionskontrol — Hver redigering versioneres med diff-log og mulighed for rollback
8. Naturlige sprogforespørgsler — Stil komplekse analytiske spørgsmål på almindeligt engelsk
9. Multi-format understøttelse — Excel, CSV, Google Sheets, PDF, Word, Google Docs
10. Redigeringsforhåndsvisning — Diff-fremhævet forhåndsvisning, før ændringer anvendes