Ano ang isang local-first RAG system, at bakit ko nanaisin na mangyari ang pagproseso ng dokumento on-premises sa halip na sa cloud?

Ang MicrocosmWorks ay bumuo ng isang local-first RAG system kung saan ang lahat ng pag-ingest ng dokumento, pagbuo ng embedding, pag-imbak ng vector, at LLM inference ay tumatakbo nang buo sa iyong imprastraktura nang hindi nagpapadala ng anumang data sa panlabas na cloud APIs. Ang arkitekturang ito ay mahalaga para sa mga organisasyong humahawak ng classified na dokumento, mga materyal na may pribilehiyo ng abogado-kliyente, o sensitibong intellectual property kung saan ipinagbabawal ng mga kinakailangan sa data sovereignty ang anumang pagproseso sa cloud, kahit na may encryption.

Paano pinagsasama ng hybrid search ang keyword at semantic search upang makagawa ng mas mahusay na resulta kaysa sa alinmang diskarte na mag-isa?

Ang MicrocosmWorks ay nagpatupad ng isang hybrid retrieval pipeline na nagpapatakbo ng BM25 keyword search at dense vector semantic search nang magkasabay, pagkatapos ay gumagamit ng reciprocal rank fusion upang pagsamahin at muling i-rank ang pinagsamang resulta bago ipasa ang mga ito sa LLM bilang konteksto. Ang diskarteng ito ay nakakakuha ng mga query na eksaktong tumutugma tulad ng mga product code at legal citation na hindi nakukuha ng semantic search, habang nakakakuha din ng nilalamang may kaugnayan sa konsepto na hindi kailanman mahahanap ng keyword search.

Anong mga format ng dokumento ang sinusuportahan ng lokal na sistema ng RAG, at paano nito pinangangasiwaan ang mga na-scan na PDF?

Binuo ng MicrocosmWorks ang mga parser na partikular sa format para sa PDF, DOCX, XLSX, PPTX, HTML, Markdown, at plain text, na may OCR pipeline gamit ang Tesseract para sa mga na-scan na PDF at mga dokumentong batay sa imahe. Awtomatikong nade-detect ng sistema kung ang isang PDF ay naglalaman ng napipiling text o nangangailangan ng OCR, naglalapat ng layout analysis upang mapanatili ang mga istruktura ng talahanayan at pagkakasunud-sunod ng pagbasa, at hinahati ang mga dokumento gamit ang mga semantic boundary sa halip na arbitraryong limitasyon sa karakter upang mapabuti ang kalidad ng pagkuha.

Paano pinangangasiwaan ng sistema ang mga update sa dokumento nang hindi muling ini-index ang buong corpus?

Ipinatupad ng MicrocosmWorks ang incremental indexing na sumusubaybay sa document checksums at muling pinoproseso lamang ang mga file na nagbago mula noong huling ingestion run. Ang mga na-update na dokumento ay tinatanggal ang kanilang lumang chunks at inilalagay ang mga bagong chunks nang atomically, kaya ang search index ay hindi kailanman nasa hindi pare-parehong estado. Sinusuportahan din ng sistema ang versioned document retrieval, na nagpapahintulot sa mga user na mag-query laban sa mga historical na bersyon ng mga dokumento kung kinakailangan para sa audit o compliance purposes.

Anong hardware ang kinakailangan upang patakbuhin ang isang lokal na RAG system na may katanggap-tanggap na pagganap?

Ini-optimize ng MicrocosmWorks ang lokal na pipeline ng RAG upang tumakbo sa katamtamang hardware, na may pinakamababang inirerekomendang configuration na isang makina na may 32GB RAM, 8 CPU cores, at opsyonal na isang mid-range GPU para sa pinabilis na pagbuo ng embedding. Para sa mga organisasyon na walang GPU hardware, ang sistema ay bumabalik sa CPU-based embedding models na may bahagyang mas mataas na latency, at ang vector database ay naka-tune para sa SSD storage upang panatilihin ang mga oras ng pagtugon sa query sa ilalim ng 200ms para sa mga corpora na hanggang 1 milyong document chunks.

Local-First Document RAG System with Hybrid Search & Mult...

Sistema ng RAG ng Dokumento na Lokal-Una na may Hybrid Search & Suporta sa Maraming Format

Isang pangkat na gumagawa ng developer tools ang nangailangan ng isang ganap na lokal, nagpapanatili ng privacy na sistema ng document intelligence na kayang tumanggap ng maraming file formats, makabuo ng mga searchable knowledge bases, at makasagot ng mga natural language queries gamit ang Retrieval-Augmented Generation — nang hindi nagpapadala ng anumang data sa mga external API.

Pag-usapan ang Iyong Proyekto

Ang mga kasalukuyang solusyon ng RAG ay may malaking limitasyon para sa mga use case na may kamalayan sa privacy at nakatuon sa developer:

Pagdepende sa External API — Karamihan sa mga tool ng RAG ay nangangailangan ng pagpapadala ng nilalaman ng dokumento sa mga cloud-based embedding APIs, na lumalabag sa mga kinakailangan sa privacy
Limitadong Suporta sa Format — Karaniwang hinahawakan lang ng mga solusyon ang plain text o PDF, na binabalewala ang mga spreadsheet, Word docs, HTML, at Markdown
Mahinang Chunking — Hindi isinasaalang-alang ng naive text splitting ang istraktura ng dokumento (mga pahina, sheet, heading), na lumilikha ng mga context-poor chunk
Mga Puwang sa Keyword — Ang pure embedding-based search ay hindi nakuha ang eksaktong mga katugma ng keyword na makukuha ng lexical search
Pagkabulag sa Spreadsheet — Hindi kayang hawakan ng mga sistema ng RAG ang structured tabular data o sagutin ang mga filtering/aggregation queries
Walang Reranking — Ang first-pass retrieval ay madalas na nagpapakita ng bahagya lang na relevant na resulta nang walang second-pass quality filter

Binuo namin ang isang kumpletong lokal-una na sistema ng RAG na may multi-format document ingestion, structure-aware chunking, local embedding generation, isang hybrid search pipeline (semantic + full-text + recency), cross-encoder reranking, at isang web-based UI — lahat ay tumatakbo nang buo sa makina ng user.

Arkitektura

Document Loaders: Mga parser na tiyak sa format para sa PDF, DOCX, XLSX, CSV, HTML, Markdown, at plain text
Chunker: Structure-aware splitting na nagpapanatili ng mga hangganan ng pahina, sheet, at heading
Embeddings: Lokal na embedding model sa pamamagitan ng Transformers.js (walang external API calls)
Vector Database: LanceDB (serverless, file-based) para sa embedding storage at similarity search
Full-Text Search: Trigram-based indexing para sa lexical matching
Reranker: Cross-encoder model para sa context-aware result scoring
Query Analyzer: Intent detection routing sa pagitan ng semantic at structured queries
Web Server: Express.js API na may project management at search endpoints
Frontend: Web-based UI para sa document upload, management, at interactive search

Pipeline sa Pagproseso ng Dokumento

Mga Multi-Format Loader

Isang registry pattern ang awtomatikong nakakadetect ng uri ng file at nagruruta sa angkop na parser:

PDF — Pag-extract ng teksto na may page-level segmentation
Word (.docx/.doc) — Heading-aware parsing na nagpapanatili ng hierarchy ng dokumento
Excel/CSV — Sheet-by-sheet parsing na may header detection at row-level content
HTML — Tag-aware extraction na may structure preservation
Markdown — Heading-based section parsing
Plain Text — Line-based segmentation

Ang bawat loader ay nag-e-extract ng metadata (pamagat, may-akda, petsa ng paggawa, bilang ng pahina/sheet, bilang ng salita) kasama ang nilalaman, na lumilikha ng structured sections na may mga source reference.

Structure-Aware Chunking

Hindi tulad ng naive text splitting, iginagalang ng chunker ang mga hangganan ng dokumento:

Nagpapanatili ng mga paghati ng pahina (mga PDF), mga hangganan ng sheet (mga spreadsheet), at hierarchy ng heading (Word/Markdown)
Token-based sizing na may configurable na chunk size at overlap
Hierarchical fallback: hinahati muna ayon sa mga seksyon, pagkatapos ay mga talata, pagkatapos ay mga pangungusap
Ang bawat chunk ay nagpapanatili ng source metadata (numero ng pahina, pangalan ng sheet, heading) para sa attribution

Embedding at Indexing

Lokal na Embedding Model

Tumatakbo nang buo nang lokal sa pamamagitan ng Transformers.js — walang data na lumalabas sa makina
Quantized model para sa performance optimization
Batch embedding para sa mahusay na bulk processing
Awtomatikong pagputol sa mga hangganan ng salita na may L2 normalization

Vector Storage

Nagbibigay ang LanceDB ng serverless vector storage:

File-based (walang hiwalay na database server na kailangan)
Per-project isolation na may independiyenteng mga index
SHA256-based cache keys para sa deduplication
Metadata na nakaimbak kasama ng mga vector para sa filtered retrieval

Hybrid Search Pipeline

Pinagsasama ng retrieval pipeline ang tatlong ranking signals para sa mas mahusay na resulta kaysa sa anumang solong diskarte:

Signal 1: Embedding Search (Semantic)

Hinahanap ng vector similarity search ang mga chunk na may kaugnay na kahulugan kahit na gumagamit ng iba't ibang salita. Humahawak ng paraphrasing, synonyms, at conceptual queries.

Signal 2: Full-Text Search (Lexical)

Nahuhuli ng Trigram-based indexing na may Jaccard similarity ang eksaktong mga katugma ng keyword na maaaring hindi makuha ng embedding search — mahalaga para sa mga technical term, pangalan, at identifier.

Signal 3: Recency Boost

Ang exponential decay weighting ay pumapabor sa mga kamakailang na-access o nabagong dokumento, tinitiyak na ang up-to-date na impormasyon ang unang lumilitaw.

Kombinasyon ng Score

Ang mga signal ay pinagsasama sa mga configurable na timbang (default: 50% semantic, 25% lexical, 25% recency), normalized, at filtered ng isang minimum score threshold.

Cross-Encoder Reranking

Pagkatapos ng paunang retrieval, isang cross-encoder model ang muling nagbibigay ng score sa mga nangungunang kandidato:

Isinasaalang-alang ng context-aware scoring ang mga pares ng query-document nang magkasama (hindi independiyente)
Keyword boost calculation para sa term overlap
Blended scoring (cross-encoder + keyword signals)
Gumagawa ng pinal na naka-rank na listahan na may mas mataas na precision kaysa sa first-pass retrieval lamang

Suporta sa Structured Data

Para sa nilalaman ng spreadsheet, nagbibigay ang system ng karagdagang mga kakayahan:

Auto-detection ng mga uri ng column (numeric, date, boolean, string)
Natural language filtering (hal., "mga empleyado sa engineering na may sahod na lampas sa threshold")
Suporta sa aggregation (count, sum, average, min, max)
Dinadaan ng query analyzer ang mga structured queries sa isang dedikadong engine sa halip na embedding search

Web Interface

Pamamahala ng Proyekto — Gumawa, mag-update, at magtanggal ng mga proyekto ng knowledge base
Pag-upload ng Dokumento — Drag-and-drop na pag-upload ng file na may format auto-detection
Paglikha ng Dokumento — Gumawa ng mga dokumento mula sa teksto nang direkta sa UI
Interactive Search — Natural language query interface na may mga naka-rank na resulta
Mga Estadistika — Laki ng index, bilang ng dokumento, at distribusyon ng format bawat proyekto

Mga Pangunahing Tampok

Ganap na Lokal — Lahat ng pagproseso sa device; walang external API calls para sa embeddings o search
9 na Input Format — PDF, DOCX, DOC, XLSX, XLS, CSV, HTML, Markdown, plain text
Structure-Aware Chunking — Nagpapanatili ng mga pahina, sheet, at heading bilang mga hangganan ng chunk
Hybrid Search — Pinagsasama ang semantic, lexical, at recency signals para sa mas mahusay na retrieval
Cross-Encoder Reranking — Second-pass scoring para sa mas mataas na precision results
Structured Queries — Natural language filtering at aggregation sa data ng spreadsheet
Serverless Vector DB — LanceDB file-based storage na walang infrastructure overhead
Pagsusulat ng Dokumento — Mga kakayahan sa pag-export para sa paglikha ng PDF, DOCX, at XLSX
Paghihiwalay ng Proyekto — Independent knowledge bases na may hiwalay na mga index
Web UI — Kumpletong interface para sa pamamahala ng dokumento at interactive search

Sistema ng RAG ng Dokumento na Lokal-Una na may Hybrid Search & Suporta sa Maraming Format

Ang Hamon

Ang Aming Solusyon

Arkitektura

Pipeline sa Pagproseso ng Dokumento

Mga Multi-Format Loader

Structure-Aware Chunking

Embedding at Indexing

Lokal na Embedding Model

Vector Storage

Hybrid Search Pipeline

Signal 1: Embedding Search (Semantic)

Signal 2: Full-Text Search (Lexical)

Signal 3: Recency Boost

Kombinasyon ng Score

Cross-Encoder Reranking

Suporta sa Structured Data

Web Interface

Mga Pangunahing Tampok

Mga Resulta

Technology Stack

caseStudyDetail.more Mga Case Study

Pagsusuri ng Spreadsheet at Dokumento na Pinapagana ng AI gamit ang Multi-Agent Orchestration at Cross-Document Reference

Catant HR at Platform sa Pamamahala ng Workforce

Handa nang Baguhin ang Iyong Negosyo?

Kickly: AI-Powered Project Platform para sa Startups

Mga Madalas Itanong