Ano ang isang local-first RAG system, at bakit ko nanaisin na mangyari ang pagproseso ng dokumento on-premises sa halip na sa cloud?

Ang MicrocosmWorks ay bumuo ng isang local-first RAG system kung saan ang lahat ng pag-ingest ng dokumento, pagbuo ng embedding, pag-imbak ng vector, at LLM inference ay tumatakbo nang buo sa iyong imprastraktura nang hindi nagpapadala ng anumang data sa panlabas na cloud APIs. Ang arkitekturang ito ay mahalaga para sa mga organisasyong humahawak ng classified na dokumento, mga materyal na may pribilehiyo ng abogado-kliyente, o sensitibong intellectual property kung saan ipinagbabawal ng mga kinakailangan sa data sovereignty ang anumang pagproseso sa cloud, kahit na may encryption.

Paano pinagsasama ng hybrid search ang keyword at semantic search upang makagawa ng mas mahusay na resulta kaysa sa alinmang diskarte na mag-isa?

Ang MicrocosmWorks ay nagpatupad ng isang hybrid retrieval pipeline na nagpapatakbo ng BM25 keyword search at dense vector semantic search nang magkasabay, pagkatapos ay gumagamit ng reciprocal rank fusion upang pagsamahin at muling i-rank ang pinagsamang resulta bago ipasa ang mga ito sa LLM bilang konteksto. Ang diskarteng ito ay nakakakuha ng mga query na eksaktong tumutugma tulad ng mga product code at legal citation na hindi nakukuha ng semantic search, habang nakakakuha din ng nilalamang may kaugnayan sa konsepto na hindi kailanman mahahanap ng keyword search.

Anong mga format ng dokumento ang sinusuportahan ng lokal na sistema ng RAG, at paano nito pinangangasiwaan ang mga na-scan na PDF?

Binuo ng MicrocosmWorks ang mga parser na partikular sa format para sa PDF, DOCX, XLSX, PPTX, HTML, Markdown, at plain text, na may OCR pipeline gamit ang Tesseract para sa mga na-scan na PDF at mga dokumentong batay sa imahe. Awtomatikong nade-detect ng sistema kung ang isang PDF ay naglalaman ng napipiling text o nangangailangan ng OCR, naglalapat ng layout analysis upang mapanatili ang mga istruktura ng talahanayan at pagkakasunud-sunod ng pagbasa, at hinahati ang mga dokumento gamit ang mga semantic boundary sa halip na arbitraryong limitasyon sa karakter upang mapabuti ang kalidad ng pagkuha.

Paano pinangangasiwaan ng sistema ang mga update sa dokumento nang hindi muling ini-index ang buong corpus?

Ipinatupad ng MicrocosmWorks ang incremental indexing na sumusubaybay sa document checksums at muling pinoproseso lamang ang mga file na nagbago mula noong huling ingestion run. Ang mga na-update na dokumento ay tinatanggal ang kanilang lumang chunks at inilalagay ang mga bagong chunks nang atomically, kaya ang search index ay hindi kailanman nasa hindi pare-parehong estado. Sinusuportahan din ng sistema ang versioned document retrieval, na nagpapahintulot sa mga user na mag-query laban sa mga historical na bersyon ng mga dokumento kung kinakailangan para sa audit o compliance purposes.

Anong hardware ang kinakailangan upang patakbuhin ang isang lokal na RAG system na may katanggap-tanggap na pagganap?

Ini-optimize ng MicrocosmWorks ang lokal na pipeline ng RAG upang tumakbo sa katamtamang hardware, na may pinakamababang inirerekomendang configuration na isang makina na may 32GB RAM, 8 CPU cores, at opsyonal na isang mid-range GPU para sa pinabilis na pagbuo ng embedding. Para sa mga organisasyon na walang GPU hardware, ang sistema ay bumabalik sa CPU-based embedding models na may bahagyang mas mataas na latency, at ang vector database ay naka-tune para sa SSD storage upang panatilihin ang mga oras ng pagtugon sa query sa ilalim ng 200ms para sa mga corpora na hanggang 1 milyong document chunks.

Local-First Document RAG System with Hybrid Search & Mult...

Lokal-Muna na Sistema ng RAG para sa Dokumento na may Hybrid Search at Suporta sa Maraming Format

Isang pangkat na bumubuo ng developer tools ang nangailangan ng ganap na lokal, nagpapanatili ng privacy na sistema ng document intelligence na kayang tumanggap ng maraming format ng file, makabuo ng nahahanap na knowledge bases, at sumagot sa natural language queries gamit ang Retrieval-Augmented Generation — nang hindi nagpapadala ng anumang data sa external APIs.

Pag-usapan ang Iyong Proyekto

Ang mga umiiral na RAG solutions ay may malalaking limitasyon para sa mga use case na may kamalayan sa privacy at nakatuon sa developer:

Dependency sa External API — Karamihan sa mga RAG tools ay nangangailangan ng pagpapadala ng nilalaman ng dokumento sa cloud-based embedding APIs, na lumalabag sa mga kinakailangan sa privacy
Limitadong Suporta sa Format — Karaniwang plain text o PDF lang ang hinahawakan ng mga solusyon, binabalewala ang spreadsheets, Word docs, HTML, at Markdown
Mahinang Chunking — Hindi pinansin ng naive text splitting ang istraktura ng dokumento (mga pahina, sheet, headings), na lumilikha ng mga context-poor chunks
Kakulangan sa Keyword — Ang pure embedding-based search ay hindi nakita ang eksaktong keyword matches na mahuhuli ng lexical search
Kakulangan sa Spreadsheet — Hindi kayang hawakan ng mga RAG systems ang structured tabular data o sagutin ang filtering/aggregation queries
Walang Reranking — Ang first-pass retrieval ay madalas na nagpapakita ng bahagyang relevant na resulta lamang nang walang second-pass quality filter

Binuo namin ang isang kumpletong lokal-muna na sistema ng RAG na may multi-format document ingestion, structure-aware chunking, local embedding generation, isang hybrid search pipeline (semantic + full-text + recency), cross-encoder reranking, at isang web-based UI — lahat ay tumatakbo nang ganap sa makina ng user.

Arkitektura

Document Loaders: Mga parser na partikular sa format para sa PDF, DOCX, XLSX, CSV, HTML, Markdown, at plain text
Chunker: Structure-aware splitting na nagpapanatili ng mga hangganan ng pahina, sheet, at heading
Embeddings: Local embedding model sa pamamagitan ng Transformers.js (walang external API calls)
Vector Database: LanceDB (serverless, file-based) para sa embedding storage at similarity search
Full-Text Search: Trigram-based indexing para sa lexical matching
Reranker: Cross-encoder model para sa context-aware result scoring
Query Analyzer: Intent detection routing sa pagitan ng semantic at structured queries
Web Server: Express.js API na may project management at search endpoints
Frontend: Web-based UI para sa document upload, management, at interactive search

Pipeline sa Pagproseso ng Dokumento

Mga Multi-Format na Loader

Ang isang registry pattern ay awtomatikong nagde-detect ng uri ng file at nagruruta sa angkop na parser:

PDF — Text extraction na may page-level segmentation
Word (.docx/.doc) — Heading-aware parsing na nagpapanatili ng hierarchy ng dokumento
Excel/CSV — Sheet-by-sheet parsing na may header detection at row-level content
HTML — Tag-aware extraction na may structure preservation
Markdown — Heading-based section parsing
Plain Text — Line-based segmentation

Ang bawat loader ay naglalabas ng metadata (title, author, creation date, page/sheet count, word count) kasama ng nilalaman, na bumubuo ng structured sections na may source references.

Structure-Aware Chunking

Hindi tulad ng naive text splitting, iginagalang ng chunker ang mga hangganan ng dokumento:

Nagpapanatili ng mga page break (PDFs), sheet boundaries (spreadsheets), at heading hierarchy (Word/Markdown)
Token-based sizing na may configurable chunk size at overlap
Hierarchical fallback: unang hinahati ayon sa sections, pagkatapos ay paragraphs, pagkatapos ay sentences
Bawat chunk ay nagpapanatili ng source metadata (page number, sheet name, heading) para sa attribution

Embedding at Indexing

Lokal na Embedding Model

Tumatakbo nang ganap nang lokal sa pamamagitan ng Transformers.js — walang data na lumalabas sa makina
Quantized model para sa performance optimization
Batch embedding para sa efficient bulk processing
Awtomatikong truncation sa mga word boundary na may L2 normalization

Vector Storage

Nagbibigay ang LanceDB ng serverless vector storage:

File-based (walang kailangang hiwalay na database server)
Per-project isolation na may independent indices
SHA256-based cache keys para sa deduplication
Metadata na nakaimbak kasama ng mga vector para sa filtered retrieval

Hybrid Search Pipeline

Pinagsasama ng retrieval pipeline ang tatlong ranking signals para sa mas mahusay na resulta kaysa sa anumang nag-iisang pamamaraan:

Signal 1: Embedding Search (Semantic)

Nakahanap ang vector similarity search ng mga chunk na may kaugnay na kahulugan kahit na iba't ibang salita ang ginamit. Humahawak ng paraphrasing, synonyms, at conceptual queries.

Signal 2: Full-Text Search (Lexical)

Nahuhuli ng Trigram-based indexing na may Jaccard similarity ang eksaktong keyword matches na maaaring makaligtaan ng embedding search — mahalaga para sa technical terms, pangalan, at identifiers.

Signal 3: Recency Boost

Ang exponential decay weighting ay pumapabor sa mga kamakailang na-access o nabagong dokumento, tinitiyak na ang napapanahong impormasyon ang unang lumalabas.

Kombinasyon ng Score

Pinagsasama ang mga signal sa configurable weights (default: 50% semantic, 25% lexical, 25% recency), normalized, at filtered ng isang minimum score threshold.

Cross-Encoder Reranking

Pagkatapos ng paunang retrieval, muling sinusuri ng isang cross-encoder model ang mga nangungunang kandidato:

Isinasaalang-alang ng context-aware scoring ang mga pares ng query-document nang magkasama (hindi nang hiwalay)
Pagkalkula ng keyword boost para sa term overlap
Blended scoring (cross-encoder + keyword signals)
Nagbibigay ng huling ranked list na may mas mataas na precision kaysa sa first-pass retrieval lamang

Suporta sa Structured Data

Para sa nilalaman ng spreadsheet, nagbibigay ang sistema ng karagdagang kakayahan:

Auto-detection ng mga uri ng column (numeric, date, boolean, string)
Natural language filtering (halimbawa, "mga empleyado sa engineering na may sahod na lampas sa threshold")
Suporta sa aggregation (count, sum, average, min, max)
Ang query analyzer ay nagruruta ng structured queries sa isang dedicated engine sa halip na embedding search

Web Interface

Project Management — Gumawa, mag-update, at mag-delete ng knowledge base projects
Pag-upload ng Dokumento — Drag-and-drop file upload na may format auto-detection
Paglikha ng Dokumento — Gumawa ng mga dokumento mula sa text direkta sa UI
Interactive Search — Natural language query interface na may ranked results
Statistics — Laki ng index, bilang ng dokumento, at format distribution bawat project

Mga Pangunahing Katangian

Ganap na Lokal — Lahat ng pagproseso ay on-device; walang external API calls para sa embeddings o search
9 Input Formats — PDF, DOCX, DOC, XLSX, XLS, CSV, HTML, Markdown, plain text
Structure-Aware Chunking — Nagpapanatili ng mga pahina, sheet, at headings bilang chunk boundaries
Hybrid Search — Pinagsasama ang semantic, lexical, at recency signals para sa mas mahusay na retrieval
Cross-Encoder Reranking — Second-pass scoring para sa mas mataas na precision results
Structured Queries — Natural language filtering at aggregation sa spreadsheet data
Serverless Vector DB — LanceDB file-based storage na walang infrastructure overhead
Pagsusulat ng Dokumento — Mga kakayahan sa pag-export para sa paggawa ng PDF, DOCX, at XLSX
Project Isolation — Independent knowledge bases na may hiwalay na indices
Web UI — Kumpletong interface para sa document management at interactive search

Lokal-Muna na Sistema ng RAG para sa Dokumento na may Hybrid Search at Suporta sa Maraming Format

Ang Hamon

Ang Aming Solusyon

Arkitektura

Pipeline sa Pagproseso ng Dokumento

Mga Multi-Format na Loader

Structure-Aware Chunking

Embedding at Indexing

Lokal na Embedding Model

Vector Storage

Hybrid Search Pipeline

Signal 1: Embedding Search (Semantic)

Signal 2: Full-Text Search (Lexical)

Signal 3: Recency Boost

Kombinasyon ng Score

Cross-Encoder Reranking

Suporta sa Structured Data

Web Interface

Mga Pangunahing Katangian

Mga Resulta

Technology Stack

caseStudyDetail.more Mga Case Study

Pagsusuri ng Spreadsheet at Dokumento na Pinapagana ng AI na may Multi-Agent Orchestration at Cross-Document Reference

Catant HR at Platform sa Pamamahala ng Workforce

Handa nang Baguhin ang Iyong Negosyo?

Kickly: Platforma ng Proyekto na Pinapagana ng AI para sa mga Startup

Mga Madalas Itanong