Was ist ein local-first RAG-System, und warum sollte ich wollen, dass die Dokumentenverarbeitung On-Premises statt in der Cloud stattfindet?

MicrocosmWorks hat ein local-first RAG-System entwickelt, bei dem die gesamte Dokumentenerfassung, Embedding-Generierung, Vektorspeicherung und LLM-Inferenz vollständig auf Ihrer Infrastruktur läuft, ohne Daten an externe Cloud APIs zu senden. Diese Architektur ist unerlässlich für Organisationen, die klassifizierte Dokumente, Anwalt-Mandanten-privilegierte Materialien oder sensibles geistiges Eigentum verwalten, bei denen Anforderungen an die Datensouveränität jegliche Cloud-Verarbeitung, selbst mit Verschlüsselung, verbieten.

Wie kombiniert die Hybridsuche die Stichwortsuche und die semantische Suche, um bessere Ergebnisse zu erzielen als jeder Ansatz allein?

MicrocosmWorks hat eine hybride Retrieval-Pipeline implementiert, die die BM25-Stichwortsuche und die semantische Suche mit dichten Vektoren parallel ausführt und dann Reciprocal Rank Fusion verwendet, um die kombinierten Ergebnisse zusammenzuführen und neu zu ordnen, bevor sie diese als Kontext an das LLM weitergibt. Dieser Ansatz fängt exakte Übereinstimmungen wie Produktcodes und Rechtszitate ab, die die semantische Suche übersehen würde, während er gleichzeitig konzeptionell verwandte Inhalte abruft, die die Stichwortsuche niemals finden würde.

Welche Dokumentformate unterstützt das lokale RAG-System und wie verarbeitet es gescannte PDFs?

MicrocosmWorks hat formatspezifische Parser für PDF, DOCX, XLSX, PPTX, HTML, Markdown und reinen Text entwickelt, mit einer OCR-Pipeline, die Tesseract für gescannte PDFs und bildbasierte Dokumente verwendet. Das System erkennt automatisch, ob ein PDF wählbaren Text enthält oder OCR erfordert, wendet Layout-Analyse an, um Tabellenstrukturen und die Lesereihenfolge zu erhalten, und segmentiert Dokumente mithilfe semantischer Grenzen statt willkürlicher Zeichenbeschränkungen, um die Abrufqualität zu verbessern.

Wie handhabt das System Dokumentenaktualisierungen, ohne den gesamten Korpus neu zu indizieren?

MicrocosmWorks hat eine inkrementelle Indizierung implementiert, die Dokumenten-checksums verfolgt und nur Dateien neu verarbeitet, die sich seit dem letzten Erfassungslauf geändert haben. Bei aktualisierten Dokumenten werden ihre alten chunks entfernt und neue chunks atomar eingefügt, sodass der search index nie in einem inkonsistenten Zustand ist. Das System unterstützt auch den Abruf versionierter Dokumente, wodurch Benutzer historische Versionen von Dokumenten abfragen können, wenn dies für audit- oder compliance-Zwecke erforderlich ist.

Welche Hardware ist erforderlich, um ein lokales RAG-System mit akzeptabler Leistung zu betreiben?

MicrocosmWorks optimierte die lokale RAG-Pipeline für den Betrieb auf moderater Hardware, wobei die minimal empfohlene Konfiguration ein Computer mit 32GB RAM, 8 CPU-Kernen und optional einer Mid-Range GPU für die beschleunigte Einbettungsgenerierung ist. Für Organisationen ohne GPU-Hardware greift das System auf CPU-basierte Einbettungsmodelle mit leicht höherer Latenz zurück, und die Vektordatenbank ist für SSD-Speicher optimiert, um Abfrageantwortzeiten unter 200ms für Korpora von bis zu 1 Million Dokumenten-Chunks zu halten.

Local-First Document RAG System with Hybrid Search & Mult...

Lokal-First Dokument RAG System mit Hybrid-Suche & Multi-Format-Unterstützung

Ein Team, das Entwickler-Tools baut, benötigte ein vollständig lokales, datenschutzfreundliches Dokumenten-Intelligenzsystem, das mehrere Dateiformate einlesen, durchsuchbare Wissensdatenbanken erstellen und natürliche Sprachabfragen mit Retrieval-Augmented Generation beantworten konnte — ohne Daten an externe APIs zu senden.

Ihr Projekt besprechen

Bestehende RAG-Lösungen hatten erhebliche Einschränkungen für datenschutzbewusste und entwicklerorientierte Anwendungsfälle:

Abhängigkeit von externen APIs — Die meisten RAG-Tools erforderten das Senden von Dokumenteninhalten an cloudbasierte Embedding-APIs, was die Datenschutzanforderungen verletzte
Begrenzte Formatunterstützung — Lösungen behandelten typischerweise nur einfachen Text oder PDF und ignorierten Tabellenkalkulationen, Word-Dokumente, HTML und Markdown
Schlechtes Chunking — Naives Text-Splitting ignorierte die Dokumentenstruktur (Seiten, Blätter, Überschriften) und erzeugte kontextarme Chunks
Keyword-Lücken — Reine embedding-basierte Suche verpasste exakte Keyword-Übereinstimmungen, die eine lexikalische Suche erfassen würde
Tabellenkalkulationsblindheit — RAG-Systeme konnten keine strukturierten tabellarischen Daten verarbeiten oder Filter-/Aggregationsabfragen beantworten
Kein Reranking — Die erste Abfrage lieferte oft nur teilweise relevante Ergebnisse ohne einen Qualitätsfilter im zweiten Durchgang

Wir bauten ein vollständiges lokal-first RAG-System mit Multi-Format-Dokumentenaufnahme, struktur-bewusstem Chunking, lokaler Embedding-Erzeugung, einer hybriden Suchpipeline (semantisch + Volltext + Aktualität), Cross-Encoder-Reranking und einer webbasierten Benutzeroberfläche — alles läuft vollständig auf dem Rechner des Benutzers.

Architektur

Dokumenten-Loader: Formatspezifische Parser für PDF, DOCX, XLSX, CSV, HTML, Markdown und einfachen Text
Chunker: Struktur-bewusstes Splitting, das Seiten-, Blatt- und Überschriften-Grenzen bewahrt
Embeddings: Lokales Embedding-Modell über Transformers.js (keine externen API-Aufrufe)
Vektordatenbank: LanceDB (serverlos, dateibasiert) für Embedding-Speicherung und Ähnlichkeitssuche
Volltextsuche: Trigramm-basierte Indizierung für lexikalische Übereinstimmungen
Reranker: Cross-Encoder-Modell für kontextbewusste Ergebnisbewertung
Abfrageanalysator: Intent-Erkennung, die zwischen semantischen und strukturierten Abfragen routet
Webserver: Express.js API mit Projektmanagement- und Suchendpunkten
Frontend: Webbasierte Benutzeroberfläche für Dokumenten-Upload, -Verwaltung und interaktive Suche

Dokumentenverarbeitungspipeline

Multi-Format-Loader

Ein Registry-Muster erkennt den Dateityp automatisch und leitet zum entsprechenden Parser weiter:

PDF — Textextraktion mit seitenweiser Segmentierung
Word (.docx/.doc) — Überschriftenbewusste Analyse, die die Dokumentenhierarchie bewahrt
Excel/CSV — Blattweise Analyse mit Header-Erkennung und zeilenweisem Inhalt
HTML — Tag-bewusste Extraktion mit Strukturwahrung
Markdown — Überschriftenbasierte Abschnittsanalyse
Einfacher Text — Zeilenbasierte Segmentierung

Jeder Loader extrahiert Metadaten (Titel, Autor, Erstellungsdatum, Seiten-/Blattanzahl, Wortanzahl) neben dem Inhalt und erzeugt strukturierte Abschnitte mit Quellenverweisen.

Struktur-bewusstes Chunking

Im Gegensatz zu naivem Text-Splitting respektiert der Chunker Dokumentengrenzen:

Bewahrt Seitenumbrüche (PDFs), Blattgrenzen (Tabellenkalkulationen) und Überschriftenhierarchie (Word/Markdown)
Token-basierte Größenbestimmung mit konfigurierbarer Chunk-Größe und Überlappung
Hierarchischer Fallback: teilt zuerst nach Abschnitten, dann nach Absätzen, dann nach Sätzen
Jeder Chunk behält Quellmetadaten (Seitenzahl, Blattname, Überschrift) zur Attribution

Embedding & Indizierung

Lokales Embedding-Modell

Läuft vollständig lokal über Transformers.js — keine Daten verlassen den Rechner
Quantisiertes Modell zur Leistungsoptimierung
Batch-Embedding für effiziente Massenverarbeitung
Automatische Trunkierung an Wortgrenzen mit L2-Normalisierung

Vektorspeicherung

LanceDB bietet serverlose Vektorspeicherung:

Dateibasiert (kein separater Datenbankserver erforderlich)
Projektspezifische Isolation mit unabhängigen Indizes
SHA256-basierte Cache-Schlüssel zur Deduplizierung
Metadaten werden neben Vektoren für gefilterte Abrufe gespeichert

Hybride Suchpipeline

Die Abrufpipeline kombiniert drei Ranking-Signale für bessere Ergebnisse als jede einzelne Methode:

Signal 1: Embedding-Suche (Semantisch)

Vektorähnlichkeitssuche findet Chunks mit verwandter Bedeutung, selbst wenn unterschiedliche Wörter verwendet werden. Handhabt Paraphrasierung, Synonyme und konzeptionelle Abfragen.

Signal 2: Volltextsuche (Lexikalisch)

Trigramm-basierte Indizierung mit Jaccard-Ähnlichkeit erfasst exakte Keyword-Übereinstimmungen, die die Embedding-Suche möglicherweise verpasst — wichtig für technische Begriffe, Namen und Bezeichner.

Signal 3: Aktualitäts-Boost

Exponentielle Abklinggewichtung bevorzugt kürzlich aufgerufene oder geänderte Dokumente, um sicherzustellen, dass aktuelle Informationen zuerst angezeigt werden.

Punktkombination

Signale werden mit konfigurierbaren Gewichten kombiniert (Standard: 50% semantisch, 25% lexikalisch, 25% Aktualität), normalisiert und durch einen Mindestpunkteschwellenwert gefiltert.

Cross-Encoder Reranking

Nach dem ersten Abruf bewertet ein Cross-Encoder-Modell die besten Kandidaten neu:

Kontextbewusste Bewertung berücksichtigt Abfrage-Dokument-Paare zusammen (nicht unabhängig)
Keyword-Boost-Berechnung für Termüberlappung
Gemischte Bewertung (Cross-Encoder + Keyword-Signale)
Erzeugt eine endgültige Rangliste mit höherer Präzision als der erste Abruf allein

Unterstützung für strukturierte Daten

Für Tabellenkalkulationsinhalte bietet das System zusätzliche Funktionen:

Automatische Erkennung von Spaltentypen (numerisch, Datum, boolesch, Zeichenfolge)
Natürliche Sprachfilterung (z.B. "Mitarbeiter in der Technik mit Gehalt über Schwelle")
Aggregationsunterstützung (Anzahl, Summe, Durchschnitt, Minimum, Maximum)
Abfrageanalysator leitet strukturierte Abfragen an eine dedizierte Engine statt an die Embedding-Suche

Webschnittstelle

Projektmanagement — Erstellen, Aktualisieren und Löschen von Wissensdatenbankprojekten
Dokumenten-Upload — Drag-and-Drop-Datei-Upload mit automatischer Format-Erkennung
Dokumentenerstellung — Erstellen von Dokumenten aus Text direkt in der Benutzeroberfläche
Interaktive Suche — Natürliche Sprachabfrage-Schnittstelle mit geordneten Ergebnissen
Statistiken — Indexgröße, Dokumentenanzahl und Formatverteilung pro Projekt

Hauptmerkmale

Vollständig lokal — Alle Verarbeitung auf dem Gerät; keine externen API-Aufrufe für Embeddings oder Suche
9 Eingabeformate — PDF, DOCX, DOC, XLSX, XLS, CSV, HTML, Markdown, einfacher Text
Struktur-bewusstes Chunking — Bewahrt Seiten, Blätter und Überschriften als Chunk-Grenzen
Hybride Suche — Kombiniert semantische, lexikalische und Aktualitätssignale für bessere Abrufe
Cross-Encoder Reranking — Zweitpass-Bewertung für präzisere Ergebnisse
Strukturierte Abfragen — Natürliche Sprachfilterung und Aggregation bei Tabellenkalkulationsdaten
Serverlose Vektor-DB — LanceDB dateibasierte Speicherung ohne Infrastruktur-Overhead
Dokumentenschreiben — Exportmöglichkeiten für PDF-, DOCX- und XLSX-Erstellung
Projektisolation — Unabhängige Wissensdatenbanken mit separaten Indizes
Web-UI — Vollständige Schnittstelle für Dokumentenverwaltung und interaktive Suche

Lokal-First Dokument RAG System mit Hybrid-Suche & Multi-Format-Unterstützung

Die Herausforderung

Unsere Lösung

Architektur

Dokumentenverarbeitungspipeline

Multi-Format-Loader

Struktur-bewusstes Chunking

Embedding & Indizierung

Lokales Embedding-Modell

Vektorspeicherung

Hybride Suchpipeline

Signal 1: Embedding-Suche (Semantisch)

Signal 2: Volltextsuche (Lexikalisch)

Signal 3: Aktualitäts-Boost

Punktkombination

Cross-Encoder Reranking

Unterstützung für strukturierte Daten

Webschnittstelle

Hauptmerkmale

Ergebnisse

Technologie-Stack

caseStudyDetail.more Fallstudien

KI-gestützte Tabellenkalkulations- und Dokumentenanalyse mit Multi-Agenten-Orchestrierung und Dokumentenübergreifendem Verweis

Catant HR- und Workforce-Management-Plattform

Bereit, Ihr Unternehmen zu transformieren?

Kickly: KI-gestützte Projektplattform für Startups

Häufig gestellte Fragen