מערכת RAG מקומית למסמכים בגישת local-first עם חיפוש היברידי ותמיכה בריבוי פורמטים

בנינו מערכת RAG מקומית לחלוטין בגישת local-first עם קליטת מסמכים בריבוי פורמטים, פיצול ל'צ'אנקים' מודע-מבנה, יצירת הטמעות מקומיות, צינור חיפוש היברידי (סמנטי + טקסט מלא + עדכניות), דירוג מחדש באמצעות cross-encoder, וממשק משתמש מבוסס-אינטרנט — הכל פועל בשלמותו על מכשיר המשתמש.

ארכיטקטורה

• טועני מסמכים (Document Loaders): מפענחים ספציפיים לפורמט עבור PDF, DOCX, XLSX, CSV, HTML, Markdown וטקסט רגיל
• מפצל (Chunker): פיצול מודע-מבנה השומר על גבולות עמוד, גיליון וכותרת
• הטמעות (Embeddings): מודל הטמעה מקומי באמצעות Transformers.js (ללא קריאות API חיצוניות)
• מסד נתונים וקטורי (Vector Database): LanceDB (ללא שרת, מבוסס קבצים) לאחסון הטמעות וחיפוש דמיון
• חיפוש טקסט מלא (Full-Text Search): אינדוקס מבוסס-טריגרם להתאמה לקסיקלית
• מדרג מחדש (Reranker): מודל Cross-encoder לניקוד תוצאות מודע-הקשר
• מנתח שאילתות (Query Analyzer): ניתוב זיהוי כוונה בין שאילתות סמנטיות למובנות
• שרת ווב (Web Server): Express.js API עם נקודות קצה (endpoints) לניהול פרויקטים וחיפוש
• ממשק קצה (Frontend): ממשק משתמש מבוסס-אינטרנט להעלאת מסמכים, ניהול וחיפוש אינטראקטיבי

צינור עיבוד מסמכים

טוענים מרובי-פורמטים

תבנית רישום מזהה אוטומטית את סוג הקובץ ומנתבת אותו למפענח המתאים:

• PDF — חילוץ טקסט עם פילוח ברמת העמוד
• Word (.docx/.doc) — פיענוח מודע-כותרות השומר על היררכיית המסמך
• Excel/CSV — פיענוח גיליון-אחר-גיליון עם זיהוי כותרות ותוכן ברמת השורה
• HTML — חילוץ מודע-תגיות עם שמירת מבנה
• Markdown — פיענוח מקטעים מבוסס-כותרות
• טקסט רגיל — פילוח מבוסס-שורות

כל טוען מחלץ מטא-נתונים (כותרת, מחבר, תאריך יצירה, ספירת עמודים/גיליונות, ספירת מילים) לצד התוכן, ומפיק מקטעים מובנים עם הפניות למקור.

פיצול ל'צ'אנקים' מודע-מבנה

שלא כמו פיצול טקסט תמים, המפצל ('chunker') מכבד את גבולות המסמך:

• שומר על מעברי עמוד (PDFs), גבולות גיליונות (גיליונות אלקטרוניים) והיררכיית כותרות (Word/Markdown)
• קביעת גודל מבוססת-אסימונים עם גודל 'צ'אנק' וחפיפה ניתנים להגדרה
• מנגנון חזרה היררכי: מפצל לפי מקטעים תחילה, ואז פסקאות, ואז משפטים
• כל 'צ'אנק' שומר על מטא-נתוני מקור (מספר עמוד, שם גיליון, כותרת) לצורך ייחוס

הטמעה ואינדוקס

מודל הטמעה מקומי

• פועל באופן מקומי לחלוטין באמצעות Transformers.js — ללא יציאת נתונים מהמכונה
• מודל מכומת לאופטימיזציית ביצועים
• הטמעת אצווה לעיבוד כמותי יעיל
• קיטוע אוטומטי בגבולות מילים עם L2 normalization

אחסון וקטורי

LanceDB מספק אחסון וקטורי ללא שרת (serverless):

• מבוסס קבצים (אין צורך בשרת מסד נתונים נפרד)
• בידוד לכל פרויקט עם אינדקסים עצמאיים
• מפתחות מטמון מבוססי SHA256 למניעת כפילויות
• מטא-נתונים מאוחסנים לצד וקטורים לאחזור מסונן

צינור חיפוש היברידי

צינור האחזור משלב שלושה אותות דירוג לתוצאות טובות יותר מכל גישה יחידה:

אות 1: חיפוש הטמעה (סמנטי)

חיפוש דמיון וקטורי מוצא 'צ'אנקים' בעלי משמעות קשורה גם כאשר נעשה שימוש במילים שונות. מטפל בניסוח מחדש, מילים נרדפות ושאילתות קונספטואליות.

אות 2: חיפוש טקסט מלא (לקסיקלי)

אינדוקס מבוסס-טריגרם עם Jaccard similarity תופס התאמות מדויקות של מילות מפתח שחיפוש הטמעה עלול לפספס — חשוב עבור מונחים טכניים, שמות ומזהים.

אות 3: חיזוק עדכניות

שקילת דעיכה אקספוננציאלית מעדיפה מסמכים שניגשו אליהם או שונו לאחרונה, ומבטיחה שמידע עדכני יצוף תחילה.

שילוב ציונים

האותות משולבים עם משקלים ניתנים להגדרה (ברירת מחדל: 50% סמנטי, 25% לקסיקלי, 25% עדכניות), מנורמלים, ומסוננים על ידי סף ציון מינימלי.

דירוג מחדש באמצעות Cross-Encoder

לאחר אחזור ראשוני, מודל cross-encoder מדרג מחדש את המועמדים המובילים:

• ניקוד מודע-הקשר מתייחס לצמדי שאילתה-מסמך יחד (לא באופן עצמאי)
• חישוב חיזוק מילות מפתח עבור חפיפת מונחים
• ניקוד משולב (cross-encoder + אותות מילות מפתח)
• מפיק רשימה מדורגת סופית בדיוק גבוה יותר מאחזור מעבר ראשון בלבד

תמיכה בנתונים מובנים

עבור תוכן גיליונות אלקטרוניים, המערכת מספקת יכולות נוספות:

• זיהוי אוטומטי של סוגי עמודות (מספרי, תאריך, בוליאני, מחרוזת)
• סינון בשפה טבעית (לדוגמה, "עובדים בהנדסה עם שכר מעל סף")
• תמיכה באגרגציה (ספירה, סכום, ממוצע, מינימום, מקסימום)
• מנתח שאילתות מנתב שאילתות מובנות למנוע ייעודי במקום לחיפוש הטמעה

ממשק אינטרנט

• ניהול פרויקטים — יצירה, עדכון ומחיקה של פרויקטים של בסיסי ידע
• העלאת מסמכים — העלאת קבצים בגרור-ושחרר עם זיהוי אוטומטי של פורמט
• יצירת מסמכים — יצירת מסמכים מטקסט ישירות בממשק המשתמש
• חיפוש אינטראקטיבי — ממשק שאילתות בשפה טבעית עם תוצאות מדורגות
• סטטיסטיקה — גודל אינדקס, ספירת מסמכים והתפלגות פורמטים לכל פרויקט

תכונות עיקריות

1. מקומי לחלוטין — כל העיבוד מתבצע במכשיר; ללא קריאות API חיצוניות להטמעות או לחיפוש
2. 9 פורמטים קלטים — PDF, DOCX, DOC, XLSX, XLS, CSV, HTML, Markdown, טקסט רגיל
3. פיצול ל'צ'אנקים' מודע-מבנה — שומר על עמודים, גיליונות וכותרות כגבולות 'צ'אנקים'
4. חיפוש היברידי — משלב אותות סמנטיים, לקסיקליים ועדכניות לאחזור טוב יותר
5. דירוג מחדש באמצעות Cross-Encoder — ניקוד מעבר שני לתוצאות בדיוק גבוה יותר
6. שאילתות מובנות — סינון ואגרגציה בשפה טבעית על נתוני גיליונות אלקטרוניים
7. מסד נתונים וקטורי Serverless — אחסון מבוסס קבצים LanceDB ללא תקורה של תשתית
8. כתיבת מסמכים — יכולות ייצוא ליצירת PDF, DOCX ו-XLSX
9. בידוד פרויקטים — בסיסי ידע עצמאיים עם אינדקסים נפרדים
10. ממשק משתמש ווב — ממשק מלא לניהול מסמכים וחיפוש אינטראקטיבי