ארכיטקטורת RAG Pipeline

MicrocosmWorks מיישמת יישוב קונפליקטים בצינורות RAG באמצעות דירוג סמכות מקור, שקילת עדכניות מבוססת חותמת זמן, וניקוד ביטחון המעריך עד כמה כל קטע מאוחזר תומך בטענתו. כאשר מאוחזרים קטעים סותרים, הצינור שלנו מציג את התשובה בעלת הסמכות הגבוהה ביותר תוך הצגה שקופה של אי ההסכמה וציטוטי המקורות, כך שמשתמשים יוכלו לקבל החלטות מושכלות. אנו בונים גם לולאות משוב שבהן מומחי תחום יכולים לסמן יישובים שגויים, מה שמשפר את דירוג האחזור לאורך זמן.

MicrocosmWorks משתמשת ב-chunking מודע-תוכן שמיישם אסטרטגיות שונות בהתבסס על מבנה המסמך – פיצול פסקאות סמנטי לפרוזה, chunking ברמת שורה או ברמת מקטע עבור טבלאות עם שימור הקשר של הכותרות, ו-chunking ברמת פונקציה עבור קוד עם הצהרות import מצורפות. אנו מעשירים כל chunk ב-metadata הכוללים כותרת מסמך, היררכיית מקטעים וסוג תוכן, כך ששלב השליפה יוכל ליישם ניקוד ספציפי לסוג. גישה זו עולה באופן עקבי בביצועיה על chunking נאיבי בגודל קבוע ב-25-40% במדדי רלוונטיות שליפה בפרויקטי הלקוחות שלנו.

MicrocosmWorks בונה מערכות הערכה הבודקות פייפליינים של RAG על פני שלושה ממדים: רלוונטיות אחזור (האם ה-'צ'אנקים' הנכונים נמצאים), נאמנות התשובה (האם התשובה שנוצרה אכן משקפת את התוכן שאוחזר), ושלמות התשובה (האם היא מתייחסת לשאלה המלאה). אנו יוצרים מערכי בדיקה 'גולדן' עם מומחי תחום הכוללים שאילתות עם תשובות ידועות, מקרי קצה עוינים, ושאלות הדורשות שילוב מידע ממספר מסמכים. הערכה זו רצה אוטומטית ב-CI/CD כך שכל שינוי בפייפליין נמדד אל מול מדדי איכות בסיסיים לפני הפריסה.

MicrocosmWorks בוחרת מאגרי וקטורים בהתבסס על קנה המידה שלכם, תבנית השאילתות ודרישות התפעול—Pinecone לפשטות מנוהלת, Weaviate לחיפוש היברידי של מילות מפתח-וקטורים, pgvector לצוותים שכבר השקיעו ב-PostgreSQL, ו-Qdrant לפריסות עצמאיות עם תפוקה גבוהה. בסקלות מתחת ל-10 מיליון וקטורים, רוב האפשרויות מספקות זמן אחזור של פחות מ-100ms, אך ההבדלים הופכים למשמעותיים במאות מיליוני וקטורים שבהם סוג האינדקס, קוונטיזציה ואסטרטגיית חלוקה חשובים במידה עצומה. אנו מבצעים בנצ'מרק לממדי ההטבעה האמיתיים שלכם ולתבניות השאילתות מול האפשרויות שנבחרו בקצרה במהלך שלב תכנון הארכיטקטורה שלנו.

MicrocosmWorks בונה צינורות הזנה מצטברים (incremental ingestion pipelines) שמנטרים מאגרי מסמכי מקור (source document repositories) לשינויים, מבצעים re-chunk ו-re-embed רק של הסעיפים שהשתנו, ומעדכנים את ה-vector store ללא צורך ב-reindex מלא. אנו מיישמים document fingerprinting שמזהה שינויים בתוכן ברמת הסעיף (section level), כך שעריכה של פסקה אחת אינה מפעילה עיבוד מחדש (reprocessing) של מסמך שלם בן 200 עמודים. עבור לקוחות עם דרישות real-time freshness, אנו מוסיפים שכבת live retrieval שמבצעת שאילתות ישירות למערכת המקור עבור מסמכים ששונו לאחרונה וממזגת את התוצאות הללו עם vector search hits.