הצפנה תלוית-הקשר עבור LLM וצינורות נתונים של מסדי נתונים וקטוריים
פלטפורמת AI ארגונית נדרשה לאפשר תכונות מבוססות LLM (צ'אט, חיפוש, ניתוח מסמכים) תוך הבטחת שנתונים רגישים – PII, רשומות פיננסיות, מידע רפואי – יישארו מוצפנים לאורך כל הצינור, כולל כאשר הם מאוחסנים כהטמעות וקטוריות במסד נתונים וקטורי.
דון בפרויקט שלך
האתגר
שימוש ב-LLMs ובמסדי נתונים וקטוריים עם נתונים רגישים הציג סיכוני אבטחה חדשניים:
- מתקפות היפוך הטמעות — מחקרים הראו שניתן לבצע הנדסה לאחור של הטמעות וקטוריות כדי לשחזר טקסט מקורי, ובכך לחשוף PII המאוחסן במסדי נתונים וקטוריים (vector DBs)
- זליגת הקשר מ-LLM — נתונים רגישים שנשלחו ל-LLMs עלולים להופיע בתגובות למשתמשים אחרים אם לא יבודדו כראוי
- דרישות תאימות — GDPR, HIPAA ו-SOC2 דרשו הצפנה במנוחה ובמעבר, אך מסדי נתונים וקטוריים אחסנו ייצוגים מתמטיים, לא שדות טקסט מסורתיים
- פונקציונליות חיפוש — הצפנת טקסט לפני הטמעה הרסה משמעות סמנטית, מה שהפך חיפוש דמיון ללא שימושי
- ניהול מפתחות — מפתחות הצפנה לכל דייר נדרשו לרוטציה ללא הטמעה מחדש של מערכי נתונים שלמים
- יומן ביקורת — כל גישה לנתונים רגישים שפוענחו דרשה רישום ביומן לצורך תאימות
הפתרון שלנו
יישמנו ארכיטקטורת הצפנה תלוית-הקשר המצפינה באופן סלקטיבי שדות רגישים לפני האחסון, תוך שמירה על יכולת חיפוש סמנטית באמצעות גישה שכבתית – הצפנת PII במטא נתונים ושמירה על תוכן מטוהר ולא רגיש זמין להטמעה.
ארכיטקטורה
- מנוע הצפנה: AES-256-GCM עם מפתחות הצפנה לכל דייר
- ניהול מפתחות: AWS KMS ליצירת מפתחות, רוטציה ובקרת גישה
- זיהוי PII: מסווג PII מבוסס NER (Named Entity Recognition)
- מסד נתונים וקטורי: Milvus לחיפוש דמיון על הטמעות מטוהרות
- שכבת LLM: הקשר מטוהר נשלח ל-LLM, שדות רגישים מוזרקים מחדש לאחר יצירה
- מערכת ביקורת: כל אירוע פענוח נרשם עם משתמש, חותמת זמן ומטרה
- מסד נתונים: PostgreSQL למטא נתונים מוצפנים
אסטרטגיית הצפנה תלוית-הקשר
סיווג נתונים
לפני כניסת נתונים כלשהם לצינור, מסווג PII מקטלג כל שדה לפי רמת רגישות:
- רגישים במיוחד (לדוגמה: תעודות זיהוי ממשלתיות, מספרי חשבונות פיננסיים, זיהויים רפואיים) — מוצפנים, לעולם לא מוטמעים, לעולם לא נשלחים ל-LLM
- PII רגיש (לדוגמה: שמות מלאים, כתובות אימייל, מספרי טלפון) — מוצפנים במנוחה, מוחלפים במציין מיקום לפני הטמעה
- תלויי-הקשר (לדוגמה: תארי עבודה, שמות חברות) — מוצפנים במנוחה, זמינים להטמעה בהסכמה
- לא רגישים (לדוגמה: תיאורי מוצרים, מידע ציבורי) — מאוחסנים ומוטמעים כפי שהם
שכבות הצפנה
שכבה 1: הצפנה ברמת שדה במנוחהשדות רגישים מוצפנים באמצעות AES-256-GCM לפני האחסון. כל דייר מקבל מפתח הצפנת נתונים (DEK) ייעודי המנוהל באמצעות היררכיית מפתחות דרך AWS KMS. שדות צל מאחסנים האשים ברי חיפוש עבור חיפושי התאמה מדויקים ללא צורך בפענוח.
שכבה 2: טיהור לפני הטמעהPII מזוהה ומוחלף במצייני מיקום השומרים על הסוג לפני שליחת הטקסט למודל ההטמעה. זה משמר משמעות סמנטית לחיפוש דמיון תוך הסרת מידע מזהה. מיפוי המקור למציין המיקום מאוחסן מוצפן לצד רשומת הווקטור.
שכבה 3: הזרקת הקשר לאחר יצירת LLMה-LLM מקבל הקשר מטוהר עם מצייני מיקום ליצירת תגובות. לאחר היצירה, המערכת מזריקה מחדש ערכים אמיתיים מהאחסון המוצפן לתגובה. זה מונע מנתונים רגישים להיכנס לנתוני האימון של ה-LLM או להיטמן על ידי הספק.
אבטחת מסד נתונים וקטורי
עיצוב אוסף
אוספי וקטורים מאחסנים הטמעות מטוהרות לצד מטא נתונים מקוריים מוצפנים. בידוד דיירים נאכף באמצעות מפתחות חלוקה, כאשר מטא הנתונים של כל דייר מוצפנים באמצעות המפתח שלו. שכבת ה-API מאמתת בעלות דייר לפני כל פעולת פענוח.
ניהול ורוטציית מפתחות
היררכיית מפתחות
נעשה שימוש בהיררכיית מפתחות רב-שכבתית: מפתח ראשי ב-AWS KMS עוטף מפתחות הצפנת מפתחות לכל דייר, אשר בתורם עוטפים מפתחות הצפנת נתונים לכל דייר המשמשים להצפנה ברמת שדה. זה מאפשר רוטציית מפתחות יעילה ללא הצפנה מחדש של כל שרשרת המפתחות.
תהליך רוטציית מפתחות
- DEK חדש נוצר — מפתח הצפנת נתונים חדש נוצר תחת מפתח הצפנת המפתחות הקיים
- כתיבות חדשות — כל הנתונים החדשים מוצפנים עם המפתח החדש; המפתח הישן נשאר תקף לקריאות
- הצפנה מחדש ברקע — עבודת אצווה מצפינה מחדש רשומות קיימות עם המפתח החדש
- השבתת DEK ישן — לאחר שכל הרשומות הועברו, המפתח הישן מסומן כלא פעיל
- יומן ביקורת — אירוע הרוטציה נרשם עם חותמות זמן וספירת רשומות מושפעות
ביקורת ותאימות
יומן ביקורת פענוח
כל אירוע פענוח מתעד מי ביקש זאת, מה פוענח, מתי, מדוע (הקשר הבקשה), ואיזה מפתח שימש — מספק תיעוד תאימות מלא.
זכות המחיקה של GDPR
המערכת תומכת במחיקת נתונים מלאה הן במסד הנתונים הרלציוני והן במסד הנתונים הווקטורי, עם רוטציית מפתחות אופציונלית להבטחה קריפטוגרפית של אי-גישה שיורית. כל פעולות המחיקה נרשמות ביומן ביקורת GDPR.
תכונות מפתח
- הצפנה ברמת שדה — AES-256-GCM על שדות רגישים, לא על רשומות שלמות
- טיהור PII — מצייני מיקום משמרים משמעות סמנטית עבור הטמעות
- הזרקה מחדש לאחר LLM — נתונים רגישים לעולם אינם נשלחים לספקי LLM
- מפתחות לכל דייר — מפתחות הצפנה מבודדים עם ניהול AWS KMS
- רוטציית מפתחות — רוטציה ללא השבתה עם הצפנה מחדש ברקע
- בטיחות הטמעה — הטמעות מטוהרות מונעות מתקפות היפוך על PII
- יומן ביקורת — כל פענוח נרשם לצורך דיווחי תאימות
- תאימות GDPR — מחיקה אוטומטית על פני אחסונים מוצפנים ומסד נתונים וקטורי
תוצאות
מחסנית טכנולוגית
caseStudyDetail.more מקרי בוחן
גלה עוד מהיישומים הטכניים שלנו
פלטפורמת Catant לניהול משאבי אנוש וכוח אדם
Catant היא פלטפורמה מודולרית לניהול משאבי אנוש וכוח אדם המסייעת לארגונים לנהל עובדים, שכר, נוכחות ועמידה בתקנים מתוך לוח מחוונים אחד.
Kickly: פלטפורמת פרויקטים מבוססת AI לסטארט-אפים
Kickly היא פלטפורמת ניהול פרויקטים מבוססת AI שנבנתה עבור סטארט-אפים — המשלבת אוטומציה חכמה של משימות, שיתוף פעולה בצוות, ומעקב אחר התקדמות בזמן אמת במוצר אחד.
שאלות נפוצות
MicrocosmWorks פיתחה צינור הצפנה סלקטיבי שמזהה ומצפין ישויות רגישות כמו שמות, מספרי חשבון ונתוני בריאות בתוך מסמכים לפני שהם נכנסים למאגר הנתונים הווקטורי, תוך שמירה על ההקשר הסמנטי הסובב שה-LLM זקוק לו לאחזור וייצור משמעותיים. בזמן שאילתה, המערכת מפענחת רק את הישויות הספציפיות הדרושות לתגובה, בהתאם לרמת הגישה של המשתמש המבקש, כך שה-LLM לעולם אינו רואה נתונים רגישים גולמיים שאינו מורשה לחשוף.
MicrocosmWorks פתרו זאת על ידי הצפנת ישויות רגישות ברמת הטוקן, תוך כדי חישוב הטמעות על הטקסט המקורי הלא מוצפן, ולאחר מכן אחסון הטקסט המוצפן לצד הווקטורים הסמנטיים במסד הנתונים הווקטורי. החיפוש מאחזר קטעים רלוונטיים סמנטית באמצעות ההטמעות האיכותיות, ושכבת הפענוח משחזרת את התוכן המקורי רק עבור משתמשים מורשים, תוך שמירה על איכות חיפוש מלאה והגנה על נתונים במנוחה.
MicrocosmWorks תכננה את גישת ההצפנה הקונטקסטואלית כדי לתת מענה לדרישות ספציפיות ב-HIPAA, SOC 2, GDPR ו-CCPA, על ידי הבטחה ש-PII ו-PHI מוצפנים at rest ב-vector store ומפוענחים רק בתוך הזיכרון במהלך עיבוד שאילתות מורשה. המערכת מייצרת audit logs חסינים מפני שיבוש של כל אירוע פענוח, אשר עומד בדרישות ניטור הגישה והאחריותיות המשותפות למסגרות תאימות אלו.
MicrocosmWorks בנתה כלי שירות להעברה שמעבד אוספי מסדי נתונים וקטוריים קיימים באופן מצטבר, מצפין ישויות רגישות בנתחי מסמכים מאוחסנים תוך שמירה על הטמעות וקטוריות שלהם, כך שאינך צריך לחשב מחדש הטמעות עבור כל הקורפוס שלך. ההעברה מתבצעת כתהליך רקע שניתן להשהות ולחדש, וצינור השאילתות מטפל בצורה חלקה בנתחים מוצפנים וגם בנתחים שטרם הועברו במהלך תקופת המעבר.
MicrocosmWorks ביצעה אופטימיזציה לפעולות ההצפנה והפענוח כדי להוסיף כ-15-30ms של תקורה לכל שאילתה, וזה זניח בהשוואה לזמן יצירת LLM טיפוסי של 500ms-2s. זיהוי והצפנת ישויות במהלך הקליטה מוסיפים כ-100ms לכל פיסת מסמך, וגם זה מינימלי מכיוון שקליטה היא בדרך כלל תהליך אצווה. המערכת משתמשת בפעולות AES מואצות חומרה ומטמנת מפתחות פענוח בזיכרון כדי למזער את התקורה הקריפטוגרפית.
מוכן לשנות את העסק שלך?
בואו נדון כיצד נוכל ליישם פתרונות דומים לאתגרים שלך.