MicrocosmWorksNag-iinobasyon at Nagdidisenyo ng Digital Cosmos
Tungkol Sa AminMakipag-ugnayan
MicrocosmWorksNagpapabago at Nagdidisenyo ng Digital Cosmos

Nagbibigay ng mga solusyong IT na mahalaga. Kami ay masigasig sa teknolohiya, seguridad, at pagtulong sa mga negosyo na lumago sa pamamagitan ng maaasahan, makabagong IT infrastructure.

[email protected]
+91 7011868196
New Delhi, India

Sentro ng Paglago ng AI

AI HubInobasyon ng StartupPampabilis ng Negosyo

Mga Solusyon

Lahat ng SolusyonMga Wellness at Fitness AppsAI Video PlatformPag-unlad ng AI Agent

Mga Mapagkukunan

Mga PananawMga Gabay sa IndustriyaMga Plano ng PaggamitMga Pattern ng ArkitekturaMga Pag-aaral ng Kaso

Kumpanya

Tungkol sa AminMakipag-ugnayanAng Aming Gawain

Mga Serbisyo

Digital na PagkonsultaImprastraktura ng CloudPag-unlad ng SaaSPag-unlad ng AITeknolohiya ng Video
Pag-unlad ng ERPPagpapasadya ng ZohoPag-unlad ng OdooPagsasama ng SalesforcePag-unlad ng Custom na CRM
Pagsasama ng QuickBooksMga Solusyon sa IoTPag-unlad ng Blockchain
Pagkonsulta sa CybersecuritySuporta sa IT - L3

© 2026 MicrocosmWorks. Lahat ng karapatan ay nakalaan.

Patakaran sa PagkapribadoMga Tuntunin ng Serbisyo
Bumalik sa mga Case Study
Data SecurityNa-publish September 12, 2026 · Na-update September 12, 2026

Kontekstuwal na Pag-encrypt para sa mga LLM at Vector Database Pipeline

Isang AI platform para sa enterprise ang kailangang paganahin ang mga feature na pinapagana ng LLM (chat, paghahanap, pagsusuri ng dokumento) habang tinitiyak na ang sensitibong data — PII, talaan ng pananalapi, impormasyon sa pangangalagang pangkalusugan — ay nananatiling naka-encrypt sa buong pipeline, kasama na kapag nakaimbak bilang vector embeddings sa isang vector database.

Pag-usapan ang Iyong Proyekto
contextual-encryption-llm-vectordb.webp
Data Security
Domain
10
Technologies
5
Key Results
Delivered
Status

Ang Hamon

Ang paggamit ng mga LLM at vector database na may sensitibong data ay nagdulot ng mga bagong panganib sa seguridad:

  • Mga Pag-atake ng Embedding Inversion — Ipinakita ng pananaliksik na ang mga vector embedding ay maaaring i-reverse-engineer upang muling buuin ang orihinal na teksto, na naglalantad ng PII na nakaimbak sa mga vector DBs
  • Pagtagas ng LLM Context — Ang sensitibong data na ipinadala sa mga LLM ay maaaring lumabas sa mga tugon sa ibang user kung hindi maayos na nakahiwalay
  • Mga Kinakailangan sa Pagsunod — Ang GDPR, HIPAA, at SOC2 ay nangailangan ng encryption at rest at in transit, ngunit ang mga vector database ay nag-iimbak ng mga mathematical representations, hindi tradisyonal na text fields
  • Paggana ng Paghahanap — Ang pag-encrypt ng teksto bago ang embedding ay sumira sa semantic meaning, na nagiging walang silbi ang similarity search
  • Pamamahala ng Key — Ang mga encryption key per-tenant ay nangailangan ng pagpapalit nang hindi muling ini-embed ang buong dataset
  • Audit Trail — Ang bawat access sa decrypted na sensitibong data ay nangailangan ng pag-log para sa pagsunod

Ang Aming Solusyon

Nagpatupad kami ng isang kontekstuwal na arkitektura ng pag-encrypt na selectively nag-e-encrypt ng mga sensitibong field bago imbakan habang pinapanatili ang semantic searchability sa pamamagitan ng isang layered approach — ine-encrypt ang PII sa metadata habang pinapanatili ang sanitized, non-sensitive na content na magagamit para sa embedding.

Arkitektura

  • Engine ng Pag-encrypt: AES-256-GCM na may mga encryption key per-tenant
  • Pamamahala ng Key: AWS KMS para sa pagbuo ng key, pagpapalit, at access control
  • Pagtuklas ng PII: PII classifier na batay sa NER (Named Entity Recognition)
  • Vector Database: Milvus para sa similarity search sa mga sanitized embedding
  • LLM Layer: Ang sanitized context ay ipinadala sa LLM, ang mga sensitibong field ay muling ipinasok pagkatapos ng generation
  • Audit System: Ang bawat decryption event ay na-log na may user, timestamp, at layunin
  • Database: PostgreSQL para sa naka-encrypt na metadata

Istratehiya ng Kontekstuwal na Pag-encrypt

Pag-uuri ng Data

Bago pumasok ang anumang data sa pipeline, isang PII classifier ang nagkakategorya sa bawat field ayon sa antas ng sensitivity:

  • Lubhang Sensitibo (hal., government IDs, financial account numbers, medical IDs) — Naka-encrypt, hindi kailanman ini-embed, hindi kailanman ipinadala sa LLM
  • Sensitibong PII (hal., buong pangalan, email address, numero ng telepono) — Naka-encrypt at rest, pinalitan ng placeholder bago ang embedding
  • Kontekstuwal (hal., job titles, pangalan ng kumpanya) — Naka-encrypt at rest, magagamit para sa embedding na may pahintulot
  • Hindi Sensitibo (hal., product descriptions, pampublikong impormasyon) — Nakaimbak at ini-embed as-is

Mga Layer ng Pag-encrypt

Layer 1: Field-Level Encryption at Rest

Ang mga sensitibong field ay naka-encrypt gamit ang AES-256-GCM bago imbakan. Ang bawat tenant ay nakakakuha ng nakatuong data encryption key (DEK) na pinamamahalaan sa pamamagitan ng key hierarchy via AWS KMS. Nag-iimbak ang mga shadow field ng mga searchable hash para sa exact-match lookup nang hindi nangangailangan ng decryption.

Layer 2: Sanitization Bago ang Embedding

Ang PII ay natutukoy at pinalitan ng mga type-preserving placeholder bago ipadala ang teksto sa embedding model. Pinapanatili nito ang semantic meaning para sa similarity search habang tinatanggal ang makikilalang impormasyon. Ang orihinal-sa-placeholder na mapping ay nakaimbak na naka-encrypt kasama ang vector record.

Layer 3: Context Injection Pagkatapos ng LLM Generation

Ang LLM ay nakakatanggap ng sanitized context na may mga placeholder para sa pagbuo ng mga tugon. Pagkatapos ng generation, muling ipinapasok ng system ang aktwal na values mula sa naka-encrypt na storage sa tugon. Pinipigilan nito ang sensitibong data na pumasok sa LLM training data o ma-cache ng provider.

Seguridad ng Vector Database

Disenyo ng Koleksyon

Nag-iimbak ang mga koleksyon ng vector ng mga sanitized embedding kasama ang naka-encrypt na orihinal na metadata. Ang paghihiwalay ng tenant ay ipinapatupad sa pamamagitan ng mga partition key, kung saan ang metadata ng bawat tenant ay naka-encrypt gamit ang sarili nilang key. Bine-validate ng API layer ang pagmamay-ari ng tenant bago ang anumang operasyon ng decryption.

Pamamahala at Pagpapalit ng Key

Hierarchy ng Key

Ginagamit ang isang multi-level key hierarchy: isang master key sa AWS KMS ang bumabalot sa per-tenant key encryption keys, na sa huli ay bumabalot sa per-tenant data encryption keys na ginagamit para sa field-level encryption. Nagbibigay-daan ito sa mahusay na pagpapalit ng key nang hindi muling ine-encrypt ang buong key chain.

Proseso ng Pagpapalit ng Key

  1. Bagong DEK Nabuo — Bagong data encryption key na ginawa sa ilalim ng umiiral na key encryption key
  2. Mga Bagong Pagsusulat — Lahat ng bagong data ay naka-encrypt gamit ang bagong key; nananatiling valid ang lumang key para sa mga pagbasa
  3. Pag-re-encrypt sa Background — Ang batch job ay muling nag-e-encrypt ng mga umiiral na record gamit ang bagong key
  4. Pagre-retiro ng Lumang DEK — Kapag nailipat na ang lahat ng record, ang lumang key ay minarkahang inactive
  5. Audit Log — Ang kaganapan ng pagpapalit ay na-log na may mga timestamp at bilang ng naapektuhang record

Audit at Pagsunod

Decryption Audit Log

Ang bawat decryption event ay kinukuha kung sino ang nag-request nito, ano ang na-decrypt, kailan, bakit (request context), at aling key ang ginamit — nagbibigay ng kumpletong compliance trail.

Karapatan sa Pagbura ng GDPR

Sinusuportahan ng system ang buong pagtanggal ng data sa relational database at vector database, na may opsyonal na pagpapalit ng key upang cryptographically na matiyak na walang residual access. Ang lahat ng operasyon ng pagtanggal ay na-log sa isang GDPR audit trail.

Mga Pangunahing Feature

  1. Field-Level Encryption — AES-256-GCM sa mga sensitibong field, hindi sa buong record
  2. PII Sanitization — Pinapanatili ng mga placeholder ang semantic meaning para sa mga embedding
  3. Post-LLM Re-injection — Hindi kailanman ipinadala ang sensitibong data sa mga LLM provider
  4. Mga Key Per-Tenant — Nakahiwalay na encryption key na may pamamahala ng AWS KMS
  5. Pagpapalit ng Key — Zero-downtime rotation na may background re-encryption
  6. Kaligtasan ng Embedding — Pinipigilan ng mga sanitized embedding ang mga inversion attack sa PII
  7. Audit Trail — Bawat decryption ay na-log para sa compliance reporting
  8. Pagsunod sa GDPR — Awtomatikong pagbura sa mga encrypted store at vector DB

Mga Resulta

Pagsunod: Naabot ang mga kinakailangan sa encryption at audit ng GDPR, HIPAA, at SOC2
Seguridad: Ang PII ay hindi kailanman nalantad sa mga vector embedding o LLM context
Kalidad ng Paghahanap: Pinanatili ng mga sanitized embedding ang 95%+ semantic search relevance kumpara sa unsanitized

Technology Stack

AES-256-GCMAWS KMSMilvusPostgreSQLNER/PII DetectionOpenAI EmbeddingsNode.jsTypeScriptBullMQPython

caseStudyDetail.more Mga Case Study

Tuklasin ang higit pa sa aming mga teknikal na implementasyon

HR Management Software

Catant HR at Platform sa Pamamahala ng Workforce

Ang Catant ay isang modular na HR at platform sa pamamahala ng workforce na tumutulong sa mga enterprise na pamahalaan ang mga empleyado, payroll, pagdalo, at compliance mula sa isang dashboard.

Basahin ang Case Study
SaaS Development

Kickly: Platforma ng Proyekto na Pinapagana ng AI para sa mga Startup

Ang Kickly ay isang AI-powered project management platform na binuo para sa mga startup — pinagsasama ang matalinong task automation, team collaboration, at real-time progress tracking sa isang produkto.

Basahin ang Case Study

Handa nang Baguhin ang Iyong Negosyo?

Pag-usapan natin kung paano namin mailalapat ang katulad na mga solusyon sa iyong mga hamon.

Makipag-ugnayancaseStudyDetail.viewAllCaseStudies
Performance: Nagdagdag ang field-level encryption ng < 5ms na overhead bawat operasyon
Pagpapalit ng Key: Nakumpleto ang zero-downtime rotation para sa 1M+ record sa background
AI Accounting

Pagpoproseso ng Invoice na Pinapagana ng AI gamit ang OCR at Integrasyon ng QuickBooks

Isang katamtamang laking negosyo na nagpoproseso ng daan-daang invoice ng vendor buwan-buwan ang kinailangan alisin ang manu-manong pagpasok ng data sa pamamagitan ng awtomatikong pagkuha ng data ng invoice gamit ang AI/OCR at direktang i-sync ito sa QuickBooks para sa bookkeeping at pagsubaybay sa pagbabayad.

Basahin ang Case Study

Mga Madalas Itanong

Ang MicrocosmWorks ay nakabuo ng isang selective encryption pipeline na kumikilala at nag-e-encrypt ng mga sensitibong entidad tulad ng mga pangalan, numero ng account, at data ng kalusugan sa loob ng mga dokumento bago sila pumasok sa vector database, habang pinapanatili ang nakapaligid na semantic context na kailangan ng LLM para sa makabuluhang pagkuha at pagbuo. Sa panahon ng query, dine-decrypt ng system ang mga partikular na entidad lamang na kailangan para sa tugon, na naaayon sa antas ng access ng humihiling na user, kaya hindi kailanman nakikita ng LLM ang raw na sensitibong data na hindi nito awtorisadong ipakita.

Nilutas ito ng MicrocosmWorks sa pamamagitan ng pag-encrypt ng sensitibong entity sa antas ng token habang kinakalkula ang embeddings sa orihinal na hindi naka-encrypt na teksto, pagkatapos ay iimbak ang naka-encrypt na teksto kasama ng mga semantic vector sa vector database. Kinukuha ng paghahanap ang mga semantically relevant na bahagi gamit ang mga high-quality na embeddings, at ang decryption layer ay bumubuo muli sa orihinal na nilalaman para lamang sa mga awtorisadong user, pinapanatili ang buong kalidad ng paghahanap habang pinoprotektahan ang data at rest.

Idinisenyo ng MicrocosmWorks ang diskarte sa contextual encryption upang tugunan ang mga tiyak na kinakailangan sa HIPAA, SOC 2, GDPR, at CCPA sa pamamagitan ng pagtiyak na ang personally identifiable information at protected health information ay naka-encrypt habang walang ginagawa sa vector store at tanging dina-decrypt lamang sa loob ng memory sa panahon ng awtorisadong query processing. Ang sistema ay bumubuo ng tamper-proof na mga audit log ng bawat decryption event, na nakakatugon sa mga kinakailangan sa access monitoring at accountability na karaniwan sa lahat ng mga compliance framework na ito.

Nagtayo ang *MicrocosmWorks* ng isang *migration utility* na nagpoproseso ng mga kasalukuyang *vector database collection* nang *incrementally*, ini-encrypt ang mga sensitibong *entity* sa mga nakaimbak na *document chunk* habang pinapanatili ang kanilang mga *vector embedding*, kaya hindi mo na kailangang muling i-compute ang mga *embedding* para sa iyong buong *corpus*. Ang *migration* ay tumatakbo bilang isang *background process* na maaaring i-pause at ipagpatuloy, at ang *query pipeline* ay walang putol na humahawak sa parehong naka-encrypt at hindi pa na-migrate na mga *chunk* sa panahon ng *transition period*.

In-optimize ng MicrocosmWorks ang mga operasyon ng encryption at decryption upang magdagdag ng humigit-kumulang 15-30ms na dagdag na oras sa bawat query, na bale-wala kumpara sa karaniwang 500ms-2s na oras ng pagbuo ng LLM. Ang entity detection at encryption sa panahon ng ingestion ay nagdaragdag ng humigit-kumulang 100ms sa bawat chunk ng dokumento, na minimal din dahil ang ingestion ay karaniwang isang batch process. Gumagamit ang system ng hardware-accelerated na mga operasyon ng AES at nagke-cache ng decryption keys sa memorya upang mabawasan ang cryptographic overhead.