تحليل جداول البيانات والمستندات المدعوم بالذكاء الاصطناعي مع تنسيق متعدد الوكلاء والمراجع المتبادلة بين المستندات

لقد قمنا ببناء منصة ذكاء مستندي متعدد الوكلاء مدعومة بالذكاء الاصطناعي مع استرجاع مدعوم بقاعدة بيانات متجهية للمستندات الكبيرة، ووكلاء متخصصين لأنواع المستندات المختلفة، ومنسق للاستدلال عبر المستندات، وإمكانيات الكتابة للتحرير في جداول البيانات.

البنية

• المنسق (Orchestrator): وكيل منسق للذكاء الاصطناعي ينسق مهام سير العمل متعددة الخطوات عبر الوكلاء المتخصصين
• وكيل جداول البيانات: يتعامل مع تحليل Excel/CSV/Google Sheets، وتوليد الصيغ، وتعديلات الخلايا
• وكيل المستندات: يتعامل مع قراءة واستخراج وتلخيص مستندات PDF/Word
• وكيل الربط المرجعي: يقوم بعمليات الربط والمقارنات والتسوية عبر أنواع المستندات
• قاعدة البيانات المتجهية (Vector Database): Milvus للفهرسة الدلالية لأجزاء المستندات وصفوف جداول البيانات
• طبقة LLM: نهج متعدد النماذج مع استدعاء الوظائف
• الواجهة الخلفية (Backend): Python/FastAPI لمعالجة المستندات وتنسيق الوكلاء
• الواجهة الأمامية (Frontend): لوحة تحكم React مع تحميل الملفات وواجهة دردشة ومعاينة جداول البيانات المباشرة
• التخزين: S3 للملفات الأصلية، PostgreSQL للبيانات الوصفية وتتبع المهام

بنية الوكلاء المتعددين

أدوار الوكلاء

1. وكيل المنسق (Orchestrator Agent)

المنسق المركزي الذي يتلقى استعلامات المستخدم، ويقوم بتفكيكها إلى مهام فرعية، ويفوضها إلى وكلاء متخصصين. يقوم بتحليل نية المستخدم، وإنشاء خطط التنفيذ، وإدارة تدفق البيانات بين الوكلاء، وتجميع النتائج، والتعامل مع استعادة الأخطاء.

2. وكيل جداول البيانات (Spreadsheet Agent)

متخصص في عمليات البيانات الجدولية بما في ذلك فهم المخطط، وترجمة اللغة الطبيعية إلى استعلامات، والتجميع والتصفية، وتوليد الصيغ، وتعديل الخلايا وتعبئة الأعمدة، واقتراحات الرسوم البيانية، والتحقق من صحة البيانات/اكتشاف الشذوذ.

3. وكيل المستندات (Document Agent)

متخصص في المستندات غير المهيكلة وشبه المهيكلة بما في ذلك التعرف الضوئي على الحروف (OCR) واستخراج النصوص مع مراعاة التخطيط، وتحديد الأقسام، واستخراج أزواج المفتاح والقيمة من العقود، والتلخيص، والبحث الدلالي عن البنود، واستخراج الجداول من ملفات PDFs/Word docs.

4. وكيل الربط المرجعي (Cross-Reference Agent)

متخصص في الاستدلال متعدد المستندات بما في ذلك مطابقة الكيانات عبر المستندات، وتسوية البيانات وتحديد التناقضات، وتحليل المخططات الزمنية، وحل التبعيات للبيانات المتعارضة، وعمليات الربط الشبيهة بـ SQL عبر أنواع المستندات.

طبقة قاعدة البيانات المتجهية

لماذا قاعدة بيانات متجهية للمستندات

لا يمكن احتواء المستندات وجداول البيانات الكبيرة في نافذة سياق LLM واحدة. تتيح قاعدة البيانات المتجهية البحث الدلالي عبر ملايين الصفوف وأجزاء المستندات، واسترجاع الأجزاء ذات الصلة فقط لكل استعلام، وربط الكيانات عبر المستندات عبر تشابه التضمين، والفهرسة المستمرة التي لا تحتاج إلى إعادة معالجة في كل استعلام.

استراتيجية الفهرسة

فهرسة جداول البيانات:

يتم تحويل كل صف إلى تمثيل باللغة الطبيعية عن طريق دمج قيم الأعمدة الرئيسية، ثم تضمينه وتخزينه مع مراجع تعود إلى الملف الأصلي والورقة وفهرس الصف لعمليات الكتابة.

فهرسة المستندات:

يتم استخراج المستندات مع مراعاة التخطيط، وتقسيمها إلى أجزاء دلالية متداخلة، وتضمينها، وتخزينها مع مراجع للملف المصدر والقسم ورقم الصفحة.

فهرس كيانات الربط المرجعي:

يربط فهرس منفصل الكيانات (البائعون، المنتجات، الأشخاص، أرقام الفواتير) عبر المستندات، مما يتيح استعلامات الربط المرجعي للعثور بسرعة على جميع الإشارات إلى كيان معين بغض النظر عن ملف المصدر.

مسار الاسترجاع

عندما يطرح المستخدم سؤالاً يخص مستندات متعددة، يحدد المنسق المستندات والوكلاء المطلوبين، ويقوم بعمليات بحث متجهية للعثور على البيانات ذات الصلة عبر جميع المصادر، ويفوضها إلى وكلاء متخصصين للمعالجة، ويجمع النتائج في استجابة متماسكة.

محرك التنسيق

تفكيك الاستعلام

يقوم المنسق بتقسيم الاستعلامات المعقدة إلى خطط تنفيذ متعددة الخطوات. على سبيل المثال، سؤال مثل "ابحث عن الموردين الذين تأخروا في التسليم، وتحقق من بنود جزاءات العقد، واحسب الغرامات المستحقة" سيتم تفكيكه إلى خطوات متتالية: الاستعلام عن بيانات التسليم عبر وكيل جداول البيانات، والبحث في العقود عبر وكيل المستندات، وربط النتائج عبر وكيل الربط المرجعي.

اتصال الوكلاء

• يتواصل الوكلاء عبر رسائل مهيكلة ذات حمولات محددة النوع
• يحافظ المنسق على سياق التنفيذ مع النتائج الوسيطة
• تؤدي الخطوات الفاشلة إلى استراتيجيات إعادة المحاولة أو الرجوع
• يتم إرجاع النتائج الجزئية إذا اكتملت بعض الخطوات بينما فشلت خطوات أخرى

تحرير جداول البيانات والكتابة

إمكانيات التحرير

تدعم المنصة تحديثات الخلايا، وتعبئة الأعمدة، وإدراج الصفوف، والتنسيق الشرطي، وإنشاء أوراق جديدة، وحقن الصيغ — وكلها مقترحة من قبل وكلاء AI وتطبق بموافقة المستخدم.

مسار الكتابة

1. يحدد الوكيل عملية التحرير (أي الخلايا، وما هي القيم)
2. يتم عرض معاينة التحرير للمستخدم مع تمييز الفروقات (القيم القديمة مقابل الجديدة)
3. يوافق المستخدم على التغييرات المقترحة أو يعدلها
4. تطبق الواجهة الخلفية التغييرات على الملف باستخدام المكتبات المناسبة لكل تنسيق
5. يتم حفظ الملف المعدل كإصدار جديد مع سجل تدقيق التحرير
6. يتم تحديث الفهرس المتجهي للصفوف التي تم تغييرها

التحكم في الإصدارات

• كل عملية تحرير تنشئ إصدار ملف جديد (يتم الحفاظ على الأصلي)
• يعرض سجل الفروقات (Diff log) بالضبط ما تغير، ومتى، ولماذا
• العودة إلى أي إصدار سابق بنقرة واحدة
• تحديد مصدر التعديل: أي وكيل أو مستخدم أجرى كل تغيير

مسار المعالجة للمستندات الجديدة

تدفق تحميل الملفات

1. يقوم المستخدم بتحميل الملفات (عبر السحب والإفلات أو API)
2. يتم اكتشاف نوع الملف وتوجيهه إلى المعالج المناسب
3. جداول البيانات: يتم تحليلها، استنتاج المخطط، تضمين وفهرسة الصفوف
4. ملفات PDFs: التعرف الضوئي على الحروف (OCR) (إذا كانت ممسوحة ضوئيًا) → استخراج التخطيط → التجزئة (chunking) → التضمين (embedding) → الفهرسة (indexing)
5. مستندات Word: استخراج النص → تحليل الأقسام → التجزئة (chunking) → التضمين (embedding) → الفهرسة (indexing)
6. استخراج الكيانات: يتعرف NER على الأشخاص، المنظمات، التواريخ، والمبالغ عبر جميع المستندات
7. ربط المستندات: يتم تحديث فهرس الكيانات بإشارات جديدة
8. يتم تخزين البيانات الوصفية للملف في PostgreSQL، والتضمينات في قاعدة البيانات المتجهية، والأصول في S3

التنسيقات المدعومة

تدعم المنصة Excel, CSV, و Google Sheets (مع إمكانية الكتابة الكاملة)، وملفات PDFs الأصلية والممسوحة ضوئيًا (للقراءة فقط)، ومستندات Word و Google Docs (مع إمكانية الكتابة المحدودة).

الميزات الرئيسية

1. بنية الوكلاء المتعددين — وكلاء متخصصون لجداول البيانات، المستندات، والربط المرجعي
2. منسق AI — يقوم بتفكيك الاستعلامات المعقدة إلى خطط تنفيذ متعددة الخطوات
3. الربط المرجعي بين المستندات — ربط الكيانات وتسوية البيانات عبر أنواع الملفات
4. الاسترجاع المدعوم بالمتجهات — البحث الدلالي يتعامل مع مجموعات البيانات التي تتجاوز حدود سياق LLM
5. الكتابة إلى جداول البيانات — يقوم AI بتحرير الخلايا، وتعبئة الأعمدة، وحقن الصيغ بموافقة المستخدم
6. دعم مجموعات البيانات الكبيرة — جداول بيانات بأكثر من 50,000 صف مفهرسة وقابلة للاستعلام عبر البحث المتجهي
7. التحكم في الإصدارات — يتم إصدار كل تعديل مع سجل فروقات (diff log) وإمكانية الرجوع
8. استعلامات اللغة الطبيعية — اطرح أسئلة تحليلية معقدة باللغة الإنجليزية البسيطة
9. دعم التنسيقات المتعددة — Excel, CSV, Google Sheets, PDF, Word, Google Docs
10. معاينة التحرير — معاينة مميزة بالفروقات قبل تطبيق أي تغييرات