تحليل جداول البيانات والمستندات المدعوم بالذكاء الاصطناعي مع تنسيق متعدد الوكلاء والمراجعة المرجعية للمستندات
احتاج فريق بيانات مؤسسي إلى تحليل واستعلام وتحرير مجموعات كبيرة من جداول البيانات والمستندات (Excel, CSV, Google Sheets, PDFs, Word docs) باستخدام اللغة الطبيعية — مع القدرة على المراجعة المرجعية للبيانات عبر ملفات متعددة وتنفيذ مهام سير عمل تحليلية متعددة الخطوات دون الحاجة إلى معالجة البيانات يدويًا.
ناقش مشروعك
التحدي
كان العمل مع مستندات الأعمال على نطاق واسع مليئًا بالصعوبات:
- البيانات المعزولة — كانت المعلومات الحيوية مبعثرة عبر عشرات جداول البيانات، وملفات PDF، ومستندات Word دون أي طريقة للاستعلام عبرها.
- المراجعة المرجعية اليدوية — مقارنة قائمة أسعار مورد (Excel) بشروط العقد (PDF) بسجل الفواتير (CSV) تطلبت ساعات من البحث اليدوي.
- قيود الصيغ — لا يمكن الإجابة على الأسئلة التحليلية المعقدة باستخدام صيغ جداول البيانات وحدها.
- حدود نافذة السياق — تجاوزت جداول البيانات الكبيرة (أكثر من 50,000 صف) نوافذ سياق LLM، مما أدى إلى فشل الأساليب الساذجة.
- عدم وجود قدرات التحرير — يمكن لأدوات AI الموجودة تحليل المستندات ولكن لا يمكنها إعادة كتابة التغييرات إلى الملفات المصدر.
- الاستدلال متعدد الخطوات — الأسئلة التي تتطلب تحليلاً تسلسليًا عبر المستندات احتاجت إلى مهام سير عمل منسقة ومتعددة الخطوات.
حلنا
لقد قمنا ببناء منصة ذكاء مستندات AI متعددة الوكلاء مع استرجاع مدعوم بقاعدة بيانات متجهية للمستندات الكبيرة، ووكلاء متخصصين لأنواع المستندات المختلفة، ومنسقًا للاستدلال عبر المستندات، وقدرات إعادة الكتابة لتحرير جداول البيانات.
البنية
- المنسق (Orchestrator): وكيل تنسيق AI ينسق مهام سير العمل متعددة الخطوات عبر الوكلاء المتخصصين.
- وكيل جداول البيانات (Spreadsheet Agent): يتعامل مع تحليل Excel/CSV/Google Sheets، وتوليد الصيغ، وتعديلات الخلايا.
- وكيل المستندات (Document Agent): يتعامل مع قراءة واستخراج وتلخيص مستندات PDF/Word.
- وكيل المراجعة المرجعية (Cross-Reference Agent): ينفذ عمليات الربط والمقارنات والتسوية عبر أنواع المستندات.
- قاعدة البيانات المتجهية (Vector Database): Milvus للفهرسة الدلالية لأجزاء المستندات وصفوف جداول البيانات.
- طبقة LLM: نهج متعدد النماذج مع استدعاء الوظائف.
- الواجهة الخلفية (Backend): Python/FastAPI لمعالجة المستندات وتنسيق الوكلاء.
- الواجهة الأمامية (Frontend): لوحة تحكم React مع تحميل الملفات وواجهة دردشة ومعاينة جدول بيانات مباشر.
- التخزين (Storage): S3 للملفات الأصلية، PostgreSQL للبيانات الوصفية وتتبع المهام.
بنية متعددة الوكلاء
أدوار الوكلاء
1. وكيل المنسق (Orchestrator Agent)المنسق المركزي الذي يتلقى استعلامات المستخدم، ويقوم بتفكيكها إلى مهام فرعية، ويفوضها إلى الوكلاء المتخصصين. يقوم بتحليل نية المستخدم، وإنشاء خطط التنفيذ، وإدارة تدفق البيانات بين الوكلاء، وتجميع النتائج، والتعامل مع استعادة الأخطاء.
2. وكيل جداول البيانات (Spreadsheet Agent)متخصص في عمليات البيانات الجدولية بما في ذلك فهم المخطط، وترجمة اللغة الطبيعية إلى استعلام، والتجميع والتصفية، وتوليد الصيغ، وتعديل الخلايا وتعبئة الأعمدة، واقتراحات الرسوم البيانية، والتحقق من صحة البيانات/اكتشاف الشذوذ.
3. وكيل المستندات (Document Agent)متخصص في المستندات غير المهيكلة وشبه المهيكلة بما في ذلك التعرف البصري على الحروف (OCR) واستخراج النصوص مع مراعاة التخطيط، وتحديد الأقسام، واستخراج أزواج المفتاح والقيمة من العقود، والتخليص، والبحث عن البنود الدلالية، واستخراج الجداول من مستندات PDF/Word.
4. وكيل المراجعة المرجعية (Cross-Reference Agent)متخصص في الاستدلال متعدد المستندات بما في ذلك مطابقة الكيانات عبر المستندات، وتسوية البيانات وتحديد التناقضات، وتحليل الخط الزمني، وحل التبعيات للبيانات المتعارضة، وعمليات الربط الشبيهة بـ SQL عبر أنواع المستندات.
طبقة قاعدة البيانات المتجهية
لماذا قاعدة بيانات متجهية للمستندات؟
لا يمكن احتواء المستندات وجداول البيانات الكبيرة في نافذة سياق LLM واحدة. تتيح قاعدة البيانات المتجهية البحث الدلالي عبر ملايين الصفوف وأجزاء المستندات، واسترجاع الأجزاء ذات الصلة فقط لكل استعلام، وربط الكيانات عبر المستندات عبر تشابه التضمين، والفهرسة المستمرة التي لا تحتاج إلى إعادة المعالجة في كل استعلام.
استراتيجية الفهرسة
فهرسة جداول البيانات:يتم تحويل كل صف إلى تمثيل باللغة الطبيعية عن طريق ربط قيم الأعمدة الرئيسية، ثم يتم تضمينه وتخزينه مع مراجع إلى الملف الأصلي والورقة وفهرس الصف لعمليات إعادة الكتابة.
فهرسة المستندات:يتم استخراج المستندات مع مراعاة التخطيط، وتقسيمها إلى أجزاء دلالية متداخلة، وتضمينها، وتخزينها مع مراجع إلى الملف المصدر والقسم ورقم الصفحة.
فهرس الكيانات عبر المستندات:يربط فهرس منفصل الكيانات (الموردين، المنتجات، الأشخاص، أرقام الفواتير) عبر المستندات، مما يتيح استعلامات المراجعة المرجعية للعثور بسرعة على جميع الإشارات إلى كيان بغض النظر عن ملف المصدر.
مسار الاسترجاع
عندما يطرح المستخدم سؤالاً عبر المستندات، يحدد المنسق المستندات والوكلاء المطلوبين، ويقوم بعمليات بحث متجهية للعثور على البيانات ذات الصلة عبر جميع المصادر، ويفوض المعالجة إلى وكلاء متخصصين، ويجمع النتائج في استجابة متماسكة.
محرك التنسيق
تفكيك الاستعلام
يقوم المنسق بتفكيك الاستعلامات المعقدة إلى خطط تنفيذ متعددة الخطوات. على سبيل المثال، سؤال مثل "ابحث عن الموردين الذين تأخروا في التسليم، وتحقق من بنود الغرامات في العقد، واحسب الغرامات المستحقة" سيتم تفكيكه إلى خطوات متسلسلة: الاستعلام عن بيانات التسليم عبر وكيل جداول البيانات (Spreadsheet Agent)، والبحث عن العقود عبر وكيل المستندات (Document Agent)، وربط النتائج عبر وكيل المراجعة المرجعية (Cross-Reference Agent).
اتصال الوكلاء
- يتواصل الوكلاء عبر رسائل مهيكلة ذات حمولات مُحددة النوع.
- يحافظ المنسق على سياق التنفيذ مع النتائج الوسيطة.
- تؤدي الخطوات الفاشلة إلى إعادة المحاولة أو استراتيجيات الرجوع.
- يتم إرجاع النتائج الجزئية إذا اكتملت بعض الخطوات بينما فشلت أخرى.
تحرير جداول البيانات وإعادة الكتابة
قدرات التحرير
تدعم المنصة تحديثات الخلايا، وتعبئة الأعمدة، وإدراج الصفوف، والتنسيق الشرطي، وإنشاء أوراق جديدة، وحقن الصيغ — وكلها مقترحة من قبل وكلاء AI وتطبق بموافقة المستخدم.
مسار إعادة الكتابة
- يحدد الوكيل عملية التعديل (أي الخلايا، وما هي القيم).
- تُعرض معاينة التعديل للمستخدم مع تمييز الفروقات (القيم القديمة مقابل الجديدة).
- يوافق المستخدم أو يعدل التغييرات المقترحة.
- تطبق الواجهة الخلفية التغييرات على الملف باستخدام المكتبات المناسبة لكل تنسيق.
- يتم حفظ الملف المعدل كإصدار جديد مع سجل تدقيق للتعديلات.
- يتم تحديث الفهرس المتجهي للصفوف التي تم تغييرها.
التحكم في الإصدارات
- ينشئ كل تعديل إصدارًا جديدًا للملف (مع الحفاظ على الأصل).
- يعرض سجل الفروقات (Diff log) ما تغير بالضبط، ومتى، ولماذا.
- الرجوع إلى أي إصدار سابق بنقرة واحدة.
- تحديد مصدر التعديل: أي وكيل أو مستخدم أجرى كل تغيير.
مسار المعالجة للمستندات الجديدة
تدفق تحميل الملفات
- يرفع المستخدم الملفات (سحب وإفلات أو عبر API).
- يتم اكتشاف نوع الملف وتوجيهه إلى المعالج المناسب.
- جداول البيانات: يتم تحليلها، استنتاج مخططها، تضمين الصفوف وفهرستها.
- ملفات PDF: التعرف البصري على الحروف (OCR) (إذا كانت ممسوحة ضوئيًا) ← استخراج التخطيط ← التقطيع ← التضمين ← الفهرسة.
- مستندات Word: استخراج النص ← تحليل الأقسام ← التقطيع ← التضمين ← الفهرسة.
- استخراج الكيانات: يتعرف NER على الأشخاص، المنظمات، التواريخ، والمبالغ عبر جميع المستندات.
- ربط الكيانات عبر المستندات: يتم تحديث فهرس الكيانات بإشارات جديدة.
- تُخزن البيانات الوصفية للملف في PostgreSQL، والتضمينات في قاعدة البيانات المتجهية (vector DB)، والأصول في S3.
التنسيقات المدعومة
تدعم المنصة Excel, CSV, وGoogle Sheets (مع إعادة كتابة كاملة)، وملفات PDF الأصلية والممسوحة ضوئيًا (للقراءة فقط)، ومستندات Word وGoogle Docs (مع إعادة كتابة محدودة).
الميزات الرئيسية
- بنية متعددة الوكلاء — وكلاء متخصصون لجداول البيانات والمستندات والمراجعة المرجعية.
- منسق AI — يقوم بتفكيك الاستعلامات المعقدة إلى خطط تنفيذ متعددة الخطوات.
- المراجعة المرجعية عبر المستندات — ربط الكيانات وتسوية البيانات عبر أنواع الملفات.
- الاسترجاع المدعوم بالمتجهات — البحث الدلالي يتعامل مع مجموعات البيانات التي تتجاوز حدود سياق LLM.
- إعادة الكتابة إلى جداول البيانات — يقوم AI بتحرير الخلايا، وتعبئة الأعمدة، وحقن الصيغ بموافقة المستخدم.
- دعم مجموعات البيانات الكبيرة — جداول بيانات بأكثر من 50,000 صف مفهرسة وقابلة للاستعلام عبر البحث المتجهي.
- التحكم في الإصدارات — كل تعديل يتم حفظه كإصدار مع سجل الفروقات وقدرة الرجوع.
- استعلامات اللغة الطبيعية — اطرح أسئلة تحليلية معقدة باللغة الإنجليزية البسيطة.
- دعم تنسيقات متعددة — Excel, CSV, Google Sheets, PDF, Word, Google Docs.
- معاينة التعديل — معاينة مميزة بالفروقات قبل تطبيق أي تغييرات.
النتائج
المكدس التقني
caseStudyDetail.more دراسات الحالة
استكشف المزيد من تطبيقاتنا التقنية
نظام RAG للمستندات محلي أولاً مع بحث هجين ودعم متعدد التنسيقات
فريق يقوم بإنشاء أدوات للمطورين احتاج إلى نظام ذكاء للمستندات محلي بالكامل ويحافظ على الخصوصية، يمكنه استيعاب تنسيقات ملفات متعددة، وبناء قواعد معرفة قابلة للبحث، والإجابة على استفسارات اللغة الطبيعية باستخدام Retrieval-Augmented Generation — دون إرسال أي بيانات إلى APIs خارجية.
معالجة الفواتير المدعومة بـ AI باستخدام OCR ودمج QuickBooks
كانت شركة متوسطة الحجم تعالج مئات فواتير الموردين شهريًا بحاجة إلى التخلص من إدخال البيانات يدويًا عن طريق استخلاص بيانات الفاتورة تلقائيًا باستخدام AI/OCR ومزامنتها مباشرةً مع QuickBooks للمسك الدفتري وتتبع المدفوعات.
الأسئلة الشائعة
صممت MicrocosmWorks بنية متعددة الوكلاء حيث يتعامل وكلاء متخصصون مع جوانب مختلفة من تحليل المستندات، مثل وكيل استخراج الجداول لجداول البيانات، ووكيل تلخيص النصوص للمستندات السردية، ووكيل مرجع تقاطعي يحدد العلاقات بين نقاط البيانات عبر ملفات متعددة. ينتج تقسيم العمل هذا نتائج أكثر دقة من استدعاء LLM أحادي متكامل، لأن كل وكيل يعمل ضمن نافذة سياق مركزة ويطبق استراتيجيات إرشاد خاصة بالمجال.
نعم، قامت MicrocosmWorks ببناء محرك تحليل جداول بيانات يحل تبعيات الصيغ، ويوسع ملخصات الجداول المحورية، ويتتبع المراجع عبر أوراق العمل قبل تمرير البيانات المنظمة إلى وكلاء التحليل. يقوم النظام بتحويل تراكيب Excel المعقدة إلى تمثيلات بيانات مسطحة يمكن لـ LLMs الاستدلال عليها بفعالية، ويحافظ على السياق العلائقي بين أوراق العمل بحيث يمكن للـ AI الإجابة على أسئلة مثل 'أي قسم تجاوز ميزانيته للربع الثالث (Q3)' التي تتطلب ربط البيانات عبر علامات تبويب متعددة.
قامت MicrocosmWorks بتنفيذ مسار ربط الكيانات الذي يستخرج الكيانات المسماة والمعرفات الرقمية والمراجع الزمنية من جميع المستندات المحملة، ثم يبني رسمًا بيانيًا معرفيًا يربط الإشارات ذات الصلة عبر الملفات. عندما يطرح المستخدم سؤالاً، يجتاز وكيل الإسناد الترافقي هذا الرسم البياني لسحب البيانات ذات الصلة من مستندات مصدر متعددة، مقدمًا إجابات تجمع المعلومات بطرق قد تستغرق من المحلل البشري ساعات من التدقيق اليدوي المتقاطع.
صممت MicrocosmWorks النظام للتعامل مع دفعات المستندات بحد أقصى 500 ملف لكل جلسة تحليل، بأحجام ملفات فردية تصل إلى 100MB لجداول البيانات و 50MB لملفات PDF. يتم تقسيم المستندات الكبيرة تلقائيًا إلى أجزاء ومعالجتها بالتوازي عبر مثيلات الـ agent المتعددة، ويحافظ الـ orchestrator على رؤية متماسكة لمجموعة المستندات بأكملها عن طريق تجميع مخرجات الـ agent في تمثيل معرفي موحد.
تقوم MicrocosmWorks بتطوير منصات تحليل المستندات متعددة الوكلاء بمعدلات تتراوح بين 30 و 50 دولارًا في الساعة، وعادةً ما يتطلب نظام جاهز للإنتاج من 3 إلى 5 أشهر من التطوير بما في ذلك تحليل المستندات، وتنسيق الوكلاء، واكتشاف المراجع المتقاطعة، وواجهة استعلام موجهة للمستخدم. تعتمد تكلفة الاستعلام الواحد في بيئة الإنتاج على حجم المستندات واستخدام رموز LLM، ولكن البنى متعددة الوكلاء تقلل فعليًا من تكاليف LLM عن طريق توجيه السياق ذي الصلة فقط إلى كل وكيل بدلاً من حشو مجموعات المستندات بأكملها في موجه واحد.
مستعد لتحويل عملك؟
دعنا نناقش كيف يمكننا تطبيق حلول مشابهة لتحدياتك.