منصة دردشة AI متعددة النماذج للمؤسسات مع فوترة قائمة على الرصيد

قامت MicrocosmWorks بتصميم طبقة توجيه ذكية تقوم بتقييم المطالبات الواردة بناءً على نوع المهمة، والتعقيد، ومتطلبات الـ token، ثم توجيهها إلى النموذج الأنسب سواء كان ذلك GPT-4، أو Claude، أو Llama، أو نموذجًا متخصصًا معدلاً بدقة (fine-tuned). يعمل هذا النهج على تحسين جودة الاستجابة والتكلفة معًا، حيث يمكن التعامل مع الاستعلامات الأبسط بواسطة نماذج أسرع وأقل تكلفة بينما يتم توجيه مهام الاستدلال المعقدة إلى النماذج الأكثر قدرة.

نفذت MicrocosmWorks نظام رصيد موحدًا يقوم بتجريد التكاليف المتغيرة لكل token لمزودي AI المختلفين إلى عملة داخلية واحدة يشتريها عملاء المؤسسات بكميات كبيرة. يخصم كل تفاعل مع النموذج أرصدة متناسبة مع تكلفة API الفعلية بالإضافة إلى هامش قابل للتكوين، مما يمنح المسؤولين لوحة تحكم واحدة لتتبع الاستخدام، وتعيين ميزانيات على مستوى الأقسام، وتوليد تقارير chargeback.

نعم، قامت MicrocosmWorks ببناء طبقة حوكمة مركزية تفرض سياسات متسقة للتعامل مع البيانات بغض النظر عن LLM الأساسي الذي يعالج الاستعلام. جميع المحادثات مشفرة في وضع السكون، وتحدد ضوابط الوصول المستندة إلى الأدوار الفرق التي يمكنها الوصول إلى أي من النماذج، وتقوم سياسات الاحتفاظ القابلة للتكوين تلقائيًا بمسح سجل المحادثات وفقًا لمتطلبات الامتثال الخاصة بك.

قامت MicrocosmWorks بتحسين طبقة التوجيه لإضافة أقل من 50 milliseconds من النفقات العامة لكل طلب، وهو أمر لا يُذكر مقارنةً بأوقات استجابة LLM النموذجية التي تتراوح من 1 إلى 10 seconds. تستخدم المنصة connection pooling، وجلسات مصادق عليها مسبقًا مع كل مزود، وتدفقًا غير متزامن (async streaming) بحيث تبدأ الـ tokens بالظهور في واجهة المستخدم (user interface) بمجرد أن يبدأ النموذج المختار في توليدها.

تبني MicrocosmWorks منصات دردشة متعددة النماذج للمؤسسات بمعدلات تطوير تتراوح من 30 إلى 50 دولارًا في الساعة، وهو جزء بسيط مما تتقاضاه الشركات الاستشارية الكبرى لمشاريع البنية التحتية لـ AI المماثلة. يعتمد النطاق الكلي على عدد عمليات دمج النماذج، ومتطلبات المصادقة و SSO، وما إذا كنت بحاجة إلى ميزات مثل conversation branching، أو prompt libraries، أو fine-tuning pipelines.