פלטפורמת צ'אט AI ארגונית מרובת מודלים עם חיוב מבוסס-זיכויים

MicrocosmWorks פיתחה שכבת ניתוב חכמה המנתחת בקשות נכנסות בהתבסס על סוג המשימה, מורכבותה ודרישות הטוקנים, ולאחר מכן שולחת אותן למודל המתאים ביותר – בין אם זה GPT-4, Claude, Llama, או מודל מותאם אישית (fine-tuned) מיוחד. גישה זו מייעלת הן את איכות התגובה והן את העלות, מכיוון ששאילתות פשוטות יותר יכולות להיות מטופלות על ידי מודלים מהירים וזולים יותר, בעוד שמשימות חשיבה מורכבות מופנות למודלים בעלי יכולת גבוהה יותר.

MicrocosmWorks הטמיעה מערכת זיכויים מאוחדת המפשטת את העלויות המשתנות לפי אסימון של ספקי AI שונים למטבע פנימי יחיד שלקוחות ארגוניים רוכשים בכמויות גדולות. כל אינטראקציה עם מודל מפחיתה זיכויים בפרופורציה לעלות ה-API בפועל שלה בתוספת מרווח רווח הניתן להגדרה, ומעניקה למנהלים לוח מחוונים יחיד למעקב אחר שימוש, הגדרת תקציבים ברמת מחלקה ויצירת דוחות chargeback.

כן, MicrocosmWorks בנתה שכבת ממשל מרכזית שאוכפת מדיניות עקבית לטיפול בנתונים ללא קשר לאיזה LLM בסיסי מעבד את השאילתה. כל השיחות מוצפנות במנוחה (at rest), בקרות גישה מבוססות תפקידים קובעות אילו צוותים יכולים לגשת לאילו מודלים, ומדיניות שמירה ניתנת להגדרה מטהרת אוטומטית את היסטוריית השיחות בהתאם לדרישות התאימות שלכם.

MicrocosmWorks ייעלה את שכבת הניתוב כדי להוסיף פחות מ-50 מילישניות של תקורה לבקשה, וזה זניח בהשוואה לזמני תגובה טיפוסיים של LLM הנעים בין 1-10 שניות. הפלטפורמה משתמשת באיגום חיבורים, סשנים מאומתים מראש עם כל ספק, ו-async streaming כך שהטוקנים מתחילים להופיע בממשק המשתמש ברגע שהמודל הנבחר מתחיל לייצר אותם.

MicrocosmWorks בונה פלטפורמות צ'אט ארגוניות מרובות מודלים בשיעורי פיתוח של $30-$50 לשעה, שזהו חלק קטן ממה שגובות חברות ייעוץ גדולות עבור פרויקטים דומים של תשתית AI. ההיקף הכולל תלוי במספר האינטגרציות של המודלים, דרישות אימות ו-SSO, והאם אתה זקוק לתכונות כמו הסתעפות שיחות, ספריות פרומפטים, או צינורות Fine-tuning.