תבנית סקיילינג On-Off עבור עומסי עבודה של AI ועיבוד וידאו

יישמנו תבנית סקיילינג On-Off — ארכיטקטורה היברידית שבה משאבי compute מוקצים בדיוק בזמן לעומסי עבודה פעילים ומשוחררים לחלוטין כשהם עומדים, עם מאגרי warm pools למשימות רגישות לזמן השהיה ומאגרי cold pools למשימות אצווה.

ארכיטקטורה

• Job Queue: תור משימות מגובה במסד נתונים עם סיווג עדיפויות
• Orchestrator: שירות המנהל את מחזור החיים של המשאבים וניתוב המשימות
• GPU Workers (AI): פודים של Cloud GPU עבור הסקה (זיהוי אובייקטים, תמלול, זיהוי דוברים)
• CPU Workers (וידאו): Cloud VMs לקידוד וידאו ורינדור
• Warm Pool: מופעים מאותחלים מראש למשימות רגישות לזמן השהיה (הפעלה < 30 שניות)
• Cold Pool: מופעים לפי דרישה לעיבוד אצווה/כמותי (הפעלה של 2-5 דקות מקובלת)

יישום תבנית On-Off

מצבי מחזור חיים של משאבים

משאבים עוברים דרך מחזור חיים מוגדר: ממצב משוחרר לחלוטין (עלות אפס), דרך הקצאה וחימום (טעינת מודלים, בדיקות תקינות), למצבי מוכנות ועיבוד, ולאחר מכן דרך חלון השהיה לפני חזרה למצב משוחרר.

אסטרטגיית Warm Pool

עבור עיבוד רגיש לזמן השהיה (בייזום משתמש, מצפה לתוצאות תוך דקות):

• תחזוקת warm pool מינימלי של מופעים במהלך שעות העבודה
• טעינה מראש של מודלי AI בהפעלת container
• ניתוב משימות נכנסות למופעי warm תחילה
• הגדלת מספר מופעי warm נוספים כאשר עומק התור חורג מהסף
• טיימר cooldown הניתן להגדרה משאיר מופעים פעילים בין משימות ספורדיות

אסטרטגיית Cold Pool

עבור עיבוד אצווה (משימות כמותיות ליליות, קידוד מחדש לא דחוף):

• אפס מופעים פועלים כברירת מחדל
• תור המשימות מפעיל הקצאה כאשר משימות אצווה נשלחות
• מופעים מותאמים לכמות גדולה לפרודוקטיביות על פני זמן השהיה
• סיום מיידי לאחר השלמת האצווה
• שימוש במופעי spot/preemptible לחיסכון משמעותי בעלויות

סיווג וניתוב משימות

משימות מסווגות אוטומטית לפי עדיפות וסוג, ולאחר מכן מנותבות למאגר המתאים:

• משימות AI בעדיפות גבוהה שיזם המשתמש מנותבות למאגרי GPU חמים
• משימות קריטיות בזמן אמת מנותבות למופעים ייעודיים פעילים תמיד
• משימות קידוד בעדיפות בינונית מנותבות למאגרי CPU חמים או קרים
• משימות אצווה בעדיפות נמוכה מנותבות למופעי spot/preemptible קרים

לוגיקת האורקסטרייטור

טריגרים להגדלת קנה מידה

• עומק התור חורג מסף הניתן להגדרה
• זמן ההמתנה הממוצע חורג מ-SLA עבור רמת העדיפות
• הגדלה מתוזמנת לפני שעות שיא ידועות
• טריגר ידני באמצעות admin API עבור עליות תנועה צפויות

טריגרים להקטנת קנה מידה

• לא עובדו משימות במשך חלון ה-cooldown
• צמצום מתוזמן לאחר שעות שיא
• כל המשימות בתור הושלמו ללא הגשות חדשות
• סף העלות הושג לתקופת החיוב

בריאות ושחזור

• בדיקות תקינות סדירות בכל המופעים הפעילים
• מופעים לא תקינים מוחלפים אוטומטית
• משימות שנכשלו מוחזרות לתור עם ספירת ניסיונות חוזרים ומנותבות למופע אחר
• Dead letter queue עבור משימות החורגות ממספר הניסיונות החוזרים המרבי

השפעה על העלות

תבנית ה-On-Off סיפקה בקירוב הפחתת עלויות של 70% לעומת תשתית קבועה פעילה תמיד על ידי ביטול משאבי compute עומדים בשעות שפל, התאמת גודל המשאבים לכל סוג משימה, וניצול מופעי spot עבור עומסי עבודה של אצווה.

תכונות מפתח

1. עלות עמידה אפסית — משאבים משוחררים לחלוטין כשאינם מעבדים משימות
2. Warm Pools — מופעים מאותחלים מראש לעומסי עבודה רגישים לזמן השהיה
3. Cold Pools — הקצאה לפי דרישה למשימות אצווה בעלות הנמוכה ביותר
4. סיווג משימות — ניתוב אוטומטי המבוסס על עדיפות, סוג ודרישות זמן השהיה
5. חלונות Cooldown — פסק זמן סרק הניתן להגדרה מונע הקטנת קנה מידה מוקדמת בין פרצים
6. תמיכה ב-Spot/Preemptible — משימות אצווה מנותבות למופעים מוזלים לחיסכון משמעותי
7. בריאות ושחזור — החלפה אוטומטית של מופעים לא תקינים עם החזרת משימות לתור
8. סקיילינג מתוזמן — צפיית דפוסי תנועה ידועים עם כללי הקצאה מבוססי זמן