תבנית קנה מידה 'On-Off' עבור עומסי עבודה של AI ועיבוד וידאו

יישמנו תבנית קנה מידה 'On-Off' — ארכיטקטורה היברידית שבה משאבי compute מוקצים בדיוק בזמן לעומסי עבודה פעילים ומנוטרלים לחלוטין כאשר אינם בשימוש, עם Warm Pools למשימות רגישות לזמן אחזור ו-Cold Pools למשימות אצווה.

ארכיטקטורה

• תור משימות: תור משימות המגובה על ידי מסד נתונים עם סיווג עדיפויות
• Orchestrator: שירות המנהל את מחזור החיים של המשאבים וניתוב המשימות
• GPU Workers (AI): פודים של Cloud GPU להסקה (זיהוי אובייקטים, תמלול, זיהוי דובר)
• CPU Workers (וידאו): Cloud VMs לקידוד ורינדור וידאו
• Warm Pool: מופעים מאותחלים מראש למשימות רגישות לזמן אחזור (הפעלה < 30 שניות)
• Cold Pool: מופעים לפי דרישה לעיבוד אצווה/כמותי (הפעלה של 2-5 דקות מקובלת)

יישום תבנית ה-'On-Off'

מצבי מחזור חיים של משאבים

משאבים עוברים מחזור חיים מוגדר: החל ממצב מנוטרל לחלוטין (אפס עלות), דרך הקצאה וחימום (טעינת מודלים, בדיקות תקינות), למצבי מוכנות ועיבוד, ולאחר מכן דרך חלון צינון לפני חזרה למצב מנוטרל.

אסטרטגיית Warm Pool

לעיבוד רגיש לזמן אחזור (בייזום משתמש, מצפה לתוצאות תוך דקות):

• שמירה על Warm Pool מינימלי של מופעים בשעות העבודה
• טעינה מוקדמת של מודלי AI בהפעלת קונטיינר
• ניתוב משימות נכנסות למופעים חמים תחילה
• הגדלת מספר המופעים החמים הנוספים כאשר עומק התור עולה על הסף
• טיימר צינון הניתן להגדרה שומר על המופעים פעילים בין משימות ספורדיות

אסטרטגיית Cold Pool

לעיבוד אצווה (משימות כמותיות ליליות, קידודים מחדש לא דחופים):

• אפס מופעים פועלים כברירת מחדל
• תור המשימות מפעיל הקצאה כאשר משימות אצווה נשלחות
• מופעים ממוטבים עבור נפח (bulk) לתפוקה גבוהה על פני זמן אחזור
• סיום מיידי לאחר השלמת האצווה
• שימוש במופעי Spot/Preemptible לחיסכון משמעותי בעלויות

סיווג וניתוב משימות

משימות מסווגות אוטומטית לפי עדיפות וסוג, ולאחר מכן מנותבות למאגר המתאים:

• משימות AI בעדיפות גבוהה בייזום משתמש מנותבות ל-Warm GPU pools
• משימות קריטיות בזמן אמת מנותבות למופעים ייעודיים הפועלים תמיד
• משימות קידוד בעדיפות בינונית מנותבות ל-Warm או Cold CPU pools
• משימות אצווה בעדיפות נמוכה מנותבות למופעי Cold Spot/Preemptible

לוגיקת ה-Orchestrator

טריגרים להגדלה (Scale-Up)

• עומק התור עולה על סף הניתן להגדרה
• זמן ההמתנה הממוצע עולה על ה-SLA עבור רמת העדיפות
• הגדלה מתוזמנת לפני שעות שיא ידועות
• הפעלה ידנית באמצעות Admin API עבור עליות תנועה צפויות

טריגרים להקטנה (Scale-Down)

• לא עובדו משימות למשך חלון הצינון
• הפחתה מתוזמנת לאחר שעות שיא
• כל המשימות בתור הושלמו ללא שליחות חדשות
• סף עלות הושג עבור תקופת החיוב

תקינות והתאוששות

• בדיקות תקינות קבועות בכל המופעים הפעילים
• מופעים לא תקינים מוחלפים אוטומטית
• משימות שנכשלו מוחזרות לתור עם ספירת ניסיונות חוזרים ומנותבות למופע אחר
• Dead letter queue למשימות החורגות ממספר הניסיונות החוזרים המרבי

השפעה על העלות

תבנית ה-'On-Off' סיפקה הפחתת עלויות של כ-70% לעומת תשתית קבועה הפועלת תמיד על ידי ביטול משאבי compute שאינם בשימוש בשעות שפל, התאמת גודל המשאבים לסוג המשימה, וניצול מופעי Spot לעומסי עבודה של אצווה.

תכונות עיקריות

1. עלות סרק אפסית — משאבים מנוטרלים לחלוטין כאשר אינם מעבדים משימות
2. Warm Pools — מופעים מאותחלים מראש לעומסי עבודה רגישים לזמן אחזור
3. Cold Pools — הקצאה לפי דרישה למשימות אצווה בעלות הנמוכה ביותר
4. סיווג משימות — ניתוב אוטומטי המבוסס על עדיפות, סוג ודרישות זמן אחזור
5. חלונות צינון — פסק זמן סרק הניתן להגדרה מונע הקטנה מוקדמת בין פרצי פעילות
6. תמיכה ב-Spot/Preemptible — משימות אצווה מנותבות למופעים מוזלים לחיסכון משמעותי
7. תקינות והתאוששות — החלפה אוטומטית של מופעים לא תקינים עם החזרת משימות לתור
8. קנה מידה מתוזמן — צפייה מראש של דפוסי תנועה ידועים עם כללי הקצאה מבוססי זמן