מעקב פנים ב-AI ומיסגור חכם מחדש להמרת וידאו אנכי

MicrocosmWorks יישמה גישת מעקב היברידית המשלבת גלאי פנים קל משקל הפועל בכל פריים חמישי עם גשש זרימה אופטית מסוג KCF לחיזויים בין-פריימים. כאשר מזוהה הסתרה באמצעות ירידות בניקוד הביטחון, המערכת שומרת על המסלול האחרון הידוע באמצעות סינון Kalman ומגלה מחדש את הפנים תוך 200 אלפיות השנייה מרגע שהם נראים שוב.

MicrocosmWorks בנתה אלגוריתם saliency-weighted cropping שמתעדף פנים שזוהו, לאחר מכן אזורי טקסט, ואז אזורי תנועה, בעת קביעת מיקום חלון ה-crop ביחס 9:16. עבור סצנות מרובות משתתפים, המערכת משתמשת בדירוג עדיפויות הניתן להגדרה, עם ברירת מחדל לדובר הפעיל או לפנים הגדולות ביותר, ועם smooth interpolation בין מיקומי ה-crop כדי למנוע שינויים פתאומיים.

כן, MicrocosmWorks יישמה מצב Saliency Detection חלופי שמופעל כשאין פנים נוכחות, באמצעות שילוב של זיהוי תנועה, מידול קשב ויזואלי, ומעקב אחר סמן העכבר עבור הקלטות מסך. המערכת עוקבת בצורה חכמה אחר אזור התוכן הרלוונטי ביותר אפילו בקטעי וידאו ויזואליים בלבד או מבוססי טקסט.

MicrocosmWorks אופטימייזה את ה-pipeline עבור זרימות עבודה באצווה, והשיגה מהירות עיבוד של פי 8 מהזמן האמתי על גבי GPU יחיד מסוג NVIDIA T4, כלומר, סרטון באורך 10 דקות ממסגר מחדש בתוך כ-75 שניות. המערכת תומכת בעיבוד מקבילי על פני מספר GPUs, ומתאימה את עצמה באופן ליניארי לפעולות תוכן בנפח גבוה.

MicrocosmWorks מפתחת מערכות AI לריפריימינג של וידאו במחיר של 25-45 דולר לשעה, כאשר פתרון מלא למעקב פנים וריפריימינג חכם, הכולל אופטימיזציית מודל, תמיכה בעיבוד אצווה, ואינטגרציית API, דורש בדרך כלל 350-550 שעות פיתוח. השקעה זו מבטלת את הצורך בעורכי ריפריימינג ידניים, אשר עולים בדרך כלל 5-15 דולר לסרטון.