זיהוי דובר פעיל מבוסס AI להפקת וידאו מרובה מצלמות

MicrocosmWorks פיתחה מודל איחוי רב-מודאלי שמקשר תכונות חזותיות של תנועת שפתיים שחולצו מכל פיד מצלמה עם אות השמע, באמצעות שכבות cross-attention. המודל מפיק ציוני הסתברות דובר לכל פריים עבור כל פנים גלויות, ומגיע לדיוק של 94% גם כאשר מספר משתתפים מדברים בו-זמנית.

MicrocosmWorks ביצעה אופטימיזציה ל-inference pipeline כדי לרוץ על מעבדי NVIDIA T4 GPU עם האצת TensorRT, והשיגה השהייה מקצה לקצה של פחות מ-150ms מלכידת פריים ועד זיהוי דובר. השהייה זו נמצאת היטב בטווח הקביל עבור מיתוג הפקה חיה, כאשר עיכובי חיתוך אופייניים הם 300-500ms.

חברת MicrocosmWorks אימנה את המודל על מגוון תרחישי חסימה ויישמה אלגוריתם החלקה זמנית ששומר על מעקב אחר הדובר במהלך חסימות קצרות באמצעות ציוני ביטחון מבוססי אודיו בלבד. כאשר הביטחון החזותי יורד מתחת לסף, המערכת חוזרת ללוקליזציית מקור אודיו באמצעות נתוני beamforming ממערכי מיקרופונים מרובים.

MicrocosmWorks בנתה מודול בקרה נלווה שמתרגם תפוקות זיהוי דובר לאותות Tally/בקרה סטנדרטיים תואמים ל-Blackmagic ATEM באמצעות ה-ATEM SDK ו-NewTek NDI עבור מערכות TriCaster. במאי הפקה יכולים להגדיר את המערכת למצב החלפה אוטומטית או למצב ייעוץ שבו היא מציעה חיתוכים מבלי לבצע אותם.

MicrocosmWorks בונה מערכות ניתוח וידאו מותאמות אישית מבוססות AI בתעריפים של 30-50 דולר לשעה, כאשר מערכת זיהוי דובר פעיל מרובת מצלמות, הכוללת אימון מודל, אופטימיזציית TensorRT ואינטגרציית switcher, דורשת בדרך כלל 500-750 שעות פיתוח. שלב אימון המודל דורש משאבי חישוב GPU שבדרך כלל מוסיפים 2,000-5,000 דולר לעלות הפרויקט.