Виявлення активного мовця за допомогою ШІ для багатокамерного виробництва відео

MicrocosmWorks розробила мультимодальну модель злиття, яка корелює візуальні характеристики руху губ, вилучені з кожного відеопотоку камери, з аудіосигналом, використовуючи cross-attention layers. Модель виводить показники ймовірності спікера для кожного кадру для кожного видимого обличчя, досягаючи 94% точності навіть коли кілька учасників говорять одночасно.

MicrocosmWorks оптимізувала конвеєр висновків для роботи на NVIDIA T4 GPU з прискоренням TensorRT, досягнувши менше 150 мс наскрізної затримки від захоплення кадру до ідентифікації спікера. Ця затримка знаходиться в межах допустимого діапазону для перемикання під час прямої трансляції, де типові затримки перемикання становлять 300-500 мс.

MicrocosmWorks навчила модель на різноманітних сценаріях оклюзії та впровадила алгоритм часового згладжування, який підтримує відстеження доповідача через короткочасні оклюзії, використовуючи показники впевненості, засновані лише на аудіо. Коли візуальна впевненість падає нижче порогу, система переходить до локалізації джерела звуку, використовуючи дані beamforming від багатомікрофонних масивів.

MicrocosmWorks розробила супутній модуль управління, який перетворює вихідні дані виявлення мовця у стандартні сигнали таллі/управління, сумісні з Blackmagic ATEM через ATEM SDK та NewTek NDI для систем TriCaster. Режисери постановки можуть налаштувати систему на режим автоматичного перемикання або консультативний режим, де вона пропонує перемикання кадрів, не виконуючи їх.

MicrocosmWorks створює індивідуальні системи відеоаналізу на основі AI за тарифами $30-$50/год, причому система виявлення активного доповідача для багатокамерного виробництва, включаючи навчання моделі, оптимізацію TensorRT та інтеграцію зі світчером, зазвичай вимагає 500-750 годин розробки. Фаза навчання моделі вимагає обчислювальних ресурсів GPU, що зазвичай додає $2,000-$5,000 до вартості проєкту.