Détection de locuteur actif assistée par AI pour la production vidéo multi-caméras

MicrocosmWorks a développé un modèle de fusion multimodale qui met en corrélation les caractéristiques visuelles du mouvement des lèvres extraites de chaque flux de caméra avec le signal audio en utilisant des couches d'attention croisée. Le modèle produit des scores de probabilité d'orateur par image pour chaque visage visible, atteignant une précision de 94 % même lorsque plusieurs participants parlent simultanément.

MicrocosmWorks a optimisé le pipeline d'inférence pour fonctionner sur des NVIDIA T4 GPUs avec accélération TensorRT, atteignant une latence de bout en bout inférieure à 150ms, de la capture d'image à l'identification de l'orateur. Cette latence est bien dans la plage acceptable pour la commutation de production en direct, où les délais de coupe typiques sont de 300 à 500ms.

MicrocosmWorks a entraîné le modèle sur divers scénarios d'occlusion et a mis en œuvre un algorithme de lissage temporel qui maintient le suivi de l'orateur à travers de brèves occlusions en utilisant des scores de confiance audio uniquement. Lorsque la confiance visuelle descend en dessous d'un seuil, le système se rabat sur la localisation de la source audio en utilisant des données de beamforming provenant de réseaux multi-micros.

MicrocosmWorks a développé un module de contrôle compagnon qui traduit les sorties de détection des intervenants en signaux de tally/contrôle standard compatibles avec Blackmagic ATEM via l'ATEM SDK et NewTek NDI pour les systèmes TriCaster. Les directeurs de production peuvent configurer le système en mode de commutation automatique ou en mode consultatif où il suggère des coupes sans les exécuter.

MicrocosmWorks conçoit des systèmes personnalisés d'analyse vidéo basés sur l'IA à des tarifs de 30 à 50 $/heure, un système de détection de locuteur actif multi-caméras incluant l'entraînement de modèle, l'optimisation TensorRT et l'intégration de switcher nécessitant généralement 500 à 750 heures de développement. La phase d'entraînement de modèle requiert des ressources de calcul GPU qui ajoutent généralement 2 000 à 5 000 $ au coût du projet.