Detección de Orador Activo Impulsado por IA para Producción de Video Multi-Cámara

MicrocosmWorks desarrolló un modelo de fusión multimodal que correlaciona las características visuales del movimiento de los labios extraídas de cada flujo de cámara con la señal de audio utilizando capas de atención cruzada. El modelo emite puntuaciones de probabilidad de orador por fotograma para cada rostro visible, logrando un 94% de precisión incluso cuando múltiples participantes hablan simultáneamente.

MicrocosmWorks optimizó el pipeline de inferencia para ejecutarse en GPUs NVIDIA T4 con aceleración TensorRT, logrando una latencia de extremo a extremo inferior a 150ms desde la captura de fotogramas hasta la identificación del orador. Esta latencia está bien dentro del rango aceptable para la conmutación de producción en vivo, donde los retrasos de corte típicos son de 300-500ms.

MicrocosmWorks entrenó el modelo en diversos escenarios de oclusión e implementó un algoritmo de suavizado temporal que mantiene el seguimiento del orador a través de oclusiones breves utilizando puntuaciones de confianza solo de audio. Cuando la confianza visual cae por debajo de un umbral, el sistema recurre a la localización de la fuente de audio utilizando datos de beamforming de arreglos de múltiples micrófonos.

MicrocosmWorks desarrolló un módulo de control complementario que traduce las salidas de detección de oradores en señales estándar de conteo/control compatibles con Blackmagic ATEM a través del ATEM SDK y NewTek NDI para sistemas TriCaster. Los directores de producción pueden configurar el sistema en modo de cambio automático o consultivo, donde sugiere cortes sin ejecutarlos.

MicrocosmWorks construye sistemas personalizados de análisis de video con AI a tarifas de $30-$50/hora, con un sistema de detección de hablante activo multicámara que incluye entrenamiento de modelo, optimización con TensorRT e integración de conmutador, y que normalmente requiere entre 500 y 750 horas de desarrollo. La fase de entrenamiento del modelo requiere recursos de cómputo GPU que suelen añadir entre $2,000 y $5,000 al costo del proyecto.