Seguimiento facial con AI y reencuadre inteligente para conversión de video vertical
Una plataforma de reutilización de contenido necesitaba convertir automáticamente videos largos horizontales (16:9) en clips cortos verticales (9:16) manteniendo a los oradores y sujetos perfectamente centrados, sin recortes ni keyframing manuales.
Discuta Su Proyecto
El Desafío
Convertir video horizontal a formato vertical era uno de los pasos más tediosos en la producción de contenido de formato corto:
- Recortar y reposicionar manualmente el encuadre para cada clip consumía mucho tiempo
- Las conversaciones de varias personas requerían un reencuadre dinámico a medida que los oradores cambiaban
- El recorte central estático dejaba fuera a los oradores que se movían o se sentaban descentrados
- La detección facial tradicional era demasiado lenta para decisiones de reencuadre en tiempo real a lo largo de miles de clips
- Diferentes tipos de contenido (entrevistas, vlogs individuales, presentaciones) requerían diferentes estrategias de encuadre
Nuestra Solución
Construimos un motor de seguimiento facial impulsado por AI y reencuadre inteligente que detecta rostros en los fotogramas de video, rastrea su movimiento y ajusta dinámicamente la región de recorte vertical para mantener al sujeto activo centrado.
Arquitectura
- Detección Facial: modelo de detección facial basado en YOLO optimizado para la velocidad
- Seguimiento Facial: seguimiento fotograma a fotograma basado en IoU con IDs de sujeto persistentes
- Motor de Reencuadre: Cálculo dinámico de la región de recorte basado en las posiciones y el movimiento de los rostros
- Acoplamiento de Orador Activo: Integración con detección de orador para priorizar a la persona que habla
- Renderizado: cadena de filtros de recorte de FFmpeg con transiciones de paneo suaves
Pipeline de Reencuadre
- Detección Facial - Ejecutar detección facial de YOLO en fotogramas muestreados
- Seguimiento de Sujetos - Vincular detecciones faciales a través de los fotogramas usando seguimiento basado en IoU
- Prioridad de Orador - Cuando se acopla con la detección de orador activo, priorizar al sujeto que habla
- Cálculo de Recorte - Determinar la región de recorte 9:16 óptima basado en la posición del sujeto principal
- Suavizado - Aplicar suavizado al movimiento de recorte para evitar saltos bruscos
- Renderizado - FFmpeg aplica el recorte dinámico con transiciones de paneo suaves
Características Clave
- Manejo de Múltiples Sujetos - Rastrea múltiples rostros y determina el sujeto principal por segmento
- Encuadre Consciente del Orador - Prioriza al orador activo cuando se integra con la detección de orador
- Transiciones Suaves - El paneo suavizado entre sujetos elimina cortes bruscos
- Adaptación al Tipo de Contenido - Diferentes estrategias de encuadre para contenido individual, de entrevista y de grupo
- Procesamiento por Lotes - Reencuadrar cientos de clips de un solo video de formato largo
- Sin Intervención Manual - Totalmente automatizado desde la detección hasta el renderizado final
Resultados
Stack Tecnológico
caseStudyDetail.more Casos de Estudio
Explore más de nuestras implementaciones técnicas
Programación multiplataforma de redes sociales y análisis de rendimiento
Los creadores de contenido que producen docenas de clips cortos semanalmente necesitaban un sistema unificado de programación y análisis para distribuir contenido en TikTok, YouTube Shorts e Instagram Reels desde un único panel de control — con información para optimizar la estrategia de publicación.
Traducción de subtítulos multi-idioma para la distribución global de contenido
Los creadores de contenido con audiencias internacionales necesitaban expandir su alcance traduciendo los subtítulos de los videos a más de 30 idiomas, preservando al mismo tiempo el audio original, permitiendo que espectadores de todo el mundo consumieran el contenido en su idioma nativo.
¿Listo para Transformar su Negocio?
Hablemos sobre cómo podemos aplicar soluciones similares a sus desafíos.