Análisis de video multiflujo en tiempo real con IA acelerada por GPU
Un proveedor de seguridad empresarial necesitaba procesar múltiples transmisiones de video en vivo simultáneamente con detección impulsada por IA, entregando alertas en tiempo real con sincronización precisa de marcas de tiempo a través de una infraestructura distribuida.
Discuta Su Proyecto
El Desafío
Procesar múltiples transmisiones RTSP con IA requería resolver varios problemas complejos:
- Las limitaciones de memoria de la GPU limitaban el procesamiento concurrente de transmisiones
- La desviación del reloj entre las máquinas de grabación y las de inferencia causaba una deriva de las marcas de tiempo
- Los modelos de detección tradicionales eran demasiado lentos para escenarios multiflujo en tiempo real
- Los eventos debían mapearse con precisión a las posiciones de reproducción de video para su revisión
Nuestra Solución
Diseñamos una plataforma de inferencia de IA distribuida optimizada para el procesamiento multiflujo en tiempo real con sincronización de marcas de tiempo basada en PTS.
Arquitectura
- Motor de Inferencia: YOLO11 con aceleración de TensorRT en NVIDIA RTX 4000 Ada
- Seguimiento: Seguimiento de múltiples objetos con ByteTrack con asignación de ID persistente
- Transmisión: MediaMTX para la conversión de protocolos RTSP/HLS/RTMP
- Comunicación: Canales dobles de WebSocket (superposición de detecciones en vivo + alertas de eventos)
- Infraestructura: DigitalOcean (grabación) + RunPod (inferencia de GPU)
Técnicas de Optimización
- Aceleración con TensorRT - Compilación del modelo a TensorRT para inferencia por lotes de ~15ms
- Micro-loteo - Cuadros de múltiples transmisiones agrupados en lotes para eficiencia de GPU
- Gestión de Memoria - Uso de 4-6GB de VRAM para 10-12 transmisiones concurrentes
- Sincronización de Marcas de Tiempo PTS - Sincronización basada en Presentation Timestamp que corrige la desviación del reloj entre máquinas
- Corrección de Desplazamiento Entre Máquinas - Cálculo automático del desplazamiento de tiempo entre nodos distribuidos
Pipelina de Detección
- Detección de personas/vehículos con puntuación de confianza
- Reconocimiento de matrículas y extracción de texto vía EasyOCR
- Detección de incendios y humo con sensibilidad configurable
- Análisis de comportamiento (duración de la merodeo, zonas de intrusión, umbrales de ocupación)
Características Clave
- Canales Dobles de WebSocket - Transmisiones separadas para datos de superposición de video y eventos de alerta
- Sincronización PTS - Las marcas de tiempo de los eventos coinciden con las posiciones exactas de reproducción de video
- Seguimiento Persistente de Objetos - ByteTrack mantiene los IDs a través de los cuadros para un seguimiento consistente
- Zonas de Detección Configurables - Define regiones de intrusión/merodeo por cámara
- Escalado Automático - Asignación dinámica de transmisiones basada en la disponibilidad de GPU
Resultados
Stack Tecnológico
caseStudyDetail.more Casos de Estudio
Explore más de nuestras implementaciones técnicas
Procesamiento de Facturas Potenciado por AI con OCR e Integración con QuickBooks
Una empresa de tamaño mediano que procesa cientos de facturas de proveedores mensualmente necesitaba eliminar la entrada de datos manual extrayendo automáticamente los datos de las facturas usando AI/OCR y sincronizándolos directamente en QuickBooks para la contabilidad y el seguimiento de pagos.
Inserción de Anuncios en el Lado del Cliente (CSAI) con Análisis de Marcadores SCTE-35 e Integración de Reproductor Multiplataforma
Una plataforma de streaming de video necesitaba implementar la Inserción de Anuncios en el Lado del Cliente (CSAI) en sus aplicaciones web, móviles y de TV conectada, lo que permitiría experiencias publicitarias personalizadas a nivel de dispositivo con soporte completo para la interacción con anuncios (superposiciones clicables, banners complementarios, botones para omitir) que la inserción del lado del servidor no puede proporcionar.
¿Listo para Transformar su Negocio?
Hablemos sobre cómo podemos aplicar soluciones similares a sus desafíos.