Аналітика багатопотокового відео в реальному часі з прискореним AI на GPU
Постачальнику корпоративних рішень безпеки було необхідно одночасно обробляти кілька живих відеопотоків за допомогою виявлення на основі AI, надаючи сповіщення в реальному часі з точною синхронізацією міток часу по всій розподіленій інфраструктурі.
Обговоріть Ваш Проєкт
Виклик
Обробка кількох RTSP потоків за допомогою AI вимагала вирішення кількох складних проблем:
- Обмеження пам'яті GPU обмежували одночасну обробку потоків
- Відхилення тактової частоти між машинами запису та машинами висновків спричиняло дрейф міток часу
- Традиційні моделі виявлення були занадто повільними для багатопотокових сценаріїв у реальному часі
- Події повинні були точно співвідноситися з позиціями відтворення відео для перегляду
Наше Рішення
Ми розробили розподілену платформу висновків AI, оптимізовану для багатопотокової обробки в реальному часі із синхронізацією міток часу на основі PTS.
Архітектура
- Двигун висновків: YOLO11 з прискоренням TensorRT на NVIDIA RTX 4000 Ada
- Відстеження: Відстеження кількох об'єктів ByteTrack з постійним присвоєнням ID
- Потокова передача: MediaMTX для перетворення протоколів RTSP/HLS/RTMP
- Зв'язок: Подвійні WebSocket канали (накладання живих виявлень + сповіщення про події)
- Інфраструктура: DigitalOcean (запис) + RunPod (висновки GPU)
Методи оптимізації
- Прискорення TensorRT – Компіляція моделі до TensorRT для пакетних висновків за ~15мс
- Мікро-пакетування – Кадри з кількох потоків об'єднуються в пакети для ефективності GPU
- Управління пам'яттю – Використання 4-6ГБ VRAM для 10-12 одночасних потоків
- Синхронізація міток часу PTS – Синхронізація на основі Presentation Timestamp, що усуває відхилення тактової частоти між машинами
- Корекція зміщення між машинами – Автоматичний розрахунок зміщення часу між розподіленими вузлами
Конвеєр виявлення
- Виявлення людей/транспортних засобів з оцінкою достовірності
- Розпізнавання номерних знаків та вилучення тексту за допомогою EasyOCR
- Виявлення пожежі та диму з налаштовуваною чутливістю
- Поведінкова аналітика (тривалість перебування без мети, зони вторгнення, пороги зайнятості)
Ключові особливості
- Подвійні WebSocket канали – Окремі потоки для даних відео-накладання та подій сповіщення
- Синхронізація PTS – Мітки часу подій відповідають точним позиціям відтворення відео
- Стійке відстеження об'єктів – ByteTrack підтримує ID по кадрах для послідовного відстеження
- Налаштовувані зони виявлення – Визначення регіонів вторгнення/перебування без мети для кожної камери
- Автомасштабування – Динамічний розподіл потоків на основі доступності GPU
Результати
Технологічний Стек
caseStudyDetail.more Кейси
Ознайомтесь з іншими нашими технічними впровадженнями
Обробка рахунків-фактур за допомогою AI, OCR та інтеграції з QuickBooks
Середній бізнес, який щомісяця обробляє сотні рахунків-фактур від постачальників, потребував усунення ручного введення даних шляхом автоматичного вилучення даних рахунків-фактур за допомогою AI/OCR та їх прямої синхронізації з QuickBooks для ведення бухгалтерського обліку та відстеження платежів.
Вставка реклами на стороні клієнта (CSAI) з парсингом маркерів SCTE-35 та інтеграцією багатоплатформного плеєра
Платформа потокового відео потребувала впровадження вставки реклами на стороні клієнта (CSAI) для веб-, мобільних програм та програм для підключених телевізорів — що забезпечує персоналізований рекламний досвід на рівні пристрою з повною підтримкою взаємодії з рекламою (натискні оверлеї, супутні банери, кнопки пропуску), який не може забезпечити вставка на стороні сервера.
Готові Трансформувати Свій Бізнес?
Давайте обговоримо, як ми можемо застосувати подібні рішення для ваших завдань.