Відстеження об'єктів на відео в реальному часі з автоматичним центруванням та відновленням
Команді з виробництва відео потрібен був інструмент, який міг би відстежувати вибраний об'єкт у відеозаписі та автоматично утримувати його в центрі кадру під час руху — з плавними переходами, кількома варіантами алгоритмів відстеження та автоматичним відновленням, коли трекер втрачав ціль.
Обговоріть Ваш Проєкт
Виклик
Утримання рухомого об'єкта в центрі відео вимагало ручних зусиль або дорогого спеціалізованого обладнання:
- Ручне перекадрування — Редактори витрачали години на ручне кадрування за ключовими кадрами для утримання об'єктів у центрі
- Збої відстеження — Об'єкти рухалися за перешкодами, змінювали вигляд або рухалися занадто швидко для простих трекерів
- Відсутність відновлення — Коли трекер втрачав ціль, всю сесію відстеження доводилося перезапускати з нуля
- Нерівний вихід — Сирі координати відстеження створювали смикані, неприродні рухи камери
- Компроміси алгоритмів — Різні сценарії вимагали різних алгоритмів відстеження (точність проти швидкості), але перемикання було складним
- Інтерактивний вибір — Користувачам потрібен був інтуїтивно зрозумілий спосіб вибору цілі відстеження під час виконання
Наше Рішення
Ми створили систему відстеження та центрування об'єктів у реальному часі з кількома алгоритмами відстеження OpenCV, автоматичним відновленням на основі зіставлення ознак, плавним експоненційним усередненням для природного руху та інтерактивним GUI для вибору об'єкта.
Архітектура
- Модуль відстеження: OpenCV з реалізаціями трекерів CSRT, KCF та MOSSE
- Система відновлення: Виділення ознак ORB з реаідентифікацією на основі гомографії
- Модуль центрування: Афінне перетворення з експоненційним згладжуванням рухомого середнього
- Інтерфейс вибору: GUI для вибору перетягуванням з візуальним зворотним зв'язком
- Конфігурація: Налаштування на основі YAML для всіх параметрів відстеження, відображення та центрування
Алгоритми відстеження
Система підтримує три алгоритми відстеження, що вибираються за допомогою конфігурації:
CSRT (Надійність каналу та простору)
Найкраща точність для складних сценаріїв. Використовує карти просторової надійності та ваги, специфічні для каналів, для обробки часткової оклюзії та змін зовнішнього вигляду. Підходить, коли точність важливіша за швидкість.
KCF (Ядерні кореляційні фільтри)
Збалансована продуктивність для більшості випадків використання. Використовує кругову кореляцію в області Фур'є для ефективного відстеження з хорошою точністю. Підходить для загального відстеження при помірній частоті кадрів.
MOSSE (Мінімальна сума квадратів помилок виходу)
Найшвидший трекер для додатків реального часу. Використовує адаптивні кореляційні фільтри з надзвичайно низькою обчислювальною вартістю. Підходить, коли частота кадрів є критичною, а об'єкт рухається за передбачуваними траєкторіями.
Система автоматичного відновлення
Коли основний трекер втрачає ціль (об'єкт затулений, вийшов за межі кадру, змінив зовнішній вигляд), система намагається автоматично реаідентифікувати її:
- Виділення ознак — Дескриптори ORB (Oriented FAST and Rotated BRIEF) витягуються як з початкової області об'єкта, так і з поточного кадру
- Зіставлення ознак — Зіставлення методом грубої сили з відстанню Хеммінга, відфільтроване тестом коефіцієнта Лоу для збереження лише надійних збігів
- Оцінка гомографії — Гомографія на основі RANSAC, обчислена за зіставленими точками ознак, відхиляючи викиди
- Відновлення обмежувальної рамки — Початкові кути обмежувальної рамки трансформуються за допомогою гомографії до нової позиції об'єкта
- Повторна ініціалізація трекера — Якщо відновлена позиція є дійсною (позитивні розміри, в межах кадру), трекер повторно ініціалізується в новому місці
Це дозволяє системі відновлюватися після короткочасних оклюзій та повторно захоплювати ціль без втручання користувача.
Плавне центрування
Переміщення кадру
Як тільки позиція об'єкта відома, система центрує його за допомогою афінного перетворення:
- Обчислюються центри об'єкта та кадру
- Розраховується необхідний зсув переміщення
- Кадр зсувається за допомогою афінного перетворення з налаштовуваним кольором заповнення
Зменшення тремтіння
Сирі координати відстеження є шумними. Система застосовує експоненційне згладжування рухомого середнього:
- Налаштовуваний коефіцієнт згладжування контролює компроміс між чутливістю та стабільністю
- Нижчі значення створюють плавніший, кінематографічніший рух з невеликою затримкою
- Вищі значення відстежують точніше, але показують більше тремтіння
- Результатом є природна поведінка слідування камери
Інтерактивний вибір об'єкта
Підтримуються три режими вибору:
- Режим GUI — Натисніть та перетягніть на відеокадрі з візуальним зворотним зв'язком щодо розміру, підтвердіть пробілом/Enter, скасуйте Esc
- Режим ROI — Вбудований селектор області інтересу OpenCV
- Режим координат — Заздалегідь визначена обмежувальна рамка з файлу конфігурації
Відображення в реальному часі
Накладення переглядача показує:
- Обмежувальна рамка навколо відстежуваного об'єкта
- Центральне перехрестя для орієнтира вирівнювання
- Індикатор стану відстеження (Відстеження / Втрачено / Пауза)
- Поточний FPS для моніторингу продуктивності
- Назва активного алгоритму трекера
Елементи керування відтворенням
- Відтворити/Пауза — Перемикання відстеження пробілом
- Скинути — Вибір нової цілі відстеження в середині сесії
- Зациклити — Автоматичний перезапуск відео зі збереженням стану відстеження
- Вийти — Чисте вивільнення ресурсів
Ключові особливості
- Три алгоритми відстеження — CSRT (точність), KCF (збалансований), MOSSE (швидкість) — перемикаються через конфігурацію
- Автоматичне відновлення — Зіставлення ознак ORB з гомографією переміщує втрачені цілі
- Плавне центрування — Експоненційне рухоме середнє усуває тремтіння для природного руху
- Інтерактивний вибір — GUI для вибору перетягуванням з візуальним зворотним зв'язком для вибору цілі
- Продуктивність у реальному часі — 25-60+ FPS залежно від вибору алгоритму
- Зациклене відтворення — Безперервне відтворення відео зі збереженням стану відстеження
- Конфігурація YAML — Усі параметри (алгоритм, згладжування, відображення, роздільна здатність) налаштовуються
- Модульний дизайн — Чітке розділення між компонентами трекера, селектора та відеопроцесора
Результати
Технологічний Стек
caseStudyDetail.more Кейси
Ознайомтесь з іншими нашими технічними впровадженнями
Кросплатформне мобільне редагування відео з аналізом на основі AI
Творці контенту та медіа-професіонали потребували мобільного рішення для редагування відео, яке могло б використовувати результати аналізу на основі AI для розумніших робочих процесів редагування в дорозі.
Виявлення активного мовця за допомогою ШІ для багатокамерного виробництва відео
Компанія з медіавиробництва, що займається зйомками багатокамерних інтерв'ю та панельних дискусій, потребувала автоматизованого способу ідентифікації того, хто говорить у будь-який момент у складному відеоматеріалі.
Часті запитання
MicrocosmWorks реалізувала модуль повторної ідентифікації, який зберігає вбудовування візуальних ознак відстежуваного об'єкта за допомогою легкої CNN. Коли відстеження втрачається через оклюзію або вихід за межі кадру, система активує режим пошуку, який порівнює виявлені об'єкти зі збереженим вбудовуванням, відновлюючи відстеження протягом 2-3 кадрів після повторної появи об'єкта.
MicrocosmWorks оптимізувала конвеєр відстеження для підтримки обробки 60fps на апаратному забезпеченні NVIDIA Jetson Orin і 30fps на споживчих GPU, таких як RTX 3060. Автоматичні розрахунки центрування, включно з плавною інтерполяцією панорамування, щоб уникнути різких рухів, додають менше 2ms накладних витрат на кадр до базової вартості відстеження.
MicrocosmWorks розробила систему гасіння руху з конфігурованими параметрами для обмежень прискорення, максимальної швидкості панорамування та радіуса мертвої зони навколо центру кадру. Алгоритм центрування використовує фізику пружин з критичним демпфуванням для створення плавних рухів камери мовної якості, які слідують за об'єктом без коливань або проскакування.
Так, MicrocosmWorks спеціально розробила систему для вимог до затримки в прямому ефірі, причому повний конвеєр відстеження та перекадрування працює з затримкою в один кадр. Система була розгорнута для трансляцій баскетболу, футболу та тенісу, де вона автоматично створює щільний вихід follow-cam з ширококутної статичної камери.
MicrocosmWorks розробляє системи обробки відео в реальному часі за ставками $30-$50/год, а рішення для відстеження та автоматичного центрування, що включає навчання моделі, оптимізацію GPU та інтеграцію для трансляцій, зазвичай потребує 400-600 годин розробки. Оптимізація розгортання на периферійних пристроях для апаратного забезпечення, такого як Jetson, додає приблизно 80-120 додаткових годин.
Готові Трансформувати Свій Бізнес?
Давайте обговоримо, як ми можемо застосувати подібні рішення для ваших завдань.