Відстеження облич за допомогою AI та розумне перекадрування для конвертації вертикального відео
Платформа для перепрофілювання контенту потребувала автоматичного перетворення горизонтальних (16:9) довгих відео у вертикальні (9:16) короткі кліпи, зберігаючи при цьому спікерів та об'єктів ідеально по центру — без будь-якого ручного обрізання чи ключових кадрів.
Обговоріть Ваш Проєкт
Виклик
Перетворення горизонтального відео у вертикальний формат було одним із найнудніших етапів у виробництві короткого контенту:
- Ручне обрізання та переміщення кадру для кожного кліпу займало багато часу
- Розмови з кількома учасниками вимагали динамічного перекадрування зі зміною спікерів
- Статичне центральне обрізання відсікало спікерів, які рухалися або сиділи не по центру
- Традиційне розпізнавання облич було занадто повільним для рішень про перекадрування в реальному часі для тисяч кліпів
- Різні типи контенту (інтерв'ю, сольні влоги, презентації) вимагали різних стратегій кадрування
Наше Рішення
Ми розробили рушій відстеження облич та розумного перекадрування на базі AI, який виявляє обличчя у відеокадрах, відстежує їх рух та динамічно налаштовує вертикальну область обрізання, щоб утримувати активний об'єкт по центру.
Архітектура
- Розпізнавання облич: Модель розпізнавання облич на базі YOLO, оптимізована для швидкості
- Відстеження облич: Відстеження від кадру до кадру на базі IoU з постійними ідентифікаторами об'єктів
- Рушій перекадрування: Динамічний розрахунок області обрізання на основі положень та руху облич
- Зв'язок з активним спікером: Інтеграція з розпізнаванням спікерів для пріоритезації особи, що говорить
- Рендеринг: Ланцюжок фільтрів обрізання FFmpeg з плавними переходами панорамування
Конвеєр перекадрування
- Розпізнавання облич - Запуск розпізнавання облич YOLO по вибіркових кадрах
- Відстеження об'єктів - Зв'язування виявлених облич між кадрами за допомогою відстеження на базі IoU
- Пріоритет спікера - При поєднанні з розпізнаванням активного спікера, пріоритезувати особу, що говорить
- Розрахунок обрізання - Визначення оптимальної області обрізання 9:16 на основі положення основного об'єкта
- Згладжування - Застосування пом'якшення руху обрізання, щоб уникнути різких стрибків
- Рендеринг - FFmpeg застосовує динамічне обрізання з плавними переходами панорамування
Ключові особливості
- Обробка кількох об'єктів - Відстежує кілька облич та визначає основний об'єкт для кожного сегмента
- Кадрування з урахуванням спікера - Пріоритезує активного спікера при інтеграції з розпізнаванням спікерів
- Плавні переходи - Пом'якшене панорамування між об'єктами усуває різкі зміни кадру
- Адаптація до типу контенту - Різні стратегії кадрування для сольного, інтерв'ю та групового контенту
- Пакетна обробка - Перекадрування сотень кліпів з одного довгого відео
- Без ручного втручання - Повністю автоматизовано від виявлення до фінального рендерингу
Результати
Технологічний Стек
caseStudyDetail.more Кейси
Ознайомтесь з іншими нашими технічними впровадженнями
Кросплатформне планування публікацій у соціальних мережах та аналітика продуктивності
Творцям контенту, які щотижня створюють десятки коротких відеороликів, потрібна була єдина система планування та аналітики для розповсюдження контенту в TikTok, YouTube Shorts та Instagram Reels з єдиної панелі керування — з аналітичними даними для оптимізації стратегії публікацій.
Багатомовний переклад субтитрів для глобального розповсюдження контенту
Творці контенту з міжнародною аудиторією потребували розширення охоплення шляхом перекладу відеосубтитрів на понад 30 мов, зберігаючи при цьому оригінальний звук, що дозволяє глядачам по всьому світу споживати контент рідною мовою.
Часті запитання
MicrocosmWorks реалізувала гібридний підхід до відстеження, який поєднує легкий детектор облич, що працює кожні 5 кадрів, з трекером оптичного потоку KCF для міжкадрових передбачень. Коли виявляється оклюзія через падіння показників довіри, система підтримує останню відому траєкторію за допомогою фільтрації Калмана та повторно захоплює обличчя протягом 200 мс після того, як воно знову стає видимим.
MicrocosmWorks розробила алгоритм обрізки з урахуванням помітності, який пріоритизує виявлені обличчя, потім текстові області, потім зони руху при визначенні положення вікна обрізки 9:16. Для сцен з кількома особами система використовує налаштовуваний рейтинг пріоритетів, за замовчуванням вибираючи активного доповідача або найбільше обличчя, з плавною інтерполяцією між позиціями обрізки, щоб уникнути різких зсувів.
Так, MicrocosmWorks реалізувала резервний режим виявлення значущості, який активується, коли облич немає, використовуючи комбінацію виявлення руху, моделювання візуальної уваги та відстеження курсора миші для записів екрану. Система інтелектуально відстежує найбільш релевантну область вмісту навіть у виключно візуальних або текстових матеріалах.
MicrocosmWorks оптимізувала конвеєр для пакетних робочих процесів, досягнувши 8-кратної швидкості обробки в реальному часі на одному NVIDIA T4 GPU, що означає, що 10-хвилинне відео перекадровується приблизно за 75 секунд. Система підтримує паралельну обробку на кількох GPU, масштабуючись лінійно для операцій з великим обсягом контенту.
MicrocosmWorks розробляє системи перекадрування відео на основі AI за ціною $25-$45 за годину, при цьому повне рішення для відстеження обличчя та інтелектуального перекадрування, що включає оптимізацію моделі, підтримку пакетної обробки та інтеграцію API, зазвичай потребує 350-550 годин розробки. Ця інвестиція усуває потребу в ручних редакторах перекадрування, які зазвичай коштують $5-$15 за відео.
Готові Трансформувати Свій Бізнес?
Давайте обговоримо, як ми можемо застосувати подібні рішення для ваших завдань.