Кросплатформне мобільне редагування відео з аналізом на основі AI
Творці контенту та медіа-професіонали потребували мобільного рішення для редагування відео, яке могло б використовувати результати аналізу на основі AI для розумніших робочих процесів редагування в дорозі.
Обговоріть Ваш Проєкт
Виклик
Існуючі мобільні відеоредактори не мали інтеграції з бекендом аналізу на основі AI. Творцям доводилося перемикатися між десктопними інструментами аналізу та мобільними редакторами, що призводило до:
- Фрагментованих робочих процесів на різних пристроях
- Відсутності можливості використовувати дані виявлення мовця на мобільних пристроях
- Обмежених можливостей обрізки та синхронізації аудіо на мобільних пристроях
Наше Рішення
Ми розробили кросплатформний мобільний додаток на основі Flutter, який безперешкодно з'єднується з бекендом аналізу на основі AI, дозволяючи творцям редагувати відео з контекстом, що надається AI, безпосередньо на своїх телефонах.
Архітектура
- Фреймворк: Flutter 3.4.3+ для iOS, Android та macOS
- Управління станом: Патерн Provider для реактивних оновлень UI
- Обробка відео: FFmpeg Kit для рендерингу на пристрої, нативна інтеграція video_editor
- Мережа: HTTP-клієнт Dio з інтеграцією API
- Локалізація: Підтримка англійської та китайської мов
Ключові особливості
- Редагування з підключенням до AI - Перегляд часових шкал активних мовців та відповідна обрізка
- Обрізка та кадрування відео - Покадрове редагування за допомогою жестових елементів керування
- Синхронізація аудіо - Багатодоріжкове вирівнювання та обрізка аудіо
- Управління медіа - Імпорт з галереї, камери або файлової системи
- Двомовна підтримка - Повна локалізація англійською та китайською мовами
Результати
Технологічний Стек
caseStudyDetail.more Кейси
Ознайомтесь з іншими нашими технічними впровадженнями
Відстеження об'єктів на відео в реальному часі з автоматичним центруванням та відновленням
Команді з виробництва відео потрібен був інструмент, який міг би відстежувати вибраний об'єкт у відеозаписі та автоматично утримувати його в центрі кадру під час руху — з плавними переходами, кількома варіантами алгоритмів відстеження та автоматичним відновленням, коли трекер втрачав ціль.
Виявлення активного мовця за допомогою ШІ для багатокамерного виробництва відео
Компанія з медіавиробництва, що займається зйомками багатокамерних інтерв'ю та панельних дискусій, потребувала автоматизованого способу ідентифікації того, хто говорить у будь-який момент у складному відеоматеріалі.
Часті запитання
MicrocosmWorks створив конвеєр рендерингу, використовуючи спільне ядро C++ з платформо-специфічними GPU бекендами, застосовуючи Metal на iOS та Vulkan на Android. Це забезпечує ідентичне застосування фільтрів, корекцію кольору та результати композитингу на всіх платформах, з набором тестів, що перевіряє покадрову відповідність виведення на еталонних пристроях.
MicrocosmWorks інтегрувала моделі ML, що працюють на пристрої, для автоматичного виявлення сцен, відстеження об'єктів, виявлення бітів аудіо для синхронізації музики, а також пропозиції щодо обрізки з урахуванням вмісту. Ці моделі працюють повністю на пристрої, використовуючи Core ML та TensorFlow Lite, забезпечуючи миттєвий аналіз без завантаження відео в хмару.
MicrocosmWorks реалізував робочий процес редагування на основі проксі, де програма генерує легкі проксі-файли 720p для редагування на часовій шкалі та застосовує список рішень редагування до оригінального джерела 4K під час остаточного експорту. Система введення/виведення файлів з відображенням у пам'яті зберігає пікове використання RAM менше 300MB навіть при редагуванні годинного відеоматеріалу 4K.
Так, MicrocosmWorks створив попередньо налаштовані профілі експорту для TikTok, Instagram Reels, YouTube Shorts та стандартного YouTube, які автоматично застосовують правильні співвідношення сторін, роздільну здатність, бітрейт та налаштування кодека. Користувачі можуть попередньо переглянути, як їхнє редагування виглядатиме у програвачі кожної платформи перед експортом.
MicrocosmWorks надає платформи для мобільного редагування відео за ставками $25-$50/год, при цьому повнофункціональний редактор, включаючи ядро рендерингу на C++, функції аналізу AI та функціонал для експорту в соціальні мережі, зазвичай вимагає 800-1200 годин розробки. Кросплатформна архітектура економить приблизно 40% порівняно зі створенням окремих нативних додатків для iOS та Android.
Готові Трансформувати Свій Бізнес?
Давайте обговоримо, як ми можемо застосувати подібні рішення для ваших завдань.