Платформа для створення коротких відео на основі AI
Творці контенту та маркетологи соціальних мереж потребували платформу для швидкого перетворення довгоформатного контенту (відео YouTube, подкасти) на захопливі короткі кліпи, оптимізовані для TikTok, Instagram Reels та YouTube Shorts.
Обговоріть Ваш Проєкт
Виклик
Перепрофілювання довгоформатного контенту у короткі відео було ручним, трудомістким процесом:
- Визначення найзахопливіших сегментів з годин відзнятого матеріалу вимагало ручного перегляду
- Стилізація субтитрів відрізнялася на різних платформах і для різних аудиторій, вимагаючи спеціалізованих навичок редагування
- Відсутність автоматичного визначення активного спікера для контенту з кількома особами
- Розповсюдження на кількох платформах вимагало окремого завантаження та форматування
Наше Рішення
Ми створили повноцінну платформу для створення відео на основі AI, яка автоматично обрізає, створює субтитри та розповсюджує короткі відео у великих масштабах.
Архітектура
- Фронтенд: React 18 + Vite + TypeScript з Chakra UI та Tailwind CSS
- Бекенд: Node.js/Express з MongoDB та Redis
- Рендеринг відео: FFmpeg з субтитрами Advanced SubStation Alpha (ASS)
- Визначення спікера: Python/Flask з TalkNet, визначенням облич YOLO, транскрипцією Whisper
- Завантажувач YouTube: Node.js з yt-dlp та Mullvad VPN для ротації IP
- AI/LLM: Claude 3 (основний), Gemini 2.0 Flash, GPT-4o (ланцюжок резервування)
- Інфраструктура: Гібридна локальна + хмара Azure з Cloudflare R2/CDN
Конвеєр AI
- Завантаження контенту - YouTube URL або завантаження файлу
- Обрізка за допомогою AI - визначення захопливих сегментів за допомогою LLM
- Транскрипція - OpenAI Whisper з мітками часу на рівні слова
- Визначення спікера - аудіовізуальне злиття TalkNet для контенту з кількома особами
- Стилізація субтитрів - 14+ анімованих стилів (MrBeast, Hormozi, Ali Abdaal, Karaoke, тощо)
- Рендеринг - FFmpeg з рендерингом субтитрів ASS та пакетною обробкою
- Розповсюдження - Пряме завантаження на YouTube, TikTok та Instagram
Ключові особливості
- Визначення кліпів за допомогою AI - Автоматично знаходити найбільш вірусні сегменти
- 14+ стилів субтитрів - Професійні шаблони, оптимізовані для різних платформ
- Визначення активного спікера - Знати, хто говорить у відео з кількома особами
- Публікація на кількох платформах - Планувати та публікувати на YouTube, TikTok, Instagram
- Система шаблонів - Заздалегідь створені шаблони (Baby Podcast, App Explainer, Supplement Doctor)
- Оплата на основі кредитів - інтеграція Stripe з рівнями підписки
Результати
Технологічний Стек
caseStudyDetail.more Кейси
Ознайомтесь з іншими нашими технічними впровадженнями
Кросплатформне планування публікацій у соціальних мережах та аналітика продуктивності
Творцям контенту, які щотижня створюють десятки коротких відеороликів, потрібна була єдина система планування та аналітики для розповсюдження контенту в TikTok, YouTube Shorts та Instagram Reels з єдиної панелі керування — з аналітичними даними для оптимізації стратегії публікацій.
Багатомовний переклад субтитрів для глобального розповсюдження контенту
Творці контенту з міжнародною аудиторією потребували розширення охоплення шляхом перекладу відеосубтитрів на понад 30 мов, зберігаючи при цьому оригінальний звук, що дозволяє глядачам по всьому світу споживати контент рідною мовою.
Часті запитання
MicrocosmWorks навчила генеративну модель на наборі даних вірусного короткометражного контенту, щоб вивчити структурні закономірності, такі як таймінг зачіпки (перші 1.5 секунди), каденція темпу та розміщення текстових накладень, які корелюють з високою залученістю. Платформа генерує кілька варіантів за брифом і оцінює їх за допомогою моделі прогнозування залученості, перш ніж представити найкращі варіанти.
Так, MicrocosmWorks створила автоматизований контентний конвеєр, який приймає текстовий бриф, URL-адресу продукту або допис у блозі та витягує ключові повідомлення, генерує розкадровку, обирає або створює візуальні матеріали, застосовує анімовану графіку та додає озвучення. Наскрізна генерація займає приблизно 3-5 хвилин на 30-секундне відео без необхідності ручного редагування.
MicrocosmWorks впровадила систему бренд-комплекту, де клієнти завантажують свої логотипи, шрифти, колірні палітри та затверджені бібліотеки стокових активів. Кожне згенероване відео обмежене цими рекомендаціями щодо бренду, а голос із перетворення тексту в мовлення може бути клонований з 30-секундного зразка для підтримки узгодженого звукового брендингу для всього контенту.
MicrocosmWorks інтегрувала багатомовну підтримку, що охоплює 25 мов, з нативними голосами для перетворення тексту в мовлення та автоматичне генерування субтитрів. Платформа також адаптує темп контенту та щільність тексту для різних ринків, оскільки азіатські аудиторії соціальних мереж часто віддають перевагу швидшим монтажним склейкам та щільнішим текстовим накладенням порівняно із західними аудиторіями.
MicrocosmWorks створює платформи для створення контенту на основі AI за ставками $25-$50/год, при цьому повна система генерації коротких відео, що включає storyboard AI, rendering engine та управління brand kit, зазвичай потребує 600-900 годин розробки. Поточні витрати на хостинг моделей AI становлять від $2,000 до $8,000 на місяць, залежно від обсягу генерації.
Готові Трансформувати Свій Бізнес?
Давайте обговоримо, як ми можемо застосувати подібні рішення для ваших завдань.