Конвеєр генерації повнометражних фільмів на основі AI

MicrocosmWorks впровадила систему вбудовування персонажів, яка фіксує візуальну ідентичність кожного персонажа, використовуючи тонко налаштовані контрольні точки DreamBooth у поєднанні з референсними зображеннями IP-Adapter. Конвеєр забезпечує узгодженість персонажів за допомогою багатоетапного процесу генерації: компонування сцени, розміщення персонажів та уточнення деталей, кожен етап якого обумовлений вбудовуваннями персонажів.

MicrocosmWorks розробила конвеєр для нативної генерації з роздільною здатністю 2K (2048x1080) з тимчасовим масштабуванням до 24fps за допомогою моделей інтерполяції кадрів. Для доставки у 4K спеціальний етап суперроздільної здатності використовує Real-ESRGAN, доналаштований на кінематографічні кадри, виробляючи вихідні дані, які проходять QC для дистрибуції цифрового кіно.

MicrocosmWorks розробив модуль керування кінематографією, який перетворює описи кадрів, наприклад, 'slow dolly-in from medium to close-up', на структуровані параметри генерації, що включають позицію віртуальної камери, фокусну відстань об'єктива та глибину різкості. Система підтримує склейки, напливи та переходи за дією із збереженням часової когерентності між граничними кадрами.

Так, MicrocosmWorks створила систему кондиціонування стилю, яка приймає опорні кадри, колірні профілі LUT та текстові дескриптори стилю, такі як 'Wes Anderson symmetrical pastel' або 'Roger Deakins natural light.' Параметри стилю зберігаються протягом усього фільму з можливістю перевизначення для кожної сцени для навмисних змін настрою.

MicrocosmWorks створює конвеєри генеративного AI за ціною $35-$50 за годину, причому система для генерації повнометражних фільмів, що включає узгодженість персонажів, елементи керування кінематографією та етапи постобробки, зазвичай потребує 800-1200 годин розробки. Інфраструктура для навчання GPU для точного налаштування моделі додає приблизно $10,000-$20,000 до обчислювальних витрат залежно від необхідної візуальної складності.