挑战
将水平视频转换为垂直格式是短视频内容制作中最繁琐的步骤之一：
- 为每个片段手动裁剪和重新定位画幅耗时耗力
- 多人物对话需要随着说话者变化而动态重构画幅
- 静态中心裁剪会切掉移动或坐偏的说话者
- 传统的面部检测对于数千个片段的实时重构画幅决策来说速度太慢
- 不同类型的内容（采访、个人 Vlog、演示文稿）需要不同的画幅策略
我们的解决方案
我们构建了一个AI 驱动的面部追踪与智能重构画幅引擎，它能检测视频帧中的面部，追踪其运动，并动态调整垂直裁剪区域以使活动主体保持居中。
架构
- 面部检测：基于 YOLO 的面部检测模型，针对速度进行优化
- 面部追踪：基于 IoU 的逐帧追踪，具有持久的主体 ID
- 重构画幅引擎：基于面部位置和运动的动态裁剪区域计算
- 活动说话者关联：与说话者检测集成，优先显示正在说话的人
- 渲染：带有平滑平移过渡的 FFmpeg 裁剪滤镜链
重构画幅流程
- 面部检测 - 在采样帧上运行 YOLO 面部检测
- 主体追踪 - 使用基于 IoU 的追踪，在帧之间关联面部检测结果
- 说话者优先级 - 当与活动说话者检测结合时，优先显示正在说话的主体
- 裁剪计算 - 根据主要主体位置确定最佳 9:16 裁剪区域
- 平滑处理 - 对裁剪移动应用缓动效果，以避免突兀的跳跃
- 渲染 - FFmpeg 应用带有平滑平移过渡的动态裁剪
主要功能
- 多主体处理 - 追踪多个面部，并确定每个片段的主要主体
- 说话者感知构图 - 与说话者检测集成时，优先显示活动说话者
- 平滑过渡 - 主体之间的缓动平移消除了突兀的剪切
- 内容类型适应 - 针对个人、采访和团体内容的不同构图策略
- 批量处理 - 从一个长视频中重构数百个片段的画幅
- 无需手动干预 - 从检测到最终渲染全程自动化
成果
技术栈
常见问题
MicrocosmWorks 实施了一种混合追踪方法，该方法结合了每第5帧运行的轻量级人脸检测器与用于帧间预测的 KCF 光流追踪器。当通过置信度分数下降检测到遮挡时，系统会使用 Kalman filtering 维持最后已知的轨迹，并在人脸再次可见后的 200 毫秒内重新获取。
MicrocosmWorks 构建了一个显著性加权裁剪算法，在确定9:16裁剪窗口位置时，该算法优先考虑检测到的人脸，然后是文本区域，接着是运动区域。对于多人物场景，系统使用可配置的优先级排序，默认选择当前说话者或最大的人脸，并通过裁剪位置之间的平滑插值来避免突兀的跳动。
是的，MicrocosmWorks 实施了一种回退显著性检测模式，当没有面部时激活，结合使用了运动检测、视觉注意力建模和鼠标光标跟踪（用于屏幕录制）。该系统智能地跟踪最相关的内容区域，即使在纯视觉或基于文本的素材中也是如此。
MicrocosmWorks 针对批量工作流优化了处理流水线，在单个 NVIDIA T4 GPU 上实现了8倍实时处理速度，这意味着一个10分钟的视频在大约75秒内完成重构图。该系统支持在多个 GPU 上进行并行处理，可线性扩展以应对大容量内容操作。
MicrocosmWorks 以 $25-$45/小时的费率开发 AI 视频重构系统。一个完整的人脸跟踪和智能重构解决方案，包括模型优化、批量处理支持和 API 集成，通常需要 350-550 小时的开发时间。这项投资消除了对人工重构编辑器的需求，而人工重构编辑器的成本通常为每段视频 $5-$15。