挑战
现有视频标注工具要么过于依赖 GUI 且没有编程 API,要么是可视化效果差的命令行工具:
- ML 团队需要用于大规模训练数据的边界框、多边形和标签
- 教育工作者需要用于教学视频的动画叠加层(箭头、聚光灯、文本)
- 传统标注工具无法处理关键帧插值或缓动动画
- 没有桌面原生解决方案能将 OpenCV 处理与专业视频输出相结合
我们的解决方案
我们构建了一个基于 React/Remotion 的视频标注框架,该框架具有类型安全的标注系统、关键帧插值功能和一个 Tauri 桌面编辑器。
架构
- 视频引擎:Remotion 4.0,用于逐帧编程渲染
- 前端:React 18 + TypeScript,结合 Vite
- 桌面应用:Tauri 2,结合 OpenCV.js 和 ONNX Runtime
- 导出:FFmpeg,用于高质量视频输出
标注类型
- 边界框 - 带有标签和置信度分数的矩形区域
- 圆形 - 具有可配置半径的点标注
- 多边形 - 用于不规则形状的复杂区域轮廓
- 文本标签 - 带有定位的样式化文本叠加层
- 箭头 - 用于指示流向或注意力的方向性指示器
- 手绘路径 - 自定义绘制的标注
- 聚光灯 - 背景变暗的突出区域
动画系统
- 关键帧插值 - 标注状态之间的平滑过渡
- 缓动函数 - Spring, ease-in-out, bounce 和自定义曲线
- 场景合成 - 介绍、标注层、组合时间轴、结束
- 淡入淡出效果 - 具有可配置持续时间的淡入/淡出
主要功能
- 类型安全 API - 所有标注原语的全面 TypeScript 类型
- 场景系统 - 从场景构建块合成复杂视频
- 关键帧动画 - 随时间动画化任何标注属性
- 桌面编辑器 - 基于 Tauri 的 GUI,具有实时预览功能
- 批量导出 - 通过 FFmpeg 渲染标注视频
- OpenCV 集成 - 桌面应用中的计算机视觉处理
成果
技术栈
常见问题
MicrocosmWorks 构建此框架旨在为需要通过代码驱动的规则而非人工点击来大规模生成标注的团队服务。它支持将标注管线编写为 Python 脚本,应用预训练检测器、时序逻辑和空间规则来自动生成训练数据,然后以 COCO、Pascal VOC 或 YOLO 格式导出。
是的,MicrocosmWorks 实现了一个时序标注模型,支持帧范围、关键帧插值以及带有开始/结束时间戳的事件型标签。标注员可以定义时序规则,例如“当姿态估计检测到双脚离地超过3个连续帧时,将其标注为跑步”以自动化行为标注。
MicrocosmWorks 构建了一个验证管道,能够计算程序化标注和人工审查的黄金集之间的一致性得分,标记任何低于可配置的 IoU 或时间重叠阈值的标注。该框架还支持主动学习工作流,将低置信度标注路由给人工审阅者。
MicrocosmWorks 基于 FFmpeg 和 OpenCV 构建了该框架,支持所有主流容器格式,包括 MP4、MKV、AVI 和 MOV,编解码器从 H.264 到 ProRes。该框架以原始分辨率处理视频,但支持为标注过程配置可缩放的降采样,以加速处理大型数据集时的吞吐量。
MicrocosmWorks 提供 ML 基础设施项目,费率为每小时 $25-$45。一个程序化视频标注框架,包含规则引擎、格式导出器和质量验证管道,通常需要 300-500 个开发小时。该框架通过降低每分钟视频 $5-$15 的手动标注成本,可以很快收回成本。
