Video Creation
Domain
21
Technologies
4
Key Results
Delivered
Status
挑战
将长篇内容重新制作成短视频是一个手动且耗时的过程：
- 从数小时的素材中识别最吸引人的片段需要手动审查
- 字幕样式因平台和受众而异，需要专业的编辑技能
- 缺乏针对多人内容的自动活跃发言人检测功能
- 跨多个平台分发需要单独上传和格式化
我们的解决方案
我们构建了一个全栈的 AI 驱动视频创作平台，可以大规模地自动剪辑、添加字幕和分发短视频内容。
架构
- 前端: React 18 + Vite + TypeScript (使用 Chakra UI 和 Tailwind CSS)
- 后端: Node.js/Express (使用 MongoDB 和 Redis)
- 视频渲染: FFmpeg (使用 Advanced SubStation Alpha (ASS) 字幕)
- 发言人检测: Python/Flask (使用 TalkNet、YOLO 人脸检测、Whisper 转录)
- YouTube 下载器: Node.js (使用 yt-dlp 和 Mullvad VPN 进行 IP 轮换)
- AI/LLM: Claude 3 (主用), Gemini 2.0 Flash, GPT-4o (备用链)
- 基础设施: 混合部署（本地 + Azure 云），使用 Cloudflare R2/CDN
AI 工作流程
- 内容摄取 - YouTube URL 或文件上传
- AI 剪辑 - LLM 驱动的引人入胜片段识别
- 转录 - OpenAI Whisper (带有词级时间戳)
- 发言人检测 - TalkNet 音视频融合 (适用于多人内容)
- 字幕样式 - 14+ 动画样式 (MrBeast, Hormozi, Ali Abdaal, Karaoke 等)
- 渲染 - FFmpeg (带有 ASS 字幕渲染和批处理)
- 分发 - 直接上传到 YouTube, TikTok 和 Instagram
主要功能
- AI 剪辑检测 - 自动找到最有可能走红的片段
- 14+ 字幕样式 - 针对不同平台优化的专业模板
- 活跃发言人检测 - 识别多人视频中谁在讲话
- 多平台发布 - 安排并发布到 YouTube, TikTok, Instagram
- 模板系统 - 预设模板 (Baby Podcast, App Explainer, Supplement Doctor)
- 基于积分的计费 - 集成 Stripe (支持分级订阅)
成果
内容生产速度: 短视频制作速度提高 10 倍
AI 可靠性: 三模型备用链 (Claude -> Gemini -> OpenAI) 确保 99.9% 正常运行时间
成本节约: 混合基础设施将成本比纯云方案降低 67%
可扩展性: 通过基于队列的处理方式，可处理数千名并发用户
技术栈
ReactViteTypeScriptNode.jsExpressMongoDBRedisFFmpegPythonFlaskTalkNetYOLOWhisperClaude 3
常见问题
MicrocosmWorks 基于病毒式短视频内容数据集训练了生成模型，以学习与高参与度相关的结构模式，例如引爆点时机（前 1.5 秒）、节奏快慢和文字叠加位置。该平台针对每个简报生成多个变体，并使用预测参与度模型对其进行评分，然后呈现最佳选项。
是的，MicrocosmWorks 构建了一个自动化内容管道，该管道接受文本摘要、产品URL或博客文章，并提取关键信息、生成故事板、选择或创建视觉素材、应用动态图形并添加画外音。每段30秒的视频，端到端生成大约需要3-5分钟，且无需人工编辑。
MicrocosmWorks 实施了一套品牌工具包系统，客户可以在其中上传其标志、字体、调色板和经批准的素材库。每个生成的视频都受限于这些品牌准则，并且文本转语音的声音可以从30秒的样本中克隆，以在所有内容中保持一致的音频品牌。
MicrocosmWorks 集成了多语言支持，覆盖25种语言，配备原生文本转语音声音和自动字幕生成。该平台还会调整内容节奏和文本密度，以适应不同市场，因为亚洲社交媒体受众相比西方受众，通常偏好更快的剪辑和更密集的文本叠加。
MicrocosmWorks 致力于构建 AI 内容创作平台，费率为每小时 25-50 美元。一个完整的短视频生成系统，包括 storyboard AI、渲染引擎和品牌工具包管理功能，通常需要 600-900 个开发小时。持续的 AI 模型托管费用每月从 2,000 美元到 8,000 美元不等，具体取决于生成量。