按需开关扩展架构

该系统以作业队列（SQS、Redis 或自定义）为核心，用于缓冲传入的工作请求。扩展控制器监控队列深度，并首先从热池调配实例，然后从冷池（Spot 实例）调配。每个工作实例从队列中拉取作业，执行工作负载（编码、训练、推理），报告完成情况，然后返回池中或终止。检查点管理器通过将中间状态保存到 S3 来处理 Spot 实例回收，使作业能够在不同实例上恢复而无需从头开始。

• 作业队列与调度器：按作业类型配置并发限制的优先级作业队列。支持延迟执行、失败作业的死信队列和优先级通道（快速作业使用热池实例，标准作业使用冷池）。AWS SQS、基于 Redis 的 BullMQ 或用于复杂工作流的 Temporal
• 热池管理器：维护 N 个预初始化实例，这些实例的 GPU 内存中已加载模型，容器正在运行，并且健康检查通过。实例循环状态：空闲 → 已分配 → 处理中 → 空闲。池大小可按时间配置（工作时间较大，夜间较小），并可根据历史需求模式进行调整
• 冷池调配器：从 Spot 实例 (AWS)、抢占式 VM (GCP) 或无服务器 GPU 提供商（RunPod、Modal、Salad）调配额外容量。通过将作业迁移到可用实例来处理 Spot 实例中断通知。采用多样化的实例类型策略（多种 GPU 类型、多个可用区 AZ）以最大化 Spot 实例可用性
• 检查点与恢复：对于长时间运行的作业（ML 训练、大型视频编码），定期检查点将中间状态保存到 S3。在 Spot 实例回收时，作业会被重新排队并从上次检查点恢复。对于短作业（< 10 分钟），检查点成本超过重新启动成本 — 这些作业只需从头开始重试

MW 以“每作业成本”的视角设计按需开关扩展——我们根据不同的扩展策略模拟处理一个工作单元（一个视频、一次训练运行、一次批量推理）的总成本，并选择在所需延迟 SLA 下将成本降至最低的策略。我们的实施方案包括实时成本仪表板，显示每个作业的成本、基础设施利用率和 Spot 实例节省。我们构建了按需开关的 GPU 基础设施，与预留实例相比，视频处理成本降低了 70%，并构建了 ML 训练集群，可在 4 小时训练运行期间调配 64 个 GPU，并自动释放它们。

• 用于 AI 工作负载的 GPU 集群编排 — 用于 ML 训练的 GPU 调配和编排
• 实时 AI 视频监控系统 — 视频分析事件的突发推理
• 实时体育精彩片段生成器 — 事件驱动的视频处理与突发计算

• 按需开关模式视频处理 — 针对视频编码工作负载的 GPU 热/冷池调配
• 视频编码平台 — 基于无服务器和 Spot 实例的编码，具有自动扩缩的工作池