按需启停扩展架构

该系统以作业队列（SQS, Redis 或自定义队列）为核心，缓冲传入的工作请求。扩展控制器监控队列深度，并首先从热池调配实例，然后从冷池（Spot 实例）调配实例。每个工作实例从队列中拉取作业，执行工作负载（编码、训练、推理），报告完成情况，然后返回池中或终止。检查点管理器通过将中间状态保存到 S3 来处理 Spot 实例回收，使作业能够在不同实例上恢复，而无需重新开始。

• 作业队列与调度器：带有可配置的每种作业类型并发限制的优先作业队列。支持延迟执行、用于失败作业的死信队列以及优先级通道（特快作业使用热池实例，标准作业使用冷池）。AWS SQS, 基于 Redis 的 BullMQ 或用于复杂工作流的 Temporal
• 热池管理器：维护 N 个预初始化实例，这些实例已将模型加载到 GPU 内存中，容器正在运行，并通过了健康检查。实例循环状态：空闲 → 分配 → 处理 → 空闲。池大小可按时间配置（工作时间段较大，夜间较小），并可根据历史需求模式进行调整
• 冷池调配器：从 Spot 实例 (AWS)、可抢占式虚拟机 (GCP) 或无服务器 GPU 提供商（RunPod, Modal, Salad）调配额外容量。通过将作业迁移到可用实例来处理 Spot 中断通知。采用多样化的实例类型策略（多种 GPU 类型、多个可用区）以最大限度地提高 Spot 实例的可用性
• 检查点与恢复：对于长时间运行的作业（ML 训练、大型视频编码），周期性检查点将中间状态保存到 S3。当 Spot 实例被回收时，作业会被重新排队并从最后一个检查点恢复。对于短作业（< 10 分钟），检查点的成本超过了重新启动的成本——这些作业会直接从头开始重试

MW 采用“按作业成本”的视角设计按需启停扩展架构——我们对处理一个工作单元（一个视频、一次训练运行、一次批量推理）在不同扩展策略下的总成本进行建模，并选择在所需延迟 SLA 下使成本最小化的策略。我们的实现包括实时成本仪表板，显示每个作业的成本、基础设施利用率和 Spot 实例节省的费用。我们构建了按需启停 GPU 基础设施，与预留实例相比，将视频处理成本降低了 70%，并构建了 ML 训练集群，可在 4 小时训练运行中调配 64 个 GPU 并自动释放它们。

• AI 工作负载的 GPU 集群编排 — 用于 ML 训练的 GPU 资源调配和编排
• 实时 AI 视频监控系统 — 针对视频分析事件的突发推理
• 实时体育精彩片段生成器 — 带有突发计算的事件驱动型视频处理

• 按需启停模式视频处理 — 针对视频编码工作负载的带热/冷池的 GPU 资源调配
• 视频编码平台 — 带自动扩缩容工作池的无服务器和基于 Spot 实例的编码