用于 AI 工作负载的 GPU 集群编排

MicrocosmWorks 采用工作负载感知的 GPU 调度，该调度利用 A100/H100 GPU 上的 MIG (Multi-Instance GPU) 分区技术，将推理工作负载隔离到更小的 GPU 切片中，同时为训练任务保留完整的 GPU 或多 GPU 分配，从而防止混合工作负载干扰导致的内存碎片。该编排器理解不同工作负载类型的内存配置文件，并对其进行调度以最大化 GPU 利用率，同时避免因碎片化分配导致的内存不足故障。对于同时运行推理和训练的集群，这种方法通常能实现 70-85% 的 GPU 利用率，而相比之下，在天真调度的混合集群中，这一比例通常仅为 30-40%。

MicrocosmWorks 通常使用 Kubernetes 配合 NVIDIA GPU Operator 和自定义调度插件来部署 GPU 编排，并通过 Run:ai 或 Volcano 等框架进行增强，以实现原生 Kubernetes 不支持的协同调度、公平共享队列和分数式 GPU 分配。标准 Kubernetes 将 GPU 视为不透明的整数资源，而我们增强的堆栈则理解 GPU 拓扑（NVLink 互连、PCIe 与 NVSwitch）、内存容量和计算能力，从而做出显著影响训练性能的放置决策。对于大型集群（50+ GPUs），仅调度智能本身就可以将有效吞吐量比默认的 Kubernetes GPU 调度提高 20-40%。

MicrocosmWorks 实施多层级 GPU 采购策略，结合按需云 GPU 以应对突发容量需求，预留实例用于基线稳定状态工作负载，以及 Spot/可抢占实例用于带有检查点机制的容错训练作业 — 相比仅使用按需定价，可实现 40-60% 的成本降低。编排层以可配置的间隔自动为训练作业创建检查点，从而在 Spot 实例被回收时能够优雅地进行抢占恢复，并将时间敏感的推理工作负载路由到预留容量，以保证可用性。对于具有持续 GPU 需求的组织，我们还会评估将自有 NVIDIA 硬件进行托管与纯云方案的优劣，因为自有硬件的盈亏平衡点通常是 12-18 个月的持续利用。

MicrocosmWorks 部署了高带宽、低延迟的互连，采用 InfiniBand (400Gbps NDR) 或 RoCE v2 (100-400Gbps) 结构以及 NCCL 优化的网络拓扑。这是因为当节点间的梯度同步产生通信瓶颈时，分布式训练的性能通常受限于网络而非计算。该网络架构包括拓扑感知的任务放置，它将分布式训练 pod 共同部署在通过同一网络交换机连接的节点上（具备脊叶拓扑感知能力），以最大程度地减少跨交换机流量。对于云部署，我们利用放置组和集群网络选项（AWS EFA、GCP GPUDirect-TCPX、Azure InfiniBand），它们提供接近裸机的网络性能，并提供每小时 35-50 美元的网络架构咨询服务。

MicrocosmWorks 实施基于命名空间的多租户机制，为每个团队提供有保证的最低 GPU 配额，当集群拥有空闲资源时，可以提供超出配额的突发容量，以及基于优先级的抢占策略，确保即使在繁重的训练期间，高优先级的生产推理工作负载也能始终获得资源。该平台包括一个自助服务门户，团队负责人可以在其中提交训练作业、查看队列位置、监控 GPU 利用率，并管理团队的作业优先级，无需平台工程团队的干预。成本分摊报告会跟踪每个团队和项目消耗的 GPU 小时数，使财务团队能够准确地将 AI 基础设施成本分配给各个业务部门。