AIワークロード向けGPUクラスターオーケストレーション

MicrocosmWorksは、A100/H100 GPU上でMIG（Multi-Instance GPU）パーティショニングを使用するワークロード認識型のGPUスケジューリングを実装しています。これにより、推論ワークロードをより小さなGPUスライスに分離しつつ、トレーニングジョブ用に完全なGPUまたは複数GPUの割り当てを確保し、混合ワークロードの干渉によるメモリ断片化を防ぎます。オーケストレーターは、異なるワークロードタイプのメモリプロファイルを理解し、断片化された割り当てによるメモリ不足の失敗を引き起こすことなく、GPU利用率を最大化するようにそれらをスケジューリングします。推論とトレーニングの両方を実行するクラスターの場合、このアプローチは通常、素朴にスケジュールされた混合クラスターで一般的な30-40%と比較して、70-85%のGPU利用率を達成します。

MicrocosmWorks は通常、Kubernetes に NVIDIA GPU Operator とカスタムスケジューリングプラグインを使用し、さらに vanilla Kubernetes がネイティブにサポートしない gang scheduling、fair-share queuing、fractional GPU allocation のために Run:ai や Volcano のようなフレームワークで強化された GPU オーケストレーションをデプロイします。標準の Kubernetes は GPU を不透明な整数リソースとして扱いますが、当社の強化されたスタックは、GPU トポロジー (NVLink インターコネクト、PCIe 対 NVSwitch)、メモリ容量、計算能力を理解し、トレーニングパフォーマンスに大きく影響する配置決定を行います。大規模なクラスター (GPU 50 台以上) の場合、スケジューリングインテリジェンスだけでも、デフォルトの Kubernetes GPU スケジューリングと比較して実効スループットを 20～40% 向上させることができます。

MicrocosmWorksは、バーストキャパシティのためにオンデマンドクラウドGPUを、ベースラインの定常状態ワークロードのためにReserved Instancesを、チェックポイント機能を備えたフォールトトレラントなトレーニングジョブのためにSpot/Preemptible Instancesを組み合わせた多層的なGPU調達戦略を導入しています。—これにより、オンデマンドのみの料金と比較して40～60%のコスト削減を実現しています。オーケストレーション層は、設定可能な間隔でトレーニングジョブを自動的にチェックポイントし、Spot Instancesが再利用された際に優雅なプリエンプション回復を可能にし、時間制約のある推論ワークロードは可用性を保証するためにReserved Capacityへルーティングします。継続的なGPU需要がある組織向けには、自社所有のNVIDIAハードウェアとのColocationとCloud-Onlyアプローチを比較検討します。これは、自社所有ハードウェアのBreak-Even Pointが通常12～18ヶ月のContinuous Utilizationであるためです。

MicrocosmWorksは、NCCL最適化されたネットワークトポロジを備えた、InfiniBand (400Gbps NDR) または RoCE v2 (100-400Gbps) ファブリックを使用し、高帯域幅、低遅延のインターコネクトを展開します。これは、ノード間の勾配同期が通信ボトルネックを生じさせる際、分散トレーニングのパフォーマンスがコンピュートバウンドではなくネットワークバウンドになることが多いためです。このネットワークアーキテクチャには、クロススイッチトラフィックを最小限に抑えるため、同じネットワークスイッチを介して接続されたノード上に分散トレーニングPodを共存させるトポロジ認識型ジョブ配置（leaf-spine topology awareness）が含まれます。クラウド展開の場合、当社は、ニアベアメタルネットワーク性能を提供するプレイスメントグループおよびクラスターネットワークオプション (AWS EFA, GCP GPUDirect-TCPX, Azure InfiniBand) を活用しており、ネットワークアーキテクチャコンサルティングは$35-$50/時間で提供しています。

MicrocosmWorksは、チームごとに保証された最小GPUクォータ、クラスターにアイドルリソースがある場合のクォータを超えるバースト容量、およびヘビートレーニング期間中であっても高優先度本番推論ワークロードが常にリソースを確保する優先度ベースのプリエンプションポリシーによって、名前空間ベースのマルチテナンシーを実装しています。このプラットフォームにはセルフサービスポータルが含まれており、チームリーダーはプラットフォームエンジニアリングの介入を必要とせずに、トレーニングジョブの提出、キューの位置の確認、GPU使用率の監視、およびチームのジョブ優先度の管理を行うことができます。チャージバックレポートは、各チームおよびプロジェクトによって消費されたGPU時間を追跡し、財務チームがAIインフラコストをビジネスユニット全体にわたって正確に割り当てることを可能にします。