Orchestration de Clusters GPU pour les Charges de Travail AI

MicrocosmWorks met en œuvre une planification GPU consciente des charges de travail qui utilise le partitionnement MIG (Multi-Instance GPU) sur des GPU A100/H100 pour isoler les charges de travail d'inférence dans des tranches de GPU plus petites, tout en réservant des GPU complets ou des allocations multi-GPU pour les tâches d'entraînement. Cela prévient la fragmentation de la mémoire due à l'interférence des charges de travail mixtes. L'orchestrateur comprend les profils de mémoire des différents types de charges de travail et les planifie pour maximiser l'utilisation du GPU sans provoquer de pannes de mémoire insuffisante (out-of-memory) dues à des allocations fragmentées. Pour les clusters exécutant à la fois l'inférence et l'entraînement, cette approche permet généralement d'atteindre 70-85 % d'utilisation du GPU, contre 30-40 % couramment observés dans les clusters mixtes planifiés de manière naïve.

MicrocosmWorks déploie généralement l'orchestration de GPU en utilisant Kubernetes avec le NVIDIA GPU Operator et des plugins de planification personnalisés, améliorés avec des frameworks comme Run:ai ou Volcano pour le gang scheduling, le fair-share queuing et l'allocation fractionnelle de GPU, ce que Kubernetes standard ne prend pas en charge nativement. Kubernetes standard traite les GPU comme des ressources entières opaques, tandis que notre stack amélioré comprend la topologie des GPU (interconnexions NVLink, PCIe vs NVSwitch), la capacité mémoire et la capacité de calcul pour prendre des décisions de placement qui impactent significativement la performance d'entraînement. Pour les grands clusters (plus de 50 GPU), l'intelligence de planification à elle seule peut améliorer le débit effectif de 20 à 40 % par rapport à la planification de GPU par défaut de Kubernetes.

MicrocosmWorks met en œuvre des stratégies d'approvisionnement en GPU multi-niveaux combinant des GPU cloud à la demande pour la capacité de pointe, des instances réservées pour les charges de travail de base en régime permanent, et des instances spot/préemptibles pour les tâches d'entraînement tolérantes aux pannes avec checkpointing — permettant une réduction des coûts de 40 à 60 % par rapport à une tarification uniquement à la demande. La couche d'orchestration effectue automatiquement le checkpointing des tâches d'entraînement à des intervalles configurables, permettant une récupération souple après préemption lorsque des instances spot sont récupérées, et achemine les charges de travail d'inférence sensibles au temps vers la capacité réservée pour une disponibilité garantie. Pour les organisations ayant une demande continue en GPU, nous évaluons également la colocation avec du matériel NVIDIA possédé par rapport aux approches uniquement cloud, car le seuil de rentabilité pour le matériel possédé est généralement de 12 à 18 mois d'utilisation continue.

MicrocosmWorks déploie des interconnexions à haute bande passante et faible latence utilisant des fabrics InfiniBand (400Gbps NDR) ou RoCE v2 (100-400Gbps) avec une topologie réseau optimisée pour NCCL, car les performances de l'entraînement distribué sont souvent network-bound plutôt que compute-bound lorsque la gradient synchronization entre les nœuds crée un communication bottleneck. L'architecture réseau inclut le topology-aware job placement qui co-localise les pods d'entraînement distribué sur des nœuds connectés via le même commutateur réseau (avec leaf-spine topology awareness) afin de minimiser le cross-switch traffic. Pour les déploiements cloud, nous tirons parti des placement groups et des cluster networking options (AWS EFA, GCP GPUDirect-TCPX, Azure InfiniBand) qui offrent des performances réseau near-bare-metal, avec des services de conseil en architecture réseau à 35-50 $/heure.

MicrocosmWorks met en œuvre une architecture multi-tenant basée sur les namespaces avec des quotas GPU minimaux garantis par équipe, une capacité de rafale au-delà du quota lorsque le cluster dispose de ressources inactives, et des politiques de préemption basées sur la priorité qui garantissent que les charges de travail d'inférence de production à haute priorité obtiennent toujours des ressources, même pendant les périodes d'entraînement intensif. La plateforme comprend un portail en libre-service où les chefs d'équipe peuvent soumettre des tâches d'entraînement, consulter les positions dans la file d'attente, surveiller l'utilisation des GPU et gérer les priorités des tâches de leur équipe sans nécessiter l'intervention de l'ingénierie de la plateforme. Le rapport de refacturation (chargeback) suit les heures GPU consommées par chaque équipe et projet, permettant aux équipes financières d'allouer avec précision les coûts de l'infrastructure AI entre les unités commerciales.