Оркестрація GPU-кластерів для робочих навантажень AI

MicrocosmWorks впроваджує планувальник GPU, що враховує робоче навантаження, який використовує розділення MIG (Multi-Instance GPU) на GPU A100/H100 для ізоляції робочих навантажень inference у менших частинах GPU, одночасно резервуючи повні GPU або багато-GPU виділення для завдань training, запобігаючи фрагментації пам'яті через взаємний вплив змішаних робочих навантажень. Оркестратор розуміє профілі пам'яті різних типів робочих навантажень і планує їх для максимізації утилізації GPU без спричинення out-of-memory failures через фрагментовані виділення. Для кластерів, що виконують як inference, так і training, цей підхід зазвичай досягає 70-85% утилізації GPU порівняно з 30-40%, що є типовим у наївно запланованих змішаних кластерах.

MicrocosmWorks зазвичай розгортає оркестрацію GPU за допомогою Kubernetes з NVIDIA GPU Operator та спеціальними плагінами планування, покращеними фреймворками, такими як Run:ai або Volcano, для gang scheduling, fair-share queuing та fractional GPU allocation, які "чистий" Kubernetes не підтримує вбудовано. Стандартний Kubernetes розглядає GPU як непрозорі цілочисельні ресурси, тоді як наш покращений стек розуміє топологію GPU (з'єднання NVLink, PCIe проти NVSwitch), об'єм пам'яті та обчислювальну потужність для прийняття рішень щодо розміщення, які суттєво впливають на продуктивність навчання. Для великих кластерів (50+ GPU) сама лише інтелектуальна система планування може підвищити ефективну пропускну здатність на 20-40% порівняно зі стандартним плануванням GPU в Kubernetes.

MicrocosmWorks впроваджує багатоступінчасті стратегії закупівлі GPU, поєднуючи хмарні GPU за вимогою для пікової потужності, зарезервовані інстанси для базових стабільних навантажень, та spot/preemptible інстанси для відмовостійких навчальних завдань з чекпоінтами — досягаючи 40-60% зниження витрат порівняно з ціноутворенням лише за вимогою. Рівень оркестрації автоматично створює чекпоінти для навчальних завдань через настроювані інтервали, що дозволяє м'яко відновлюватися після витіснення, коли spot інстанси відкликаються, і направляє критичні за часом робочі навантаження інференсу на зарезервовану потужність для гарантованої доступності. Для організацій зі стабільним попитом на GPU ми також оцінюємо колокацію з власним обладнанням NVIDIA порівняно з виключно хмарними підходами, оскільки точка беззбитковості для власного обладнання зазвичай становить 12-18 місяців безперервного використання.

MicrocosmWorks розгортає високошвидкісні міжз'єднання з низькою затримкою, використовуючи мережі InfiniBand (400 Гбіт/с NDR) або RoCE v2 (100-400 Гбіт/с) з оптимізованою для NCCL мережевою топологією, оскільки продуктивність розподіленого навчання часто обмежується мережею, а не обчисленнями, коли синхронізація градієнтів між вузлами створює вузьке місце у зв'язку. Мережева архітектура включає розміщення завдань з урахуванням топології, яке розміщує поди розподіленого навчання на вузлах, підключених через один і той самий мережевий комутатор (з урахуванням топології leaf-spine), для мінімізації трафіку між комутаторами. Для хмарних розгортань ми використовуємо групи розміщення та опції кластерної мережі (AWS EFA, GCP GPUDirect-TCPX, Azure InfiniBand), які забезпечують продуктивність мережі, близьку до bare-metal, з консультаціями з мережевої архітектури за $35-$50/год.