GPU-klusterin orkestrointi AI-työkuormille

MicrocosmWorks toteuttaa työkuormatietoisen GPU-aikataulutuksen, joka hyödyntää MIG (Multi-Instance GPU) -osiontia A100/H100 GPU-korteilla eristääkseen inference-työkuormat pienempiin GPU-osiin (slices), samalla kun täydet GPU:t tai useamman GPU:n allokoinnit varataan training-töille, estäen näin muistin fragmentoitumisen sekoitettujen työkuormien häiriöistä. Orkestraattori ymmärtää eri työkuormatyyppien muistiprofiilit ja aikatauluttaa ne maksimoidakseen GPU:n käyttöasteen aiheuttamatta out-of-memory-virheitä fragmentoituneista allokoinneista. Klusterien osalta, joissa ajetaan sekä inference- että training-työkuormia, tämä lähestymistapa saavuttaa tyypillisesti 70-85 % GPU:n käyttöasteen verrattuna 30-40 %:iin, joka on yleistä naiivisti aikataulutetuissa sekoitetuissa klustereissa.

MicrocosmWorks ottaa tyypillisesti käyttöön GPU-orkestroinnin käyttäen Kubernetesia NVIDIA GPU Operatorin ja mukautettujen ajoitusliitännäisten kanssa, parannettuna kehysjärjestelmillä kuten Run:ai tai Volcano gang schedulingiin, fair-share queuingiin ja fractional GPU allocationiin, joita vanilla Kubernetes ei tue natiivisti. Standardi Kubernetes käsittelee GPU:ita läpinäkymättöminä kokonaislukuresursseina, kun taas meidän parannettu järjestelmämme ymmärtää GPU-topologian (NVLink interconnects, PCIe vs NVSwitch), muistikapasiteetin ja laskentakyvyn tehdäkseen sijoituspäätöksiä, jotka vaikuttavat merkittävästi harjoittelusuorituskykyyn. Suurissa klustereissa (yli 50 GPU:ta) pelkkä ajoitusälykkyys voi parantaa tehokasta suorituskykyä 20–40 % verrattuna Kubernetesin oletus-GPU-ajoitukseen.

MicrocosmWorks toteuttaa monitasoisia GPU:n hankintastrategioita yhdistäen on-demand cloud GPU:ita kapasiteettipiikkeihin, reserved instances -tyyppisiä instansseja peruskuormituksiin ja spot/preemptible instances -instansseja vikaturvallisiin koulutustehtäviin checkpointing-toiminnolla – saavuttaen 40-60 %:n kustannussäästöt verrattuna pelkästään on-demand-hinnoitteluun. Orkestrointikerros tekee automaattisesti checkpointingia koulutustehtävistä määritettävissä aikavälein, mahdollistaen joustavan palautumisen keskeytyksistä, kun spot instances -instanssit otetaan takaisin, ja ohjaa aikaherkät inference workloads -tyyppiset työt reserved capacityyn taatun saatavuuden varmistamiseksi. Organisaatioille, joilla on jatkuva GPU-kysyntä, arvioimme myös kolokaatiota omistetun NVIDIA hardwaren kanssa verrattuna pelkästään cloud-only approaches -lähestymistapoihin, sillä omistetun laitteiston takaisinmaksuaika on tyypillisesti 12-18 kuukautta jatkuvaa käyttöä.

MicrocosmWorks ottaa käyttöön suuren kaistanleveyden ja matalan viiveen välilinkkejä käyttäen InfiniBand (400Gbps NDR) tai RoCE v2 (100-400Gbps) -verkkoja NCCL-optimoidulla verkkotopologialla, sillä hajautetun koulutuksen suorituskyky on usein verkon rajoittama laskennan rajoittaman sijaan, kun gradienttien synkronointi solmujen välillä luo viestintäpullonkaulan. Verkkoarkkitehtuuri sisältää topologiaa huomioivan työn sijoittelun, joka sijoittaa hajautetut koulutuspodit samoihin verkkokytkimeen kytkettyihin solmuihin (leaf-spine topology awareness) ristikkäiskytkinliikenteen minimoimiseksi. Pilvipohjaisissa käyttöönotoissa hyödynnämme sijoitteluryhmiä ja klusteriverkko-optioita (AWS EFA, GCP GPUDirect-TCPX, Azure InfiniBand), jotka tarjoavat lähes bare-metal -tason verkon suorituskyvyn, ja verkon arkkitehtuurikonsultointia on saatavilla hintaan $35-$50/tunti.

MicrocosmWorks toteuttaa nimiavaruuksiin perustuvan monivuokraajamallin taatuilla minimi-GPU-kiintiöillä per tiimi, ylikapasiteetilla kiintiön yli, kun klusterissa on vapaita resursseja, sekä prioriteetteihin perustuvilla keskeytyskäytännöillä, jotka varmistavat, että korkean prioriteetin tuotannon päättelytyökuormat saavat aina resurssit myös raskaiden koulutusjaksojen aikana. Alusta sisältää itsepalveluportaalin, jossa tiiminvetäjät voivat lähettää koulutustöitä, tarkastella jonosijoituksia, seurata GPU:n käyttöastetta ja hallita tiiminsä töiden prioriteetteja ilman alustan suunnittelun väliintuloa. Takaisinveloituksen raportointi seuraa kunkin tiimin ja projektin käyttämiä GPU-tunteja, mahdollistaen taloushallinnon tiimeille AI-infrastruktuurikustannusten tarkan kohdentamisen liiketoimintayksiköiden kesken.