RunPodin hyödyntäminen skaalautuvaan, kustannustehokkaaseen AI-päätelmään

Otimme käyttöön RunPodin GPU-laskentakerrokseksi, käyttäen heidän on-demand- ja spot-GPU-instanssejaan AI-päätelmän suorittamiseen murto-osalla perinteisten pilvi-GPU-kustannuksista, lämpimän instanssin arkkitehtuurilla minimoidaksemme kylmäkäynnistykset.

Arkkitehtuuri

• Laskenta: RunPod GPU-podit päätelmätyökuormille, GPU-tason valinta työkuorman mukaan
• Orkestrointi: FastAPI-orkestraattori ensisijaisessa pilvessä hallinnoi RunPod-podeja
• Verkostoituminen: Suojatut tunnelit ensisijaisen infrastruktuurin ja RunPod-instanssien välillä
• Mallien tallennus: Valmiit Docker-kuvat malleilla nopeaa käynnistystä varten
• Valvonta: Kuntotarkistukset ja automaattinen uudelleenkäynnistys podien saatavuuden varmistamiseksi

Infrastruktuurin suunnittelu

Pod-kokoonpano

• GPU:n valinta: Kustannustehokkaat GPU-tasot valitaan työkuorman mukaan, saavuttaen ~85–90 % kustannussäästöt verrattuna vastaaviin suurten pilvipalveluntarjoajien GPU-instansseihin
• Docker-mallit: Mukautetut kontit esiladatuilla AI-malleilla päätelmää varten
• Pysyvä tallennustila: Verkkolevyt mallipainoille ja konfiguraatiotiedostoille
• Ympäristömuuttujat: Dynaaminen konfiguraatio virran päätepisteille, API-avaimille ja ominaisuuslipuille

Lämpimän instanssin strategia

Sen sijaan, että käynnistämme podeja kylmästi jokaisen pyynnön perusteella, ylläpidämme lämpimiä instansseja toiminta-aikoina:

1. Aikataulutettu skaalaus — Podit käynnistetään ennen ruuhka-aikoja, pysäytetään hiljaisina aikoina
2. Esiladatut mallit — Päätelmämoottorit ladataan konttien käynnistyksen yhteydessä, valmiina välittömästi
3. Kuntotarkistukset — Orkestraattori valvoo RunPod-podeja säännöllisesti varmistaakseen niiden valmiuden
4. Automaattinen palautuminen — Epäterveet podit korvataan automaattisesti RunPod API:n kautta

Pilvien välinen kommunikaatio

• Ensisijainen pilvi: API-palvelimet, tietokannat, tallennustyötekijät
• GPU-pilvi (RunPod): AI-päätelmä, objektintunnistus, seuranta
• Tietovirta: Videokehykset lähetetään ensisijaisesta pilvestä RunPodiin päätelmää varten; tunnistustulokset palautetaan WebSocketin kautta
• Aikaleiman synkronointi: PTS-pohjainen synkronointi kellon poikkeaman käsittelemiseksi pilvien välillä

Kustannusoptimointi

RunPodin hinnoittelumalli tuotti merkittäviä säästöjä verrattuna vastaaviin GPU-instansseihin suurilta pilvipalveluntarjoajilta:

• On-Demand: ~85–90 % alennus tunneittaisista GPU-laskentakustannuksista
• Spot Pricing: Lisäksi 50 % säästöt ei-kriittiseen eräkäsittelyyn yhteisöpilvessä
• Aikataulutettu sammutus: Automaattinen pysäytys/käynnistys toiminta-aikojen perusteella vähentää kustannuksia entisestään
• Oikea mitoitus: Valitaan GPU-taso, joka vastaa todellisia VRAM-tarpeita, eikä ylisuurita kapasiteettia
• Usean podin jakelu: Jaetaan virrat pienemmille, halvemmille GPU:ille yhden suuren instanssin sijaan

Käyttöönoton työnkulku

1. Build — Docker-kuva kaikilla malleilla, riippuvuuksilla ja sovelluskoodilla
2. Push — Kuva työnnetään konttirekisteriin
3. Deploy — RunPod API luo podin määritetyllä GPU:lla, kuvalla ja volyymikiinnityksillä
4. Configure — Ympäristömuuttujat asetetaan tiettyä käyttöönottoa varten
5. Monitor — Orkestraattori tarkistaa podin kunnon ja alkaa reitittää päätelmäpyyntöjä
6. Scale — Lisäpodit käynnistetään API:n kautta kuormituksen kasvaessa

Keskeiset ominaisuudet

1. Merkittävä kustannussäästö — 85–90 % säästöt verrattuna vastaaviin suurten pilvipalveluntarjoajien GPU-instansseihin
2. Valmiit kontit — Mallit sisällytetty Docker-kuviin alle 30 sekunnin käynnistystä varten
3. API-vetoinen skaalaus — Ohjelmallinen podien luominen/tuhoaminen kysynnän perusteella
4. Usean GPU:n tuki — Useita GPU-tasoja saatavilla työkuorman vaatimusten mukaan
5. Spot-instanssin varajärjestelmä — Ei-kriittiset työkuormat ajetaan alennetun hintaisessa yhteisöpilvessä
6. Pilvirajat ylittävä arkkitehtuuri — GPU-laskenta irrotettu ensisijaisesta infrastruktuurista