AI/ML-putkiarkkitehtuuri

MicrocosmWorks toteuttaa mallirekisterimallin käyttäen työkaluja kuten MLflow tai Weights & Biases, joka seuraa jokaista malliversiota yhdessä sen koulutusdatan tilannekuvan, hyperparametrien ja arviointimittareiden kanssa. Meidän käyttöönottoputkistomme tukevat canary releases -menetelmiä, joissa uusi malli palvelee pientä osaa liikenteestä samalla kun valvomme keskeisiä suorituskykyindikaattoreita, automaattisilla palautuslaukaisimilla, jos tarkkuus tai latenssi heikkenee määriteltyjen kynnysten yli. Tämä varmistaa, että heikosti suoriutuva malli ei koskaan vaikuta enempään kuin hallittuun osaan käyttäjistäsi.

MicrocosmWorks suunnittelee ML-putkilinjoja erillisellä koulutus- ja palveluinfrastruktuurilla, jotka on yhdistetty artefaktivaraston kautta, joten uudelleenkoulutustyöt suoritetaan väliaikaisissa GPU-klustereissa kilpailematta resursseista tuotantoennustepisteiden kanssa. Käytämme orkestrointityökaluja, kuten Kubeflow Pipelinesia tai Apache Airflow'ta, käynnistääksemme uudelleenkoulutuksen datan ajautumisen havaitsemisen tai kiinteiden aikataulujen perusteella, automaattisilla validointiporteilla, jotka edistävät uudelleenkoulutetun mallin tuotantoon vain, jos se päihittää nykyisen version. Tämä arkkitehtuuri varmistaa, että mallisi paranevat jatkuvasti ilman palvelukatkoja.

MicrocosmWorks rakentaa poikkeaman havaitsemisen jokaiseen ML-tuotantoputkeen käyttäen tilastollisia testejä, kuten Kolmogorov-Smirnov-testiä piirrejakaumien analysointiin, ja suorituskyvyn seurantakoontinäyttöjä, jotka seuraavat ennustustarkkuutta vertaamalla sitä todellisiin arvoihin (ground truth labels) sitä mukaa kun ne ovat saatavilla. Kun poikkeama ylittää määritetyt kynnykset, putkemme käynnistää automaattisesti uudelleenkoulutuksen uusimmalla datalla tai hälyttää tiimin manuaalista tarkastusta varten, jos poikkeaman malli on odottamaton. Tämä ennakoiva lähestymistapa havaitsee mallin heikkenemisen viikkoja ennen kuin se havaittaisiin liiketoiminnan loppupään mittareilla.

MicrocosmWorks rakentaa päästä päähän ML-putkia, ja tiimien tuntiveloitus on 15–45 $/tunti. Tyypillinen tuotantoputki, joka kattaa data ingestionin, feature engineeringin, training orchestrationin, model registryn ja serving infrastructuren, kestää 10–20 viikkoa riippuen datan monimutkaisuudesta ja compliance requirementsista. Vähennämme kustannuksia käyttämällä spot instanceja training workloads -työkuormiin ja mitoittamalla serving infrastructurea oikein auto-scalingin avulla todellisen inference demandin perusteella. Jokainen toimeksianto alkaa kahden viikon discovery sprintillä, joka tuottaa yksityiskohtaisen architecture planin ja cost projectionin ennen kuin koko rakentaminen alkaa.

MicrocosmWorks perustaa kokeiden seurantainfrastruktuurin, joka automaattisesti tallentaa koodiversiot, dataset hashes, ympäristökokoonpanot, random seeds ja hyperparameters jokaiselle koulutusajolle, tehden minkä tahansa menneen kokeilun täysin toistettavaksi kuukausia myöhemmin. Konteineroimme koulutusympäristöt kiinnitetyillä riippuvuusversioilla ja käytämme DVC:tä (Data Version Control) Gitin rinnalla versioidaksemme datajoukot koodimuutosten ohella. Tämä eliminoi yleisen ongelman tuloksista, jotka toimivat yhden datatieteilijän koneella, mutta joita tiimi ei voi toistaa.