Päälle/pois-skaalausarkkitehtuuri

MicrocosmWorksin asiakkaat, joilla on eräpainotteisia tai jaksottaisia työkuormia, havaitsevat tyypillisesti 60-80 %:n pilvikustannussäästöjä on-off skaalauksen käyttöönoton jälkeen, koska laskentaresurssit ovat käytössä vain aktiivisten käsittelyikkunoiden aikana 24/7-käytön sijaan. Suunnittelemme skaalauskäytäntöjä todellisen käyttötelemetrian perusteella – esimerkiksi tiedonkäsittelyputki, joka on käytössä 4 tuntia päivässä, maksaa vain niistä 4 tunnista koko 24 tunnin sijaan. Arkkitehtimme analysoivat työkuormamallejasi tutkimusvaiheen aikana projisoidakseen tarkat säästöt ennen kuin varsinainen käyttöönotto alkaa.

Cold-start-ajat vaihtelevat 2-3 sekunnista kontitetyille sovelluksille esilämmitetyissä node-pooleissa 5-10 minuuttiin työkuormille, jotka vaativat erikoistuneita GPU-instansseja tai suurten mallien lataamista, ja MicrocosmWorks käyttää useita tekniikoita tämän viiveen minimoimiseksi. Toteutamme ennakoivaa skaalausta, joka käynnistää resursseja ennen ennakoitua kysyntää hyödyntäen historiallisia liikennemalleja ja aikataulutettuja tapahtumia, ja käytämme konttikuvien esilatausta ja warm pool -varauksia viiveherkille työkuormille. Sovelluksille, jotka eivät siedä lainkaan cold startia, ylläpidämme minimaalista lämmintä perustasoa, joka skaalautuu aggressiivisesti ylöspäin kysynnän saapuessa.

MicrocosmWorks toteuttaa reaktiivista auto-scalingia aggressiivisilla scale-up-politiikoilla, jotka laukaistaan queue depthin, CPU utilizationin tai mukautettujen sovellusmittareiden perusteella, yhdistettynä asteittaisempiin scale-down-politiikkoihin, jotka sisältävät cooldown-jaksoja thrashingin välttämiseksi. Konfiguroimme over-provisioning-puskureita scale-up-tapahtumien aikana, jotta järjestelmä ennakoi jatkuvaa kasvua sen sijaan, että se jahtaisi kysyntää yksi instance kerrallaan. Todella ennustamattomia piikkejä varten, kuten flash sales tai viral events, esivaraamme kapasiteettia käyttämällä event-driven triggereitä markkinointi- tai operatiivisesta kalenteristasi.

MicrocosmWorks soveltaa on-off-skaalausta tietokantoihin käyttämällä serverless database offerings -palveluita, kuten Aurora Serverless, Neon tai PlanetScale, jotka skaalaavat compute-resurssit nollaan käyttämättömien jaksojen aikana pitäen storage-tilan pysyvänä ja välittömästi saatavilla. Stateful workloads -työkuormille, jotka eivät voi käyttää serverless-tietokantoja, toteutamme read-replica scaling -ratkaisun, joka lisää ja poistaa replicas-instansseja query load -kuormituksen perusteella pitäen samalla minimaalisen primary instance -instanssin aina käynnissä. Tämä hybridi lähestymistapa tarjoaa asiakkaille skaalauksen kustannushyödyt heidän data tier -tasolleen ilman database state -tilan hallinnan monimutkaisuutta sammutus- ja uudelleenkäynnistysjaksojen aikana.

MicrocosmWorks ottaa käyttöön kattavan skaalauksen observabilityn, joka seuraa instanssien määriä, skaalaustapahtumien viivettä, epäonnistuneita skaalausyrityksiä sekä toivotun ja todellisen kapasiteetin välistä eroa reaaliaikaisesti käyttäen Grafana- tai Datadog-hallintapaneeleita. Määritämme monikanavaisia hälytyksiä skaalausvirheistä, jatkuvasta korkeasta käyttöasteesta, joka viittaa liian matalaan skaalauskattoon, sekä kustannusanomalioista, jotka kertovat hallitsemattomasta skaalauksesta. Ajokirjamme (runbooks) sisältävät automatisoidun korjauksen yleisiin vikatilanteisiin, kuten pilvipalveluntarjoajan instanssirajojen saavuttamiseen tai riittämättömän kapasiteetin virheiden kohtaamiseen tietyillä saatavuusalueilla.