Açma/Kapama Ölçekleme Mimarisi

batch ağırlıklı veya periyodik iş yüklerine sahip MicrocosmWorks müşterileri, on-off scaling uygulandıktan sonra genellikle %60-80 oranında bulut maliyeti azalması görürler, çünkü işlem kaynakları 7/24 çalışmak yerine yalnızca aktif işlem pencereleri sırasında çalışır. Gerçek kullanım telemetrisine dayalı scaling politikaları tasarlarız—örneğin, günde 4 saat çalışan bir veri işleme hattı, tam 24 saat yerine sadece bu 4 saatin ücretini öder. Mimarlarımız, herhangi bir uygulama başlamadan önce kesin tasarrufları tahmin etmek için bir keşif aşamasında iş yükü desenlerinizi analiz eder.

Önceden ısıtılmış node havuzlarındaki kapsayıcılı uygulamalar için cold-start süreleri 2-3 saniyeden, özel GPU instances veya büyük model loading gerektiren iş yükleri için 5-10 dakikaya kadar değişmektedir ve MicrocosmWorks bu gecikmeyi minimize etmek için çeşitli teknikler kullanır. Geçmiş trafik modellerini ve planlanmış olayları kullanarak beklenen talepten önce kaynakları devreye sokan predictive scaling uyguluyoruz ve gecikmeye duyarlı iş yükleri için container image pre-pulling ve warm pool reservations kullanıyoruz. Hiçbir cold start'a tolerans gösteremeyen uygulamalar için, talep geldiğinde agresif bir şekilde ölçeklenen minimum bir warm baseline sürdürüyoruz.

MicrocosmWorks, queue depth, CPU utilization veya özel uygulama metrikleri tarafından tetiklenen agresif scale-up politikalarını, thrashing'i önlemek için cooldown periods içeren daha kademeli scale-down politikalarıyla birleştirerek reaktif auto-scaling'i uygular. Scale-up olayları sırasında over-provisioning buffers yapılandırıyoruz, böylece sistem talebi tek tek instance'lar halinde karşılamak yerine sürekli büyümeyi öngörür. flash sales veya viral events gibi gerçekten öngörülemeyen yoğunluklar için, pazarlama veya operasyon takviminizden gelen event-driven triggers kullanarak kapasiteyi pre-provision ederiz.

MicrocosmWorks, boşta kalma sürelerinde compute'u sıfıra ölçeklendirirken storage'ı kalıcı ve anında erişilebilir tutan Aurora Serverless, Neon veya PlanetScale gibi serverless database tekliflerini kullanarak veritabanlarına on-off scaling uygular. Serverless database'leri kullanamayan stateful iş yükleri için, query load'a göre replica ekleyip çıkarırken minimal bir primary instance'ı her zaman çalışır durumda tutan read-replica scaling uyguluyoruz. Bu hibrit yaklaşım, shutdown ve yeniden başlatma döngüleri sırasında veritabanı durumunu yönetme karmaşası olmaksızın, data tier'ları için ölçeklendirmenin maliyet avantajlarını müşterilere sunar.

MicrocosmWorks, örnek (instance) sayılarını, ölçeklendirme olayı gecikmesini, başarısız ölçeklendirme girişimlerini ve istenen ile gerçek kapasite arasındaki farkı Grafana veya Datadog panolarını kullanarak gerçek zamanlı olarak izleyen kapsamlı ölçeklendirme gözlemlenebilirliği (observability) dağıtır. Ölçeklendirme hataları, ölçeklendirme tavanının çok düşük olduğunu gösteren sürekli yüksek kaynak kullanımı ve kontrolsüz ölçeklendirmeyi gösteren maliyet anormallikleri için çok kanallı uyarılar yapılandırırız. Runbook'larımız, bulut sağlayıcı örnek (instance) limitlerine ulaşma veya belirli erişilebilirlik bölgelerinde (availability zones) yetersiz kapasite hatalarıyla karşılaşma gibi yaygın hata modları için otomatik iyileştirme içerir.