Архітектура Масштабування Ввімкнення-Вимкнення

Клієнти MicrocosmWorks з інтенсивними пакетними або періодичними робочими навантаженнями зазвичай спостерігають 60-80% зниження витрат на хмарні ресурси після впровадження on-off масштабування, оскільки обчислювальні ресурси працюють лише під час активних вікон обробки замість 24/7. Ми розробляємо політики масштабування на основі фактичної телеметрії використання — наприклад, конвеєр обробки даних, що працює 4 години щодня, оплачує лише ці 4 години замість повних 24. Наші архітектори аналізують ваші моделі робочих навантажень під час етапу дослідження, щоб спрогнозувати точну економію до початку будь-якої реалізації.

Час холодного старту варіюється від 2-3 секунд для контейнеризованих застосунків на попередньо розігрітих пулах вузлів до 5-10 хвилин для робочих навантажень, що вимагають спеціалізованих екземплярів GPU або завантаження великих моделей, і MicrocosmWorks використовує кілька методів для мінімізації цієї затримки. Ми впроваджуємо предиктивне масштабування, яке запускає ресурси до очікуваного попиту, використовуючи історичні патерни трафіку та заплановані події, і ми використовуємо попереднє завантаження образів контейнерів та резервування теплих пулів для робочих навантажень, чутливих до затримок. Для застосунків, які не можуть терпіти жодного холодного старту, ми підтримуємо мінімальну теплу базову лінію, яка агресивно масштабується вгору при виникненні попиту.

MicrocosmWorks реалізує реактивне автомасштабування з агресивними політиками масштабування вгору, що спрацьовують за глибиною черги, завантаженням CPU або власними метриками застосунків, у поєднанні з більш поступовими політиками масштабування вниз, що включають періоди охолодження, щоб уникнути надмірних коливань. Ми налаштовуємо буфери надлишкового резервування під час подій масштабування вгору, щоб система передбачала постійне зростання, замість того, щоб задовольняти попит по одному інстансу. Для справді непередбачуваних стрибків, таких як флеш-розпродажі або вірусні події, ми попередньо резервуємо потужності, використовуючи подієво-орієнтовані тригери з вашого маркетингового або операційного календаря.

MicrocosmWorks застосовує on-off scaling до баз даних, використовуючи пропозиції serverless баз даних, такі як Aurora Serverless, Neon або PlanetScale, які масштабують compute до нуля під час періодів простою, зберігаючи при цьому сховище постійним та миттєво доступним. Для stateful workloads, які не можуть використовувати serverless баз даних, ми впроваджуємо read-replica scaling, яке додає та видаляє репліки на основі навантаження запитів, зберігаючи при цьому мінімальний primary instance завжди запущеним. Цей гібридний підхід надає клієнтам переваги масштабування щодо витрат для їхнього data tier без складності керування станом бази даних під час циклів зупинки та перезапуску.

MicrocosmWorks розгортає комплексну спостережуваність масштабування, яка відстежує кількість інстансів, затримку подій масштабування, невдалі спроби масштабування та розрив між бажаною та фактичною потужністю в реальному часі за допомогою дашбордів Grafana або Datadog. Ми налаштовуємо багатоканальні сповіщення щодо збоїв масштабування, тривалої високої завантаженості, що свідчить про те, що верхня межа масштабування занадто низька, та аномалій витрат, які вказують на неконтрольоване масштабування. Наші ранербуки включають автоматизоване усунення для поширених типів збоїв, таких як досягнення лімітів інстансів хмарного провайдера або виникнення помилок недостатньої потужності в конкретних зонах доступності.