オンオフスケーリングアーキテクチャ

バッチ処理が多い、または定期的なワークロードを持つMicrocosmWorksのクライアントは、on-offスケーリングを導入後、通常60〜80%のクラウドコスト削減が見られます。これは、コンピューティングリソースが24時間365日ではなく、アクティブな処理ウィンドウ中にのみ実行されるためです。私たちは実際の使用状況のテレメトリに基づいてスケーリングポリシーを設計します。例えば、毎日4時間実行されるデータ処理パイプラインは、フル24時間ではなく、その4時間分のみを支払います。当社のアーキテクトがディスカバリーフェーズ中にお客様のワークロードパターンを分析し、実装が開始される前に正確な削減額を予測します。

プリウォームされたノードプール上のコンテナ化されたアプリケーションの場合、コールドスタート時間は2〜3秒ですが、特殊な GPU インスタンスや大規模なモデルの読み込みを必要とするワークロードの場合、5〜10分かかることがあります。MicrocosmWorks は、この遅延を最小限に抑えるためにいくつかの手法を使用します。私たちは、過去のトラフィックパターンとスケジュールされたイベントを使用して、予期される需要の前にリソースを起動する予測スケーリングを実装しています。また、レイテンシーに敏感なワークロードに対しては、コンテナイメージの事前プルとウォームプール予約を利用しています。いかなるコールドスタートも許容できないアプリケーションの場合、需要が発生した際に積極的にスケールアップする最小限のウォームベースラインを維持しています。

MicrocosmWorksは、キューの深さ、CPU使用率、またはカスタムアプリケーションメトリクスによってトリガーされる積極的なスケールアップポリシーと、スラッシングを回避するためのクールダウン期間を含むより段階的なスケールダウンポリシーを組み合わせた、リアクティブなオートスケーリングを実装しています。スケールアップイベント中には、システムが需要を1つのインスタンスずつ追いかけるのではなく、継続的な成長を予測できるように、オーバープロビジョニングバッファを設定します。フラッシュセールやバイラルイベントのような真に予測不能なスパイクに対しては、お客様のマーケティングまたは運用カレンダーからのイベント駆動型トリガーを使用して、事前にキャパシティをプロビジョニングします。

MicrocosmWorksは、Aurora Serverless、Neon、PlanetScaleのようなserverless databaseサービスを利用して、データベースにon-off scalingを適用します。これらのサービスは、アイドル時にcomputeをゼロにスケールし、ストレージは永続的で即座に利用可能な状態を保ちます。serverless databaseを利用できないstatefulなワークロードの場合、クエリ負荷に基づいてレプリカを追加・削除するread-replica scalingを実装し、最小限のprimary instanceを常に稼働させます。このハイブリッドアプローチにより、クライアントはシャットダウンおよび再起動サイクル中のデータベース状態管理の複雑さなしに、data tierのスケーリングによるコストメリットを得られます。

MicrocosmWorks は、Grafana または Datadog のダッシュボードを使用して、インスタンス数、スケーリングイベントのレイテンシー、失敗したスケーリング試行、およびリアルタイムでの目標キャパシティと実際のキャパシティのギャップを追跡する包括的なスケーリングの可観測性を展開しています。スケーリングの失敗、スケーリング上限が低すぎることを示唆する持続的な高使用率、および暴走スケーリングを示すコスト異常に対して、マルチチャネルアラートを設定します。当社のランブックには、クラウドプロバイダーのインスタンス制限に達する、または特定の可用性ゾーンでキャパシティ不足エラーに遭遇するなどの一般的な障害モードに対する自動修復が含まれています。