온-오프 스케일링 아키텍처

MicrocosmWorks 고객들은 batch-heavy 또는 주기적인 workload를 가진 경우, on-off 스케일링 구현 후 일반적으로 60-80%의 클라우드 비용 절감을 경험합니다. 이는 compute resources가 24/7이 아닌 active processing windows 동안에만 실행되기 때문입니다. 당사는 실제 usage telemetry를 기반으로 scaling policies를 설계합니다. 예를 들어, 매일 4시간 동안 실행되는 data processing pipeline은 전체 24시간 대신 해당 4시간에 대해서만 비용을 지불합니다. 당사의 architects는 discovery phase 동안 귀사의 workload patterns를 분석하여, 어떠한 구현이 시작되기 전에 정확한 절감액을 예측해 드립니다.

사전 워밍업된 노드 풀의 컨테이너화된 애플리케이션의 콜드 스타트 시간은 2-3초 정도이며, 특수 GPU 인스턴스 또는 대규모 모델 로딩이 필요한 워크로드의 경우 5-10분까지 걸립니다. MicrocosmWorks는 이러한 지연을 최소화하기 위해 여러 기술을 사용합니다. 저희는 과거 트래픽 패턴과 예약된 이벤트를 활용하여 예상 수요가 발생하기 전에 리소스를 미리 준비하는 예측 스케일링을 구현하고, 지연 시간에 민감한 워크로드를 위해 컨테이너 이미지 사전 풀링 및 웜 풀 예약을 사용합니다. 콜드 스타트를 전혀 허용할 수 없는 애플리케이션의 경우, 수요가 발생하면 즉시 공격적으로 확장되는 최소한의 웜 베이스라인을 유지합니다.

MicrocosmWorks는 큐 깊이, CPU 사용률 또는 커스텀 애플리케이션 지표에 의해 트리거되는 공격적인 스케일업 정책과, 쓰레싱을 방지하기 위한 쿨다운 기간을 포함하는 더 점진적인 스케일다운 정책을 결합한 반응형 오토스케일링을 구현합니다. 우리는 스케일업 이벤트 동안 초과 프로비저닝 버퍼를 구성하여, 시스템이 한 번에 하나의 인스턴스씩 수요를 쫓기보다는 지속적인 성장을 예상하도록 합니다. 플래시 세일이나 바이럴 이벤트와 같이 정말 예측 불가능한 스파이크의 경우, 마케팅 또는 운영 캘린더의 이벤트 기반 트리거를 사용하여 용량을 사전 프로비저닝합니다.

MicrocosmWorks는 유휴 기간 동안 컴퓨팅을 0으로 스케일링하고 스토리지는 영구적이고 즉시 사용 가능하게 유지하는 Aurora Serverless, Neon 또는 PlanetScale과 같은 서버리스 데이터베이스 오퍼링을 사용하여 데이터베이스에 온오프 스케일링을 적용합니다. 서버리스 데이터베이스를 사용할 수 없는 상태 저장 워크로드의 경우, 쿼리 부하에 따라 복제본을 추가하고 제거하면서 최소한의 기본 인스턴스는 항상 실행 상태로 유지하는 읽기 복제본 스케일링을 구현합니다. 이 하이브리드 접근 방식은 종료 및 재시작 주기 동안 데이터베이스 상태를 관리하는 복잡성 없이 클라이언트에게 데이터 티어 스케일링의 비용 이점을 제공합니다.

MicrocosmWorks는 Grafana 또는 Datadog 대시보드를 사용하여 인스턴스 수, 스케일링 이벤트 지연 시간, 실패한 스케일링 시도, 그리고 원하는 용량과 실제 용량 간의 격차를 실시간으로 추적하는 포괄적인 스케일링 관측성(observability)을 배포합니다. 저희는 스케일링 실패, 스케일링 상한선이 너무 낮음을 시사하는 지속적인 높은 활용률, 그리고 폭주 스케일링(runaway scaling)을 나타내는 비용 이상(anomaly)에 대해 다중 채널 알림을 구성합니다. 저희 런북(runbook)에는 클라우드 공급업체 인스턴스 제한 도달 또는 특정 가용성 영역(availability zone)에서 용량 부족 오류 발생과 같은 일반적인 실패 모드에 대한 자동화된 문제 해결 기능이 포함되어 있습니다.