동영상 처리 플랫폼이 성장함에 따라, 컴퓨팅 집약적인 워크로드를 처리하는 복잡성 또한 증가했습니다. 동영상 정규화, 오디오 추출, 전사, 오버레이 생성 및 렌더링과 같은 작업은 특히 여러 프로젝트가 동시에 처리될 때 상당한 CPU 및 메모리 리소스를 소모할 수 있습니다.
이러한 워크로드를 메인 애플리케이션 인프라 내에서 직접 실행하면 리소스 경합, 처리 시간 지연, 제한된 확장성으로 이어질 수 있습니다. 수요가 증가함에 따라, 핵심 애플리케이션 서비스의 성능에 영향을 주지 않으면서 처리 워크로드를 관리할 수 있는 더 유연하고 효율적인 방법이 필요했습니다.
이러한 과제를 해결하기 위해, 저희는 AWS Elastic Container Service (ECS)를 컨테이너 오케스트레이션 플랫폼으로 채택했습니다.
AWS ECS를 통해 백그라운드 처리 활동을 효과적으로 관리하고, 수요에 따라 리소스를 확장하며, 별도의 컨테이너에서 처리 워크로드를 실행할 수 있습니다. 이를 통해 저희 플랫폼은 다양한 워크로드를 처리하면서도 성능, 안정성 및 운영 효율성을 유지할 수 있습니다.
이 블로그에서는 AWS ECS가 무엇인지, 왜 저희가 AWS ECS를 선택했는지, 그리고 AWS ECS가 동영상 처리 인프라를 확장하는 데 어떻게 도움이 되는지 살펴보겠습니다.
동영상 처리 확장 과제
동영상 처리 워크로드는 본질적으로 리소스 집약적이며 변동성이 높습니다.
단일 프로젝트에는 다음이 포함될 수 있습니다:
- 동영상 정규화
- 오디오 추출
- 음성-텍스트 전사
- 오버레이 생성
- 여러 출력 변형 렌더링
- 고해상도 미디어 자산 처리
프로젝트 수가 증가함에 따라, 인프라 요구 사항이 빠르게 증가할 수 있습니다.
우리는 다음을 수행할 수 있는 솔루션이 필요했습니다:
- 필요할 때 처리 리소스 확장
- 한 번에 여러 작업 관리
- 리소스 집약적 작업을 사용자 대면 서비스에서 격리
- 피크 수요 시 안정성 향상
- 인프라 활용 최적화
- 운영 오버헤드 절감
장기 실행 서버에만 의존하는 전통적인 접근 방식은 워크로드가 증가함에 따라 비효율적이 될 수 있습니다. 우리는 실제 수요에 따라 리소스를 동적으로 할당할 수 있는 시스템을 원했습니다.
AWS ECS란 무엇인가요?
AWS Elastic Container Service (ECS)는 조직이 컨테이너화된 애플리케이션을 대규모로 실행하고 관리할 수 있도록 하는 완전 관리형 컨테이너 오케스트레이션 서비스입니다.
ECS는 다음을 자동화하는 데 도움이 됩니다:
- 컨테이너 배포
- 작업 스케줄링
- 리소스 할당
- 서비스 관리
- 워크로드 확장
- 상태 모니터링
서버 및 애플리케이션 프로세스를 수동으로 관리하는 대신, ECS는 컨테이너화된 워크로드를 효율적으로 실행하기 위한 중앙 집중식 플랫폼을 제공합니다.
우리가 AWS ECS를 선택한 이유
주문형 확장성
ECS의 가장 큰 장점 중 하나는 수요에 따라 워크로드를 확장하는 능력입니다.
동영상 처리 요구 사항은 하루 종일 크게 변동될 수 있습니다. 일부 기간에는 소수의 처리 작업만 포함될 수 있지만, 다른 기간에는 대량의 렌더링 및 미디어 처리 작업을 동시에 처리해야 할 수 있습니다.
ECS를 사용하면 수요 증가 시 추가 처리 작업을 동적으로 시작하고, 워크로드가 감소하면 축소할 수 있습니다.
이러한 유연성은 불필요한 리소스를 영구적으로 할당하지 않고도 성능을 유지하는 데 도움이 됩니다.
워크로드 격리
동영상 처리를 포함하는 작업은 자주 많은 CPU 및 메모리를 필요로 합니다.
별도의 컨테이너에서 워크로드를 실행함으로써 ECS는 핵심 애플리케이션 서비스에서 처리 작업을 격리할 수 있도록 합니다.
이러한 분리는 다음을 돕습니다:
- 시스템 안정성 향상
- 리소스 경합 방지
- 문제 해결 간소화
- 내결함성 향상
처리 작업에 문제가 발생하더라도 플랫폼의 나머지 부분에 직접적인 영향을 미치지 않습니다.
효율적인 리소스 활용
모든 처리 워크로드가 동일한 양의 컴퓨팅 파워를 필요로 하지는 않습니다.
일부 작업은 경량이지만, 다른 작업은 집중적인 렌더링 및 미디어 처리를 포함합니다.
ECS를 사용하면 워크로드 요구 사항에 따라 리소스를 할당하여 인프라 리소스가 효율적이고 효과적으로 사용되도록 보장할 수 있습니다.
이는 성능과 운영 비용 모두를 최적화하는 데 도움이 됩니다.
운영 복잡성 감소
수많은 처리 서비스를 수동으로 관리하는 것은 빠르게 어려워질 수 있습니다.
ECS는 다음을 처리하여 인프라 관리를 간소화합니다:
- 컨테이너 스케줄링
- 작업 실행
- 상태 확인
- 리소스 관리
- 서비스 복구
이를 통해 저희 기술 스태프는 인프라 유지 보수 대신 플랫폼 개선에 집중할 수 있습니다.
원활한 AWS 통합
ECS는 저희 인프라의 일부인 다른 AWS 서비스와 자연스럽게 통합됩니다.
이는 일관된 클라우드 네이티브 아키텍처를 유지하면서 간소화된 배포, 모니터링, 보안 및 운영 워크플로우를 가능하게 합니다.
우리가 AWS ECS를 사용하는 방법
AWS ECS는 저희 동영상 처리 파이프라인에서 핵심적인 역할을 합니다.
모든 처리 작업을 주 애플리케이션 서버에서 직접 실행하는 대신, ECS가 관리하는 컨테이너화된 처리 작업을 통해 리소스 집약적 워크로드를 실행합니다.
동영상 정규화
업로드된 동영상은 다운스트림 워크플로우로 진입하기 전에 종종 준비 과정이 필요합니다.
ECS는 이러한 정규화 작업을 독립적으로 처리하여 후속 작업에 일관된 입력 형식을 보장하는 데 도움이 됩니다.
오디오 추출 및 전사
오디오 추출 및 전사는 특히 여러 동영상을 동시에 처리할 때 컴퓨팅 집약적일 수 있습니다.
ECS 내에서 이러한 작업을 실행하면 수요 증가에 따라 처리 용량을 확장할 수 있습니다.
렌더링 워크로드
동영상 렌더링은 저희 워크플로우에서 가장 리소스 집약적인 단계 중 하나입니다.
ECS를 활용하여 렌더링 작업을 독립적으로 실행하고, 렌더링 작업을 위해 특별히 리소스를 할당할 수 있습니다.
이는 수요가 많은 기간에도 일관된 성능을 유지하는 데 도움이 됩니다.
백그라운드 처리
많은 작업이 백그라운드에서 비동기적으로 발생합니다.
예시는 다음과 같습니다:
- 미디어 준비
- 자산 처리
- 워크플로우 실행
- 후처리 작업
ECS는 이러한 백그라운드 워크로드를 대규모로 실행하기 위한 안정적인 환경을 제공합니다.
우리의 컨테이너화된 처리 워크플로우
우리의 처리 워크플로우의 간소화된 버전은 다음과 같습니다:
1단계: 프로젝트 제출
사용자는 동영상 자산 및 처리 요구 사항을 포함하는 프로젝트를 제출합니다.
2단계: 작업 생성
플랫폼은 필요한 처리 작업을 식별하고 적절한 워크로드를 생성합니다.
3단계: ECS 작업 실행
ECS는 각 작업에 필요한 리소스와 함께 컨테이너화된 처리 작업을 시작합니다.
4단계: 처리 및 렌더링
작업은 정규화, 전사, 렌더링 및 기타 처리 활동을 수행합니다.
5단계: 완료 및 전달
처리가 완료되면, 결과물은 저장되어 사용자에게 제공됩니다.
이 워크플로우를 통해 우리는 확장성과 안정성을 유지하면서 워크로드를 효율적으로 처리할 수 있습니다.
사용자를 위한 이점
우리가 내리는 인프라 결정은 사용자 경험에 직접적인 영향을 미칩니다.
AWS ECS를 활용하여 다음을 제공할 수 있습니다:
더 빠른 처리
동적 리소스 할당은 처리 및 렌더링 시간을 단축하는 데 도움이 됩니다.
향상된 확장성
플랫폼은 중대한 아키텍처 변경 없이 증가하는 수요를 처리할 수 있습니다.
일관된 성능
워크로드 격리는 피크 활동 중에도 플랫폼 응답성을 유지하는 데 도움이 됩니다.
향상된 안정성
컨테이너화된 워크로드는 내결함성을 향상하고 처리 실패의 영향을 줄입니다.
더 나은 리소스 효율성
리소스는 워크로드 요구 사항에 따라 할당되어 성능과 비용 최적화에 도움을 줍니다.
앞으로의 전망
플랫폼이 계속 발전함에 따라 처리 요구 사항은 계속 증가할 것입니다. 더 큰 프로젝트, 추가 워크플로우 및 증가하는 사용자 활동을 지원하려면 효율적으로 확장할 수 있는 인프라가 필요합니다.
AWS ECS는 이러한 진화하는 요구 사항을 지원하는 데 필요한 유연성과 오케스트레이션 기능을 제공합니다. 컨테이너화된 처리 워크로드를 지속적으로 활용함으로써, 저희는 성능, 안정성 및 운영 효율성을 유지하면서 변화하는 수요에 적응할 수 있습니다.
결론
동영상 처리 워크로드를 확장하려면 유연하고 안정적을 유지하면서 리소스 집약적 작업을 효율적으로 처리할 수 있는 인프라가 필요합니다.
AWS ECS는 컨테이너화된 워크로드를 대규모로 실행하고 관리할 수 있도록 해주며, 현대적인 동영상 처리 파이프라인을 지원하는 데 필요한 오케스트레이션, 확장성 및 워크로드 격리를 제공합니다.
ECS를 아키텍처의 핵심 부분으로 활용함으로써, 우리는 워크로드를 더욱 효율적으로 처리하고, 시스템 안정성을 향상하며, 플랫폼이 성장함에 따라 사용자에게 고성능 경험을 지속적으로 제공할 수 있습니다.
