데이터 집약적 플랫폼 아키텍처

MicrocosmWorks는 계층형 스토리지 아키텍처를 구현합니다. 여기서 핫 데이터는 ClickHouse 또는 Apache Druid와 같은 빠른 쿼리 엔진에 저장되고, 웜 데이터는 Trino 또는 Athena를 통해 쿼리되는 객체 스토리지의 컬럼형 형식으로 이동하며, 콜드 데이터는 수명 주기 정책이 적용된 비용 최적화된 스토리지 클래스에 보관됩니다. 저희는 업스트림 시스템이 플랫폼에 과부하를 주는 것을 방지하는 역압 제어(backpressure controls)를 사용하는 스트리밍 수집과, 데이터 볼륨이 증가하더라도 쿼리 성능을 일관되게 유지하는 지능형 파티셔닝 및 압축 전략을 결합합니다. 이러한 계층형 접근 방식은 모든 데이터를 단일 고성능 계층에 보관하는 것에 비해 일반적으로 스토리지 비용을 70-85% 절감합니다.

MicrocosmWorks는 고객의 일관성 요구사항에 따라 람다(lambda) 또는 카파(kappa) 아키텍처를 구축합니다. 람다는 서빙 계층에서 병합되는 별도의 배치 및 스트리밍 파이프라인을 사용하는 반면, 카파는 모든 것을 스트림으로 처리하고 다양한 쿼리 패턴을 위한 뷰를 구체화합니다. 대부분의 고객에게는 Apache Flink 또는 Spark Structured Streaming을 활용한 통합 스트리밍 접근 방식을 권장합니다. 이는 실시간 서빙 스토어(Redis, Druid)와 배치 최적화된 레이크하우스(Delta Lake, Apache Iceberg) 모두에 데이터를 기록합니다. 이 방식은 기존의 람다 아키텍처가 가진 이중 파이프라인 유지보수 부담을 없애면서 초 단위 미만의 대시보드 쿼리와 여러 시간 소요되는 분석 워크로드 모두를 지원합니다.

MicrocosmWorks는 모든 변환 경계에서 스키마 준수, null 값 비율, 값 분포, 참조 무결성 및 최신성을 검증하는 Great Expectations 또는 dbt 테스트와 같은 도구를 사용하여 데이터 품질을 일급 파이프라인 스테이지로 구현합니다. 우리는 문제가 즉시 나타나는 데이터 품질 대시보드를 구축하고, 업스트림 데이터 품질이 허용 가능한 임계값 미만으로 떨어질 때 다운스트림 처리를 중단시켜 잘못된 데이터가 플랫폼을 통해 전파되는 것을 방지하는 자동화된 회로 차단기를 구축합니다. 생산자와 소비자 간의 모든 데이터 계약은 완전성, 정확성 및 적시성에 대한 SLOs와 함께 버전 관리되는 스키마에 코딩됩니다.

MicrocosmWorks는 3-5명의 엔지니어로 구성된 플랫폼 팀이 ingestion pipelines, compute clusters, storage layers, query engines과 같은 공유 인프라를 소유하고, 도메인 팀은 플랫폼의 셀프 서비스 소비자로서 자체적인 data models, transformations, quality rules를 소유하도록 권장합니다. 우리는 고객이 naming conventions, testing practices, deployment patterns에 대한 공유된 표준을 갖춘 data engineering guild 모델을 구축하여, 플랫폼이 일관성 없는 구현의 누더기가 되는 것을 방지하도록 돕습니다. 완전한 플랫폼 팀을 구축할 준비가 되지 않은 조직을 위해, MicrocosmWorks는 프로젝트에 knowledge transfer를 포함한 시간당 $15-$45의 비용으로 managed platform engineering을 제공합니다.

MicrocosmWorks는 새로운 data가 레거시 warehouse와 현대 platform으로 동시에 흐르도록 하는 dual-write migrations을 실행하며, consumers를 전환하기 전에 두 systems 간의 query results를 비교하여 정확성을 검증하는 automated reconciliation jobs을 포함합니다. 저희는 가장 많이 액세스되는 assets부터 long tail까지 처리하며 reports 및 dashboards를 우선순위에 따라 마이그레이션하며, 각 migration은 해당 reports를 매일 사용하는 business owners가 검증합니다. 이 접근 방식은 중간 규모의 data platforms의 경우 일반적으로 3-6개월이 소요되며 migration 전반에 걸쳐 비즈니스 의사 결정에 전혀 중단이 없도록 보장합니다.