실시간 스트리밍 시스템

MicrocosmWorks는 multi-consumer replay, 장기 retention periods, cross-cloud portability가 필요한 팀에게 Kafka를 추천합니다. Kafka의 log-based architecture는 무제한의 consumer groups가 동일한 데이터 스트림을 독립적으로 다시 읽는 것을 지원하기 때문입니다. Kinesis는 AWS ecosystem에 긴밀하게 통합된 fully managed service를 원하고 데이터 retention 요구 사항이 7일 미만이며 consumer applications가 10개 미만일 때 더 나은 선택입니다. 저희는 올바른 권장 사항을 제공하기 위해 architecture assessment 중에 고객의 특정 요구 사항—throughput, retention, consumer patterns, operational maturity—을 평가합니다.

MicrocosmWorks는 멱등성(idempotent) 프로듀서, 트랜잭션(transactional) 소비자, 그리고 Redis와 같은 빠른 조회 캐시에 저장된 이벤트 지문(event fingerprints)을 사용하는 중복 제거(deduplication) 계층의 조합을 통해 exactly-once 시맨틱을 구현합니다. Kafka 기반 시스템의 경우, 우리는 소비자 오프셋(consumer offsets)과 프로듀서 쓰기(producer writes)를 원자적으로 커밋하는 Kafka의 내장 transactional API를 활용하며, 반면 사용자 정의 스트리밍 파이프라인의 경우 소비자 측에서 중복 제거(deduplication)를 통해 outbox pattern을 구현합니다. 우리는 안전망(safety net)으로서 소비자를 항상 멱등성(idempotent)을 가지도록 설계하여, exactly-once 메커니즘에 엣지 케이스(edge-case) 실패가 발생하더라도 이벤트 재처리(reprocessing)는 동일한 결과를 생성하도록 합니다.

MicrocosmWorks는 일반적으로 ingestion, processing, 그리고 sink writing을 포함하는 스트리밍 파이프라인에 대해 50-200ms의 종단 간(end-to-end) 지연 시간(레이턴시)을 제공하며, Apache Flink 또는 Kafka Streams와 같은 인메모리 스트림 프로세서를 사용하는 더 간단한 passthrough 또는 filtering 워크로드의 경우 10ms 미만도 달성 가능합니다. 가장 큰 지연 시간(레이턴시) 발생 요인은 일반적으로 네트워크 홉, 직렬화 오버헤드, 그리고 싱크 쓰기 배치(batching)이며, 이는 고객의 지연 시간(latency)과 처리량(throughput) 간의 트레이드오프 선호도에 따라 조정합니다. 아키텍처 설계 시, 저희는 파이프라인 단계별로 명시적인 지연 시간(latency) SLO를 설정하고, 프로덕션 환경에서 p50, p95, p99 지연 시간(레이턴시)을 추적하는 모니터링 대시보드를 구축합니다.

MicrocosmWorks는 역방향 및 전방향 호환성 규칙을 적용하는 스키마 레지스트리(일반적으로 Confluent Schema Registry 또는 AWS Glue Schema Registry)를 구현하여, 생산자가 기존 소비자를 손상시키지 않고 데이터 형식을 발전시킬 수 있도록 보장합니다. 저희는 명시적인 스키마 버전 관리를 사용하는 Avro 또는 Protobuf 직렬화를 이용하여, 모든 메시지가 자체 설명적이며 메시지가 생성된 이후 스키마가 변경되었더라도 역직렬화될 수 있도록 합니다. 저희 CI/CD 파이프라인에는 제안된 스키마 변경이 다운스트림 소비자를 손상시킬 경우 배포를 차단하는 자동화된 스키마 호환성 검사가 포함됩니다.

MicrocosmWorks는 프로덕션 스트리밍 플랫폼을 안정적으로 유지 관리하기 위해 분산 시스템, 스트림 처리 프레임워크, 인프라 자동화 경험을 가진 최소 2~3명의 엔지니어를 권장합니다. 이러한 전문 지식을 사내에서 구축하기를 원치 않는 기업을 위해, 저희는 시간당 $15~$40의 비용으로 관리형 스트리밍 플랫폼 지원을 제공합니다. 이를 통해 저희 팀이 클러스터 운영, 성능 튜닝 및 사고 대응을 처리하는 동안, 고객사의 개발자는 스트림 처리 애플리케이션 구축에 집중할 수 있습니다. 저희는 또한 4-8주간의 참여를 통해 기존 엔지니어링 팀의 Kafka, Flink 또는 Kinesis 운영 역량을 향상시키는 교육 프로그램을 제공합니다.