실시간 스트리밍 시스템

MicrocosmWorks는 multi-consumer replay, 긴 retention period, cross-cloud portability가 필요한 팀에 Kafka를 추천합니다. Kafka의 log-based architecture는 무제한 consumer group이 동일한 data stream을 독립적으로 다시 읽는 것을 지원하기 때문입니다. Kinesis는 AWS ecosystem과 긴밀하게 통합된 fully managed service를 원하고, data retention 요구 사항이 7일 미만이며 consumer application이 10개 미만일 때 더 나은 선택입니다. 저희는 적절한 권장 사항을 제시하기 위해 architecture assessment 과정에서 고객의 특정 요구 사항(throughput, retention, consumer pattern, operational maturity)을 평가합니다.

MicrocosmWorks는 idempotent producers, transactional consumers, 그리고 Redis와 같은 빠른 lookup cache에 저장된 event fingerprint를 사용하는 deduplication layer의 조합을 통해 exactly-once semantics를 구현합니다. Kafka-based system의 경우, consumer offset 및 producer write를 atomically commit하는 Kafka의 내장 transactional API를 활용하며, 맞춤형 streaming pipeline의 경우 consumer에서 deduplication이 적용된 outbox pattern을 구현합니다. 저희는 consumer가 idempotent하도록 항상 설계하여 안전망을 확보합니다. 따라서 exactly-once mechanism에 예외적인 오류가 발생하더라도 이벤트를 재처리하면 동일한 결과가 나옵니다.

MicrocosmWorks는 일반적으로 ingestion, processing, sink writing을 포함하는 streaming pipeline에 대해 50-200ms의 end-to-end latency를 제공하며, Apache Flink 또는 Kafka Streams와 같은 in-memory stream processor를 사용하는 간단한 passthrough 또는 filtering workload의 경우 10ms 미만의 latency를 달성할 수 있습니다. 가장 큰 latency contributor는 일반적으로 network hop, serialization overhead, 그리고 sink write batching이며, 이는 고객의 latency-versus-throughput tradeoff 선호도에 따라 조정됩니다. architecture design 과정에서 저희는 pipeline stage별 명시적인 latency SLO를 설정하고, production 환경에서 p50, p95, p99 latency를 추적하는 monitoring dashboard를 구축합니다.

MicrocosmWorks는 backward and forward compatibility rule을 적용하는 schema registry(일반적으로 Confluent Schema Registry 또는 AWS Glue Schema Registry)를 구현하여 producer가 기존 consumer를 손상시키지 않고 data format을 발전시킬 수 있도록 보장합니다. 저희는 명시적인 schema versioning을 사용하는 Avro 또는 Protobuf serialization을 사용하여 모든 message가 self-describing하며, 생성된 이후 schema가 변경되었더라도 deserialized될 수 있도록 합니다. 저희 CI/CD pipeline에는 제안된 schema 변경이 downstream consumer를 손상시킬 경우 deployment를 차단하는 자동화된 schema compatibility check가 포함됩니다.

MicrocosmWorks는 production streaming platform을 안정적으로 유지 관리하기 위해 distributed system, stream processing framework, infrastructure automation 경험이 있는 최소 2-3명의 engineer를 권장합니다. 이러한 전문 지식을 자체적으로 구축하기를 원치 않는 기업을 위해, 저희는 시간당 15-40달러의 managed streaming platform support를 제공하여 저희 팀이 cluster operation, performance tuning, incident response를 처리하는 동안 고객 개발자들은 stream processing application 구축에 집중할 수 있도록 합니다. 또한, 4-8주간의 engagement를 통해 고객의 기존 engineering team이 Kafka, Flink 또는 Kinesis operation에 대한 역량을 강화할 수 있는 training program도 제공합니다.