이벤트 기반 마이크로서비스

MicrocosmWorks는 Apache Kafka 또는 Amazon EventBridge와 같은 내구성 있는 메시지 브로커를 사용하여 이벤트 기반 시스템을 설계합니다. 이 브로커는 컨슈머가 이벤트를 성공적으로 처리할 때까지 이벤트를 보존하여, 중단 중에도 데이터 손실이 없도록 보장합니다. 저희는 장애가 발생한 마이크로서비스가 전체 이벤트 파이프라인을 차단하지 않도록 데드 레터 큐, 지수 백오프 재시도 정책, 그리고 서킷 브레이커를 구현합니다. 다운스트림 서비스가 복구되면, 수동 개입 없이 미처리 이벤트를 자동으로 따라잡습니다.

이벤트 드리븐 통신은 서비스가 즉각적인 응답을 필요로 하지 않을 때, 배포 주기를 분리해야 할 때, 또는 단일 작업이 여러 다운스트림 프로세스를 트리거할 때 더 나은 선택입니다. MicrocosmWorks는 일반적으로 주문 처리, 알림 파이프라인 및 분석 수집에 이벤트 드리븐 패턴을 권장하며, 서브세컨드(sub-second) 응답을 요구하는 사용자 대면 쿼리에는 동기 API를 유지합니다. 우리가 구축하는 많은 프로덕션 시스템은 동기 읽기(synchronous reads)와 비동기 쓰기(asynchronous writes)를 사용하는 하이브리드 접근 방식을 사용합니다.

MicrocosmWorks는 특정 엔티티(예: 특정 주문 또는 사용자)에 대한 모든 이벤트가 동일한 컨슈머 인스턴스에 의해 순차적으로 처리되도록 보장하기 위해 Kafka topics에서 파티션 키 기반 순서화를 사용합니다. 교차 엔티티 순서화가 필요한 시나리오의 경우, 우리는 순서가 맞지 않는 메시지를 안전하게 재처리할 수 있는 멱등성 이벤트 핸들러(idempotent event handlers)를 가진 saga orchestrators를 구현합니다. 또한 컨슈머가 순서 충돌을 감지하고 조정할 수 있도록 이벤트 페이로드(event payloads)에 vector clocks 또는 sequence numbers를 포함시킵니다.

MicrocosmWorks는 Saga pattern을 compensating transactions와 함께 구현합니다. 여기서 각 microservice는 자체 local transaction을 완료한 후 domain events를 발행하며, 다운스트림 서비스는 이에 따라 반응하거나 실패 시 rollback compensations를 트리거합니다. 저희는 이를 outbox pattern과 결합하여, business data와 함께 local outbox table에 이벤트를 원자적으로 작성한 다음, message broker로 안정적으로 발행합니다. 이를 통해 two-phase commits의 성능 및 안정성 저하 없이 eventual consistency를 달성합니다.

MicrocosmWorks는 OpenTelemetry를 사용하여 모든 이벤트를 상관 ID(correlation IDs)와 분산 추적 헤더(distributed tracing headers)로 계측하며, 이를 통해 우리는 Jaeger 또는 Grafana Tempo와 같은 도구에서 모든 참여 마이크로서비스 전반에 걸쳐 비즈니스 트랜잭션(business transaction)의 전체 라이프사이클(lifecycle)을 시각화할 수 있습니다. 또한 우리는 서비스별 처리량(throughput), 컨슈머 지연(consumer lag) 및 처리 지연 시간(processing latency)을 보여주는 실시간 이벤트 흐름 대시보드를 구축하여 병목 현상(bottlenecks)을 쉽게 찾아낼 수 있습니다. 우리의 표준 관측 가능성 스택(observability stack)은 이벤트 메타데이터(event metadata)와 함께 구조화된 로깅(structured logging)을 포함하여, 모든 단일 이벤트를 생산자(producer)부터 모든 컨슈머(consumer)까지 몇 초 안에 추적할 수 있습니다.