イベント駆動型マイクロサービス

MicrocosmWorksは、Apache KafkaやAmazon EventBridgeのような永続的なメッセージブローカーを備えたイベント駆動型システムを設計しており、コンシューマーがイベントを正常に処理するまでイベントを保持することで、障害発生時のデータ損失を防ぎます。障害が発生したマイクロサービスがイベントパイプライン全体をブロックしないよう、デッドレターキュー、指数バックオフ再試行ポリシー、およびサーキットブレーカーを実装しています。ダウンストリームサービスが復旧すると、手動介入なしで未処理のイベントに自動的に追いつきます。

イベント駆動型通信は、サービスが即時の応答を必要としない場合、デプロイメントサイクルを分離する必要がある場合、または単一のアクションが複数のダウンストリームプロセスをトリガーする場合に優れた選択肢です。MicrocosmWorksは通常、注文処理、通知パイプライン、分析データの取り込みにイベント駆動型パターンを推奨しており、一方、秒未満の応答を必要とするユーザー向けクエリには同期 API を維持しています。私たちが構築する多くの本番システムでは、同期読み込みと非同期書き込みを組み合わせたハイブリッドアプローチを採用しています。

MicrocosmWorksは、Kafkaトピックでパーティションキーベースの順序付けを使用し、特定のエンティティ（特定の注文やユーザーなど）に関連するすべてのイベントが同じコンシューマーインスタンスによって順序通りに処理されることを保証しています。エンティティをまたいだ順序付けが必要なシナリオでは、冪等性のあるイベントハンドラを備えたsaga orchestratorsを実装し、順不同のメッセージを安全に再処理できるようにしています。また、イベントペイロードにvector clocksやsequence numbersを埋め込むことで、コンシューマーが順序付けの競合を検出し、解決できるようにしています。

MicrocosmWorksは、compensating transactionsを伴うSaga patternを実装しています。これにより、各マイクロサービスはローカルなtransactionを完了した後にdomain eventsを発行し、ダウンストリームのサービスがそれに応じて反応するか、または障害時にrollback compensationsをトリガーします。私たちはこれを、ビジネスデータとともにイベントをローカルなoutbox tableにアトミックに書き込み、その後message brokerに確実に発行するoutbox patternと組み合わせています。これにより、two-phase commitsのパフォーマンスと信頼性のペナルティなしにeventual consistencyを実現します。

MicrocosmWorksは、OpenTelemetryを使用して、すべてのイベントに相関IDと分散トレーシングヘッダーを組み込んでいます。これにより、JaegerやGrafana Tempoのようなツールで、参加するすべてのマイクロサービスにわたるビジネス取引の完全なライフサイクルを可視化できます。また、サービスごとのスループット、コンシューマーラグ、処理レイテンシを表示するリアルタイムのイベントフローダッシュボードも構築しており、ボトルネックを特定しやすくしています。当社の標準的なオブザーバビリティスタックには、イベントメタデータを含む構造化ロギングが含まれており、単一のイベントでもプロデューサーからすべてのコンシューマーまで数秒で追跡できるようにしています。