リアルタイムストリーミングシステム

MicrocosmWorksは、マルチコンシューマリプレイ、長期間のデータ保持、およびクロスクラウドポータビリティを必要とするチームにKafkaを推奨します。これは、そのログベースのアーキテクチャが無制限のコンシューマグループが同じデータストリームを個別に再読み込みすることをサポートしているためです。Kinesisは、AWSエコシステムと密接に統合されたフルマネージドサービスを希望し、データ保持期間が7日未満で、コンシューマアプリケーションが10未満である場合に、より良い選択肢です。当社は、適切な推奨を行うため、アーキテクチャ評価中にお客様の特定の要件（スループット、データ保持期間、コンシューマパターン、運用成熟度）を評価します。

MicrocosmWorksは、冪等なプロデューサー、トランザクションコンシューマー、およびRedisのような高速ルックアップキャッシュに保存されたイベントフィンガープリントを使用する重複排除レイヤーの組み合わせを通じて、exactly-onceセマンティクスを実装しています。Kafkaベースのシステムの場合、私たちはコンシューマーオフセットとプロデューサーの書き込みをアトミックにコミットするKafkaの組み込みトランザクションAPIを活用しています。一方、カスタムストリーミングパイプラインの場合、コンシューマー側での重複排除を伴うアウトボックスパターンを実装しています。私たちは常にコンシューマーが冪等になるようにセーフティネットとして設計しています。そのため、たとえexactly-onceメカニズムがエッジケースで失敗しても、イベントを再処理しても同じ結果が生成されます。

MicrocosmWorksは通常、インジェスト、処理、シンク書き込みを含むストリーミングパイプラインに対して、50〜200msのエンドツーエンドのレイテンシを実現します。Apache FlinkやKafka Streamsのようなインメモリのストリームプロセッサを使用する、よりシンプルなパススルーやフィルタリングのワークロードでは、10ms未満も達成可能です。最大のレイテンシ要因は通常、ネットワークホップ、シリアライゼーションオーバーヘッド、およびシンク書き込みのバッチ処理であり、これらはお客様のレイテンシとスループットのトレードオフに関するご要望に基づいて調整します。アーキテクチャ設計の際、パイプラインのステージごとに明示的なレイテンシSLOを設定し、本番環境におけるp50、p95、p99のレイテンシを追跡するモニタリングダッシュボードを構築します。

MicrocosmWorksは、既存のコンシューマーを破壊することなくプロデューサーがデータ形式を進化させられるよう、後方互換性および前方互換性のルールを強制するスキーマレジストリ（通常、Confluent Schema Registry または AWS Glue Schema Registry）を実装しています。当社では、明示的なスキーマバージョニングを備えたAvroまたはProtobufシリアライゼーションを使用しており、これにより各メッセージは自己記述的となり、生成されてからスキーマが変更された場合でもデシリアライズ可能です。当社のCI/CDパイプラインには、提案されたスキーマ変更がダウンストリームコンシューマーを破壊する可能性があれば、デプロイメントをブロックする自動化されたスキーマ互換性チェックが含まれています。

MicrocosmWorks は、本番ストリーミングプラットフォームを確実に維持するために、分散システム、ストリーム処理フレームワーク、インフラ自動化の経験を持つ最低2〜3名のエンジニアを推奨しています。この専門知識を社内で構築したくない企業向けには、当社のチームがクラスター運用、パフォーマンスチューニング、インシデント対応を処理し、お客様の開発者がストリーム処理アプリケーションの構築に集中できるように、1時間あたり$15〜$40でマネージドストリーミングプラットフォームサポートを提供しています。また、4〜8週間の期間にわたり、既存のエンジニアリングチームがKafka、Flink、またはKinesisの運用に関するスキルアップを図るトレーニングプログラムも提供しています。