データ集約型プラットフォームアーキテクチャ

MicrocosmWorksは階層型ストレージアーキテクチャを実装しており、ホットデータはClickHouseやApache Druidのような高速クエリエンジンに保存され、ウォームデータはTrinoやAthenaを介してクエリされるオブジェクトストレージの列形式に移動し、コールドデータはライフサイクルポリシーを持つコスト最適化されたストレージクラスにアーカイブされます。当社は、アップストリームシステムがプラットフォームを圧倒するのを防ぐバックプレッシャー制御を備えたストリーミング取り込みと、データ量が増加してもクエリパフォーマンスを一定に保つインテリジェントなパーティショニングおよびコンパクション戦略を組み合わせて使用しています。この階層型アプローチは、すべてのデータを単一の高性能層に保持する場合と比較して、通常ストレージコストを70～85%削減します。

MicrocosmWorksは、貴社の整合性要件に応じて、lambdaまたはkappaアーキテクチャを構築します。lambdaは、サービングレイヤーで結合される別々のバッチおよびストリーミングパイプラインを使用する一方、kappaはすべてをストリームとして処理し、異なるクエリパターンに対応するビューを実体化します。ほとんどのクライアントには、リアルタイムサービングストア（Redis、Druid）とバッチ最適化されたlakehouse（Delta Lake、Apache Iceberg）の両方に書き込む、Apache FlinkまたはSpark Structured Streamingを用いた統合ストリーミングアプローチを推奨しています。これにより、従来のlambdaアーキテクチャにおける二重パイプラインのメンテナンス負担が解消され、サブ秒のダッシュボードクエリと複数時間にわたる分析ワークロードの両方をサポートできます。

MicrocosmWorksは、Great Expectationsやdbtテストなどのツールを使用して、スキーマ適合性、null率、値の分布、参照整合性、鮮度をすべての変換境界で検証する、データ品質を第一級のパイプラインステージとして実装しています。私たちは、問題を即座に表面化させるデータ品質ダッシュボードを構築し、アップストリームのデータ品質が許容可能な閾値を下回った際にダウンストリーム処理を停止させる自動化されたサーキットブレーカーを導入しています。これにより、不正なデータがプラットフォーム全体に伝播するのを防ぎます。プロデューサーとコンシューマー間のすべてのデータ契約は、完全性、正確性、適時性に関するSLOを持つバージョン管理されたスキーマでコード化されています。

MicrocosmWorksは、共有インフラストラクチャ（ingestion pipelines、compute clusters、storage layers、およびquery engines）を所有する3〜5名のエンジニアからなるプラットフォームチームを推奨しています。一方、ドメインチームは、プラットフォームのセルフサービス利用者として、特定のデータモデル、変換、および品質ルールを所有します。当社は、naming conventions、testing practices、およびdeployment patternsに関する共通基準を持つdata engineering guildモデルの確立を支援し、プラットフォームが一貫性のない実装の寄せ集めになるのを防ぎます。完全なプラットフォームチームを構築する準備ができていない組織向けに、MicrocosmWorksは、契約に知識移転が組み込まれたmanaged platform engineeringを1時間あたり$15〜$45で提供しています。

MicrocosmWorks は、デュアルライト移行を実行します。これにより、新しいデータはレガシーウェアハウスと最新プラットフォームの両方に同時に流れ、自動化された照合ジョブが両システム間のクエリ結果を比較して正確性を検証し、利用者への切り替えを行う前に確認します。レポートとダッシュボードは優先順位に基づいて移行し、最もアクセス頻度の高い資産から着手し、ロングテールまで対応します。各移行は、それらのレポートを日常的に使用する事業責任者によって検証されます。このアプローチは、中規模のデータプラットフォームの場合、通常3～6ヶ月かかり、移行期間全体を通して、事業上の意思決定に全く影響を与えないことを保証します。