AI/ML パイプラインアーキテクチャ

MicrocosmWorksは、MLflowやWeights & Biasesといったツールを使用してモデルレジストリパターンを実装しており、すべてのモデルバージョンを、その学習データのスナップショット、ハイパーパラメータ、評価指標とともに追跡します。当社のデプロイメントパイプラインはカナリアリリースをサポートしており、新しいモデルがトラフィックのごく一部にサービスを提供する間、主要なパフォーマンス指標を監視し、精度やレイテンシが定義されたしきい値を超えて劣化した場合に備えて自動ロールバックトリガーを備えています。これにより、パフォーマンスの低いモデルが影響を与えるのは、制御されたごく一部のユーザーに留まり、それ以上の影響は与えないことが保証されます。

MicrocosmWorksは、トレーニングとサービングのインフラストラクチャを分離し、アーティファクトストアを介して接続されたMLパイプラインを設計しています。これにより、再学習ジョブは一時的なGPUクラスター上で実行され、本番の推論エンドポイントとリソースを競合することはありません。データドリフトの検出時や固定スケジュールで再学習をトリガーするために、Kubeflow PipelinesやApache Airflowのようなオーケストレーションツールを使用します。自動化されたバリデーションゲートにより、再学習されたモデルは、現在のバージョンよりも優れた性能を発揮した場合にのみ本番環境に昇格されます。このアーキテクチャにより、モデルはサービングのダウンタイムなしに継続的に改善されます。

MicrocosmWorksは、すべての本番MLパイプラインにドリフト検出機能を組み込んでいます。これは、特徴量分布のためのKolmogorov-Smirnov testのような統計的テストや、グラウンドトゥルースラベルが利用可能になり次第、それらに対する予測精度を追跡するパフォーマンス監視ダッシュボードを利用して行われます。ドリフトが設定されたしきい値を超えると、当社のパイプラインは最新のデータで自動的に再トレーニングをトリガーするか、ドリフトパターンが予期せぬものである場合は手動レビューのためにチームにアラートを送信します。このプロアクティブなアプローチにより、ダウンストリームのビジネス指標を通じてモデルの劣化が気付かれるよりも数週間早く検知できます。

MicrocosmWorksは、チームを1時間あたり15ドルから45ドルで請求し、エンドツーエンドのMLパイプラインを構築します。データ取り込み、特徴量エンジニアリング、トレーニングオーケストレーション、モデルレジストリ、サービングインフラストラクチャを網羅する典型的なプロダクションパイプラインは、データ複雑性およびコンプライアンス要件に応じて10〜20週間かかります。当社は、トレーニングワークロードにスポットインスタンスを使用し、実際の推論需要に基づいたオートスケーリングによりサービングインフラストラクチャを適切にサイズ調整することで、コストを削減します。すべてのエンゲージメントは、本格的な構築が始まる前に、詳細なアーキテクチャ計画とコスト予測を作成する2週間のディスカバリースプリントから開始されます。

MicrocosmWorksは、各トレーニング実行におけるコードバージョン、データセットハッシュ、環境設定、ランダムシード、ハイパーパラメータを自動的に記録する実験追跡インフラストラクチャを構築することで、過去のあらゆる実験を数ヶ月後でも完全に再現できるようにしています。当社は、依存関係のバージョンを固定したトレーニング環境をコンテナ化し、GitとDVC（Data Version Control）を併用して、コード変更と連携してデータセットをバージョン管理します。これにより、あるデータサイエンティストのマシンでは機能するものの、チームでは再現できないという一般的な問題を解消します。