マルチカメラ映像制作のためのAIを活用した発話者検出

MicrocosmWorksは、各カメラフィードから抽出された口の動きの視覚的特徴と音声信号をcross-attention layersを使用して関連付けるマルチモーダル融合モデルを開発しました。このモデルは、可視の各顔に対してフレームごとの話者確率スコアを出力し、複数の参加者が同時に話している場合でも94%の精度を達成します。

MicrocosmWorksは、NVIDIA T4 GPUs上でTensorRTアクセラレーションを用いて推論パイプラインを最適化し、フレームキャプチャから話者識別まで150ms未満のエンドツーエンドの遅延を達成しました。この遅延は、一般的なカット遅延が300-500msであるライブ制作のスイッチングにおいて、許容範囲内に十分に収まっています。

MicrocosmWorksは、多様な遮蔽シナリオでモデルを訓練し、音声のみの信頼度スコアを使用して短時間の遮蔽中も話者追跡を維持する時間平滑化アルゴリズムを実装しました。視覚的な信頼度がしきい値を下回ると、システムはマルチマイクアレイからのビームフォーミングデータを使用して音源定位にフォールバックします。

MicrocosmWorksは、スピーカー検出出力を、ATEM SDKを介してBlackmagic ATEMと互換性があり、TriCasterシステム向けにはNewTek NDIに対応する標準のタリー/制御信号に変換するコンパニオン制御モジュールを構築しました。制作ディレクターは、システムを自動切り替えモードまたは、カットを実行せずに提案するアドバイザリーモードに設定できます。

MicrocosmWorksは、時給$30～$50の料金でカスタムAIビデオ分析システムを構築しています。モデルトレーニング、TensorRT最適化、およびスイッチャー統合を含むマルチカメラアクティブスピーカー検出システムは、通常500～750時間の開発時間を必要とします。モデルトレーニングフェーズではGPUコンピュートリソースが必要となり、通常プロジェクトコストに$2,000～$5,000を追加します。