マルチカメラ映像制作のためのAIを活用した発話者検出
マルチカメラでのインタビューやパネルディスカッション撮影を手掛けるある映像制作会社は、複雑な映像の中から、特定の瞬間に誰が話しているかを自動で特定する方法を必要としていました。
プロジェクトを相談する
課題
マルチカメラコンテンツ（インタビュー、ポッドキャスト、パネルディスカッション）の制作において、編集者は何時間もの映像を手作業で早送りして発話者を特定し、カットを作成する必要がありました。このプロセスは以下の課題を抱えていました：
- 非常に時間がかかる（手動レビューではリアルタイムの10〜15倍）
- 話者特定においてヒューマンエラーが発生しやすい
- 迅速なコンテンツ制作を妨げるボトルネック
私たちのソリューション
当社は、音声信号と視覚信号を融合させることで発話者を自動的に検出する、ディープラーニングパイプラインを搭載したAIを活用した映像分析プラットフォームを構築しました。
アーキテクチャ
- Backend: MongoDBとRedisを備えたPython/Flask REST API
- ML Pipeline: TalkNetオーディオビジュアル融合モデル、顔検出のためのYOLOv8 Nano、文字起こしのためのOpenAI Whisper
- GPU Optimization: CUDAを用いたPyTorch、3倍の高速化を実現するフレーム間引き、バッチ処理
- Infrastructure: 分散MongoDBベースのロックを用いたマルチインスタンスデプロイメント
処理パイプライン
- Media Extraction - ビデオのダウンロードとオーディオ/ビデオ分離
- Scene Detection - PySceneDetectによるコンテンツベースの境界検出
- Face Detection - フレーム間引きを用いたYOLOv8 Nanoによる顔検出
- Face Tracking - フレーム間のIoUベースのリンク
- TalkNet Inference - 多期間スコアリング（1秒、2秒、4秒、6秒のウィンドウ）によるオーディオビジュアル融合
- Transcription - 単語レベルのタイムスタンプ付きWhisperベース音声認識
主要機能
- クロスモーダルアテンション（唇の動き＋音声）による発話者検出
- 堅牢な話者特定のための多期間信頼度スコアリング
- 単語レベルのタイムスタンプ付き自動文字起こし
- キャンセルサポート付きバックグラウンドジョブスケジューリング
- パフォーマンス監視とGPUメモリ管理
成果
技術スタック
caseStudyDetail.more ケーススタディ
その他の技術実装事例をご覧ください
リアルタイム動画オブジェクトトラッキングと自動センタリング・リカバリ
ある映像制作チームは、動画映像内の選択されたオブジェクトを追跡し、その移動に合わせてフレーム内で自動的に中央に維持できるツールを必要としていました。このツールには、スムーズなトランジション、複数のトラッキングアルゴリズムオプション、そしてトラッカーがターゲットを見失った際の自動リカバリ機能が求められました。
AIを活用した分析によるクロスプラットフォームモバイル動画編集
コンテンツクリエイターやメディアプロフェッショナルは、外出先でのよりスマートな編集ワークフローのために、AI駆動型分析の結果を活用できるモバイルファーストの動画編集ソリューションを必要としていました。
よくある質問
MicrocosmWorksは、各カメラフィードから抽出された口の動きの視覚的特徴と音声信号をcross-attention layersを使用して関連付けるマルチモーダル融合モデルを開発しました。このモデルは、可視の各顔に対してフレームごとの話者確率スコアを出力し、複数の参加者が同時に話している場合でも94%の精度を達成します。
MicrocosmWorksは、NVIDIA T4 GPUs上でTensorRTアクセラレーションを用いて推論パイプラインを最適化し、フレームキャプチャから話者識別まで150ms未満のエンドツーエンドの遅延を達成しました。この遅延は、一般的なカット遅延が300-500msであるライブ制作のスイッチングにおいて、許容範囲内に十分に収まっています。
MicrocosmWorksは、多様な遮蔽シナリオでモデルを訓練し、音声のみの信頼度スコアを使用して短時間の遮蔽中も話者追跡を維持する時間平滑化アルゴリズムを実装しました。視覚的な信頼度がしきい値を下回ると、システムはマルチマイクアレイからのビームフォーミングデータを使用して音源定位にフォールバックします。
MicrocosmWorksは、スピーカー検出出力を、ATEM SDKを介してBlackmagic ATEMと互換性があり、TriCasterシステム向けにはNewTek NDIに対応する標準のタリー/制御信号に変換するコンパニオン制御モジュールを構築しました。制作ディレクターは、システムを自動切り替えモードまたは、カットを実行せずに提案するアドバイザリーモードに設定できます。
MicrocosmWorksは、時給$30～$50の料金でカスタムAIビデオ分析システムを構築しています。モデルトレーニング、TensorRT最適化、およびスイッチャー統合を含むマルチカメラアクティブスピーカー検出システムは、通常500～750時間の開発時間を必要とします。モデルトレーニングフェーズではGPUコンピュートリソースが必要となり、通常プロジェクトコストに$2,000～$5,000を追加します。