リアルタイム動画オブジェクトトラッキングと自動センタリング・リカバリ

私たちは、複数の OpenCV トラッキングアルゴリズム、特徴マッチングベースの自動リカバリ、自然な動きのためのスムーズな指数移動平均、およびオブジェクト選択用のインタラクティブな GUI を備えたリアルタイムオブジェクトトラッキングおよびセンタリングシステムを構築しました。

アーキテクチャ

• トラッキングエンジン: CSRT、KCF、MOSSE トラッカー実装を備えた OpenCV
• リカバリシステム: ホモグラフィベースの再識別を備えた ORB 特徴抽出
• センタリングエンジン: 指数移動平均平滑化を備えた affine transformation
• 選択インターフェース: 視覚的フィードバックを備えたクリック＆ドラッグ GUI
• 設定: すべてのトラッキング、表示、センタリングパラメーター用の YAML ベースの設定

トラッキングアルゴリズム

システムは、設定を通じて選択可能な3つのトラッキングアルゴリズムをサポートしています。

CSRT (Channel and Spatial Reliability)

複雑なシナリオで最高の精度を発揮します。空間信頼度マップとチャネル固有の重みを使用して、部分的なオクルージョンや外観の変化に対応します。速度よりも精度が重要視される場合に適しています。

KCF (Kernelized Correlation Filters)

ほとんどのユースケースでバランスの取れたパフォーマンスを発揮します。Fourier domain での円形相関を使用して、効率的かつ高精度なトラッキングを実現します。中程度のフレームレートでの汎用トラッキングに適しています。

MOSSE (Minimum Output Sum of Squared Error)

リアルタイムアプリケーション向けの最速のトラッカーです。計算コストが非常に低い適応相関フィルターを使用します。フレームレートが重要であり、オブジェクトが予測可能な経路をたどる場合に適しています。

自動リカバリシステム

プライマリートラッカーがターゲットを見失った場合（オブジェクトが遮蔽された、フレーム外に移動した、外観が変化したなど）、システムは自動的な再識別を試みます。

1. 特徴抽出 — 初期オブジェクト領域と現在のフレームの両方から ORB (Oriented FAST and Rotated BRIEF) 記述子を抽出します
2. 特徴マッチング — Hamming distance を用いた総当たりマッチングを行い、Lowe's ratio test でフィルタリングして信頼性の高いマッチのみを保持します
3. Homography 推定 — マッチングされた特徴点から RANSAC ベースの homography を計算し、外れ値を除外します
4. バウンディングボックスのリカバリ — 初期バウンディングボックスのコーナーを homography を介してオブジェクトの新しい位置に変換します
5. トラッカーの再初期化 — リカバリされた位置が有効である（正の寸法を持ち、フレームの境界内にある）場合、トラッカーは新しい位置で再初期化されます

これにより、システムは短い遮蔽から回復し、ユーザーの介入なしにターゲットを再捕捉することができます。

スムーズなセンタリング

フレームの移動

オブジェクトの位置が判明すると、システムは affine transformation を使用してオブジェクトを中央に配置します。

• オブジェクトの中心とフレームの中心位置を計算します
• 必要な移動オフセットを計算します
• 設定可能なパディングカラーを持つ affine transformation を使用してフレームを移動させます

ジッター軽減

生のトラッキング座標にはノイズが含まれています。システムは指数移動平均平滑化を適用します。

• 設定可能な平滑化係数により、応答性と安定性のトレードオフを制御します
• 低い値は、わずかな遅延を伴う、より滑らかで映画的な動きを生み出します
• 高い値はより正確に追跡しますが、より多くのジッターを示します
• その結果、自然なカメラ追従動作が得られます

対話型オブジェクト選択

3つの選択モードがサポートされています。

• GUI モード — 視覚的なサイズフィードバックを確認しながら動画フレーム上でクリック＆ドラッグし、スペースバー/エンターで確定、エスケープでキャンセルします
• ROI モード — OpenCV の組み込み関心領域セレクター
• 座標モード — 設定ファイルからの事前定義されたバウンディングボックス

リアルタイム表示

ビューアオーバーレイは以下を表示します。

• 追跡されたオブジェクトの周囲のバウンディングボックス
• アライメント参照用の中央十字線
• トラッキングステータスインジケーター（追跡中 / ロスト / 一時停止中）
• パフォーマンス監視用の現在の FPS
• アクティブなトラッカーアルゴリズム名

再生コントロール

• 再生/一時停止 — スペースバーでトラッキングを切り替えます
• リセット — セッション中に新しいトラッキングターゲットを選択します
• ループ — トラッキング状態を維持したまま動画を自動的に再開します
• 終了 — リソースをクリーンに解放します

主な機能

1. 3つのトラッキングアルゴリズム — CSRT（精度）、KCF（バランス）、MOSSE（速度）— 設定により切り替え可能
2. 自動リカバリ — ORB 特徴マッチングと homography により、失われたターゲットを再配置します
3. スムーズなセンタリング — 指数移動平均により、ジッターを排除し自然な動きを実現します
4. 対話型選択 — 視覚的フィードバックを備えたクリック＆ドラッグ GUI によるターゲット選択
5. リアルタイムパフォーマンス — アルゴリズムの選択に応じて 25-60+ FPS
6. ループ再生 — 永続的なトラッキングを伴う連続的な動画再生
7. YAML 設定 — すべてのパラメーター（アルゴリズム、平滑化、表示、解像度）を設定可能
8. モジュラー設計 — トラッカー、セレクター、ビデオプロセッサーコンポーネント間の明確な分離