自動センタリングとリカバリー機能を備えたリアルタイム動画オブジェクト追跡

私たちは、複数の OpenCV 追跡アルゴリズム、特徴量マッチングに基づく自動リカバリー、自然な動きのためのスムーズな指数移動平均、およびオブジェクト選択用のインタラクティブな GUI を備えたリアルタイムオブジェクト追跡・センタリングシステムを構築しました。

アーキテクチャ

• 追跡エンジン：CSRT、KCF、および MOSSE トラッカー実装を備えた OpenCV
• リカバリーシステム：ホモグラフィーベースの再識別を備えた ORB 特徴量抽出
• センタリングエンジン：指数移動平均平滑化を備えたアフィン変換
• 選択インターフェース：視覚的フィードバックを備えたクリック＆ドラッグ GUI
• 設定：すべての追跡、表示、センタリングパラメーター用の YAML ベースの設定

追跡アルゴリズム

このシステムは、設定を通じて選択可能な3つの追跡アルゴリズムをサポートしています。

CSRT (Channel and Spatial Reliability)

複雑なシナリオで最高の精度を発揮します。空間信頼度マップとチャンネル固有の重みを使用して、部分的なオクルージョンや外見の変化に対応します。速度よりも精度が重要な場合に適しています。

KCF (Kernelized Correlation Filters)

ほとんどのユースケースでバランスの取れたパフォーマンスを提供します。フーリエ領域での円形相関を使用して、良好な精度で効率的な追跡を行います。中程度のフレームレートでの汎用追跡に適しています。

MOSSE (Minimum Output Sum of Squared Error)

リアルタイムアプリケーション向けの最速トラッカーです。計算コストが非常に低い適応型相関フィルターを使用します。フレームレートが重要で、オブジェクトが予測可能な経路をたどる場合に適しています。

自動リカバリーシステム

プライマリートラッカーがターゲットを見失った場合（オブジェクトが隠れた、フレーム外に移動した、外見が変化したなど）、システムは自動的な再識別を試みます。

1. 特徴量抽出 — ORB (Oriented FAST and Rotated BRIEF) ディスクリプターを、初期のオブジェクト領域と現在のフレームの両方から抽出します。
2. 特徴量マッチング — ハミング距離によるブルートフォースマッチングを行い、Lowe's ratio test でフィルター処理して信頼性の高いマッチングのみを保持します。
3. ホモグラフィー推定 — マッチングされた特徴点から RANSAC ベースのホモグラフィーを計算し、外れ値を排除します。
4. バウンディングボックスのリカバリー — 初期バウンディングボックスのコーナーをホモグラフィーを介してオブジェクトの新しい位置に変換します。
5. トラッカーの再初期化 — 回復された位置が有効である場合（正の寸法で、フレームの境界内にある場合）、トラッカーは新しい場所で再初期化されます。

これにより、システムは短時間のオクルージョンから回復し、ユーザーの介入なしにターゲットを再捕捉することができます。

スムーズなセンタリング

フレームの移動

オブジェクトの位置が判明すると、システムはアフィン変換を使用してそれを中央に配置します。

• オブジェクトの中心とフレームの中心位置が計算されます
• 必要な移動オフセットが計算されます
• 設定可能なパディング色を使用して、アフィン変換でフレームがシフトされます

ジッターの軽減

生の追跡座標にはノイズが含まれています。システムは指数移動平均平滑化を適用します。

• 設定可能な平滑化係数により、応答性と安定性のトレードオフが制御されます
• 低い値は、わずかな遅延を伴う、よりスムーズで映画のような動きを生み出します
• 高い値はより密接に追跡しますが、より多くのジッターを示します
• 結果として、自然なカメラ追従動作が得られます

インタラクティブなオブジェクト選択

3つの選択モードがサポートされています。

• GUI モード — 視覚的なサイズフィードバックを伴う動画フレーム上でのクリック＆ドラッグ、スペースバー/エンターで確定、エスケープでキャンセル。
• ROI モード — OpenCV の組み込みの関心領域セレクター。
• 座標モード — 設定ファイルからの事前定義されたバウンディングボックス。

リアルタイム表示

ビューアーオーバーレイは以下を表示します。

• 追跡対象オブジェクトの周囲のバウンディングボックス
• アライメント参照用の中央十字線
• 追跡ステータスインジケーター（追跡中 / ロスト / 一時停止）
• パフォーマンス監視用の現在の FPS
• アクティブなトラッカーアルゴリズム名

再生コントロール

• 再生/一時停止 — スペースバーで追跡のオン/オフを切り替えます。
• リセット — セッション中に新しい追跡ターゲットを選択します。
• ループ — 追跡状態を維持したまま、動画を自動的に再開します。
• 終了 — リソースをきれいに解放します。

主な機能

1. 3つの追跡アルゴリズム — CSRT（精度）、KCF（バランス）、MOSSE（速度）— 設定により切り替え可能。
2. 自動リカバリー — ホモグラフィーによる ORB 特徴量マッチングが、失われたターゲットを再配置します。
3. スムーズなセンタリング — 指数移動平均がジッターを除去し、自然な動きを実現します。
4. インタラクティブな選択 — ターゲット選択のための視覚的フィードバックを備えたクリック＆ドラッグ GUI。
5. リアルタイムパフォーマンス — アルゴリズムの選択に応じて 25-60+ FPS。
6. ループ再生 — 追跡を維持したままの連続動画再生。
7. YAML 設定 — すべてのパラメーター（アルゴリズム、平滑化、表示、解像度）が設定可能。
8. モジュラー設計 — トラッカー、セレクター、ビデオプロセッサーコンポーネント間の明確な分離。