AI顔追跡とスマートリフレーミングによる縦型動画変換

MicrocosmWorks は、5フレームごとに実行される軽量顔検出器と、フレーム間の予測のための KCF optical flow tracker を組み合わせたハイブリッド追跡アプローチを実装しました。信頼度スコアの低下によってオクルージョン（遮蔽）が検出された場合、システムは Kalman filtering を用いて最後に判明した軌跡を維持し、再び可視になってから 200ms 以内に顔を再取得します。

MicrocosmWorksは、9:16のクロップウィンドウ位置を決定する際に、検出された顔、次にテキスト領域、次に動きのある領域を優先する顕著性重み付けクロッピングアルゴリズムを構築しました。複数人が映るシーンでは、システムは設定可能な優先順位付けを使用し、話者または最大の顔をデフォルトとし、クロップ位置間のスムーズな補間により不快な切り替えを回避します。

はい、MicrocosmWorksは、顔が存在しない場合にアクティブになるフォールバック顕著性検出モードを実装しました。このモードは、画面録画の場合、モーション検出、視覚的注意モデリング、およびマウスポインタ追跡の組み合わせを使用します。システムは、純粋な視覚的またはテキストベースの映像でも、最も関連性の高いコンテンツ領域をインテリジェントに追跡します。

MicrocosmWorks は、バッチワークフロー向けにパイプラインを最適化し、単一の NVIDIA T4 GPU 上でリアルタイムの8倍の処理速度を達成しました。つまり、10分間の動画は約75秒でリフレーミングされます。このシステムは複数の GPU 間での並列処理をサポートしており、高いボリュームのコンテンツ運用向けにリニアにスケールします。

MicrocosmWorksは、AI動画リフレーミングシステムを時給$25〜$45の料金で開発しています。モデル最適化、バッチ処理サポート、およびAPI統合を含む完全な顔追跡およびスマートリフレーミングソリューションは、通常350〜550時間の開発時間を必要とします。この投資により、通常動画1本あたり$5〜$15かかる手動のリフレーミングエディターの必要がなくなります。