MLおよびコンテンツ作成のためのプログラムによる動画アノテーションフレームワーク

MicrocosmWorksは、人間のクリックではなくコード駆動型のルールを使用して、大規模なアノテーションを生成する必要があるチームのためにこのフレームワークを構築しました。これは、事前学習済みの検出器、時間的ロジック、空間的ルールを適用してトレーニングデータを自動的に生成するPythonスクリプトとしてアノテーションパイプラインを記述することをサポートしており、その後、COCO、Pascal VOC、またはYOLO形式でエクスポートします。

はい、MicrocosmWorks は、フレーム範囲、キーフレーム補間、および開始/終了タイムスタンプを持つイベントベースのラベルをサポートする時間的アノテーションモデルを実装しました。アノテーターは、'pose estimation が3フレーム以上連続して両足が地面から離れていることを検出した場合に「走行中」とラベル付けする' といった時間的ルールを定義して、アクションラベリングを自動化できます。

MicrocosmWorksは、プログラムによるアノテーションと人間がレビューしたゴールデンセットとの間で一致スコアを計算し、設定可能なIoUまたは時間的オーバーラップの閾値を下回るすべてのアノテーションにフラグを付ける検証パイプラインを構築しました。また、このフレームワークは、信頼度の低いアノテーションを人間のレビューアにルーティングするアクティブラーニングワークフローもサポートしています。

MicrocosmWorksはFFmpegとOpenCVを基盤としてフレームワークを構築しました。MP4、MKV、AVI、MOVを含む主要なすべてのコンテナ形式をサポートしており、H.264からProResまでのコーデックに対応しています。フレームワークはビデオをネイティブ解像度で処理しますが、大規模なデータセットでのスループットを加速するために、アノテーション処理用に設定可能なダウンスケーリングをサポートしています。

MicrocosmWorksは、$25〜$45/時間のレートでMLインフラプロジェクトを提供します。rule engine、format exporters、およびquality validation pipelineを含むプログラマティックなビデオアノテーションフレームワークは、通常300〜500の開発時間を要します。このフレームワークは、1分間のビデオあたり$5〜$15かかる手動アノテーションコストを削減することで、すぐに元が取れます。