ML 및 콘텐츠 제작을 위한 프로그래밍 방식 비디오 주석 프레임워크

MicrocosmWorks는 사람의 클릭보다는 코드 기반 규칙을 사용하여 대규모로 주석을 생성해야 하는 팀을 위해 이 프레임워크를 구축했습니다. 이 프레임워크는 사전 훈련된 탐지기, 시간 논리, 공간 규칙을 적용하여 훈련 데이터를 자동으로 생성한 다음, COCO, Pascal VOC 또는 YOLO 형식으로 내보내는 Python 스크립트로 주석 파이프라인을 작성하는 것을 지원합니다.

네, MicrocosmWorks는 프레임 범위, keyframe interpolation, 시작/종료 타임스탬프가 있는 이벤트 기반 레이블을 지원하는 시간 기반 주석 모델을 구현했습니다. 주석가는 'pose estimation이 3프레임 이상 연속으로 두 발이 지면에서 떨어져 있는 것을 감지할 때 '달리기'로 레이블 지정'과 같은 시간 기반 규칙을 정의하여 action labeling을 자동화할 수 있습니다.

MicrocosmWorks는 프로그래밍 방식 어노테이션과 사람이 검토한 골든 세트 간의 합의 점수를 계산하고, 구성 가능한 IoU 또는 시간적 중첩 임계값 아래로 떨어지는 모든 어노테이션에 플래그를 지정하는 검증 파이프라인을 구축했습니다. 이 프레임워크는 또한 신뢰도가 낮은 어노테이션을 사람 검토자에게 전달하는 능동 학습 워크플로우를 지원합니다.

MicrocosmWorks는 FFmpeg 및 OpenCV를 기반으로 프레임워크를 구축했으며, MP4, MKV, AVI, MOV를 포함한 모든 주요 컨테이너 형식과 H.264부터 ProRes까지의 코덱을 지원합니다. 이 프레임워크는 비디오를 원본 해상도로 처리하지만, 대규모 데이터셋에서 처리량을 가속화하기 위해 어노테이션 패스를 위한 구성 가능한 다운스케일링을 지원합니다.

MicrocosmWorks는 ML 인프라 프로젝트를 시간당 $25-$45의 요율로 제공하며, 규칙 엔진, 형식 내보내기 도구, 품질 검증 파이프라인을 포함하는 프로그램 방식의 비디오 주석 프레임워크는 일반적으로 300-500시간의 개발 시간이 필요합니다. 이 프레임워크는 비디오 1분당 $5-$15에 달할 수 있는 수동 주석 비용을 절감함으로써 빠르게 자체 비용을 회수합니다.