ML 및 콘텐츠 제작을 위한 프로그래밍 방식 비디오 주석 프레임워크
ML 연구자와 비디오 콘텐츠 제작자는 훈련 데이터 준비부터 교육용 오버레이에 이르기까지 대규모로 주석이 달린 비디오를 생성할 수 있는 유연하고 코드 기반의 비디오 주석 도구를 필요로 했습니다.
프로젝트 상담하기
과제
기존 비디오 주석 도구는 프로그래밍 방식 API가 없는 GUI 위주의 도구이거나, 시각화 기능이 부족한 명령줄 도구였습니다.
- ML 팀은 대규모 훈련 데이터를 위한 바운딩 박스, 다각형, 레이블이 필요했습니다.
- 교육자는 교육용 비디오를 위한 애니메이션 오버레이(화살표, 스포트라이트, 텍스트)가 필요했습니다.
- 기존 주석 도구는 키프레임 보간 또는 이징 애니메이션을 처리할 수 없었습니다.
- OpenCV 처리와 전문적인 비디오 출력을 결합한 데스크톱 네이티브 솔루션은 없었습니다.
우리의 솔루션
우리는 타입 안전(type-safe) 주석 시스템, 키프레임 보간 및 Tauri 데스크톱 에디터를 갖춘 React/Remotion 기반 비디오 주석 프레임워크를 구축했습니다.
아키텍처
- 비디오 엔진: 프로그래밍 방식 프레임별 렌더링을 위한 Remotion 4.0
- 프론트엔드: Vite를 사용한 React 18 + TypeScript
- 데스크톱 앱: OpenCV.js 및 ONNX Runtime을 사용하는 Tauri 2
- 내보내기: 고품질 비디오 출력을 위한 FFmpeg
주석 유형
- 바운딩 박스 - 레이블 및 신뢰도 점수가 있는 직사각형 영역
- 원 - 구성 가능한 반경을 가진 점 주석
- 다각형 - 불규칙한 모양을 위한 복잡한 영역 윤곽선
- 텍스트 레이블 - 위치 지정이 가능한 스타일링된 텍스트 오버레이
- 화살표 - 흐름 또는 주의를 위한 방향 지시자
- 자유형 경로 - 직접 그린 주석
- 스포트라이트 - 배경이 어둡게 처리된 하이라이트 영역
애니메이션 시스템
- 키프레임 보간 - 주석 상태 간의 부드러운 전환
- 이징 함수 - 스프링, 이즈-인-아웃, 바운스 및 사용자 지정 곡선
- 장면 구성 - 인트로, 주석 레이어, 결합된 타임라인, 아웃트로
- 페이드 효과 - 구성 가능한 지속 시간을 가진 페이드 인/아웃
주요 기능
- 타입 안전 API - 모든 주석 기본 요소에 대한 포괄적인 TypeScript 타입
- 장면 시스템 - 장면 구성 요소를 사용하여 복잡한 비디오 구성
- 키프레임 애니메이션 - 시간 경과에 따른 모든 주석 속성 애니메이션
- 데스크톱 에디터 - 실시간 미리보기가 가능한 Tauri 기반 GUI
- 일괄 내보내기 - FFmpeg를 통해 주석이 달린 비디오 렌더링
- OpenCV 통합 - 데스크톱 앱 내 컴퓨터 비전 처리
결과
기술 스택
caseStudyDetail.more 사례 연구
더 많은 기술 구현 사례를 살펴보세요
자주 묻는 질문
MicrocosmWorks는 사람의 클릭보다는 코드 기반 규칙을 사용하여 대규모로 주석을 생성해야 하는 팀을 위해 이 프레임워크를 구축했습니다. 이 프레임워크는 사전 훈련된 탐지기, 시간 논리, 공간 규칙을 적용하여 훈련 데이터를 자동으로 생성한 다음, COCO, Pascal VOC 또는 YOLO 형식으로 내보내는 Python 스크립트로 주석 파이프라인을 작성하는 것을 지원합니다.
네, MicrocosmWorks는 프레임 범위, keyframe interpolation, 시작/종료 타임스탬프가 있는 이벤트 기반 레이블을 지원하는 시간 기반 주석 모델을 구현했습니다. 주석가는 'pose estimation이 3프레임 이상 연속으로 두 발이 지면에서 떨어져 있는 것을 감지할 때 '달리기'로 레이블 지정'과 같은 시간 기반 규칙을 정의하여 action labeling을 자동화할 수 있습니다.
MicrocosmWorks는 프로그래밍 방식 어노테이션과 사람이 검토한 골든 세트 간의 합의 점수를 계산하고, 구성 가능한 IoU 또는 시간적 중첩 임계값 아래로 떨어지는 모든 어노테이션에 플래그를 지정하는 검증 파이프라인을 구축했습니다. 이 프레임워크는 또한 신뢰도가 낮은 어노테이션을 사람 검토자에게 전달하는 능동 학습 워크플로우를 지원합니다.
MicrocosmWorks는 FFmpeg 및 OpenCV를 기반으로 프레임워크를 구축했으며, MP4, MKV, AVI, MOV를 포함한 모든 주요 컨테이너 형식과 H.264부터 ProRes까지의 코덱을 지원합니다. 이 프레임워크는 비디오를 원본 해상도로 처리하지만, 대규모 데이터셋에서 처리량을 가속화하기 위해 어노테이션 패스를 위한 구성 가능한 다운스케일링을 지원합니다.
MicrocosmWorks는 ML 인프라 프로젝트를 시간당 $25-$45의 요율로 제공하며, 규칙 엔진, 형식 내보내기 도구, 품질 검증 파이프라인을 포함하는 프로그램 방식의 비디오 주석 프레임워크는 일반적으로 300-500시간의 개발 시간이 필요합니다. 이 프레임워크는 비디오 1분당 $5-$15에 달할 수 있는 수동 주석 비용을 절감함으로써 빠르게 자체 비용을 회수합니다.