AI 얼굴 추적 및 세로 비디오 변환을 위한 스마트 리프레이밍

MicrocosmWorks는 5프레임마다 실행되는 경량 얼굴 감지기와 프레임 간 예측을 위한 KCF optical flow tracker를 결합한 하이브리드 추적 접근 방식을 구현했습니다. 신뢰도 점수 하락을 통해 가려짐이 감지되면, 시스템은 Kalman filtering을 사용하여 마지막으로 알려진 궤적을 유지하고 다시 보이게 된 후 200ms 이내에 얼굴을 재감지합니다.

MicrocosmWorks는 9:16 크롭 창 위치를 결정할 때 감지된 얼굴, 그 다음 텍스트 영역, 그 다음 움직이는 영역 순으로 우선순위를 부여하는 중요도 가중치 크롭핑 알고리즘을 개발했습니다. 여러 사람이 등장하는 장면의 경우, 시스템은 구성 가능한 우선순위 순위를 사용하며, 기본적으로 활성 발화자 또는 가장 큰 얼굴을 선택하고, 크롭 위치 간의 부드러운 보간을 통해 갑작스러운 전환을 방지합니다.

네, MicrocosmWorks는 얼굴이 없을 때 활성화되는 대체 현저성 감지 모드를 구현했습니다. 이 모드는 움직임 감지, 시각적 주의 모델링, 그리고 화면 녹화의 경우 마우스 커서 추적의 조합을 사용합니다. 시스템은 순수한 시각적 또는 텍스트 기반 푸티지에서도 가장 관련성이 높은 콘텐츠 영역을 지능적으로 따릅니다.

MicrocosmWorks는 배치 워크플로우를 위해 파이프라인을 최적화하여, 단일 NVIDIA T4 GPU에서 8배 실시간 처리 속도를 달성했습니다. 이는 10분짜리 비디오가 약 75초 만에 리프레이밍됨을 의미합니다. 이 시스템은 여러 GPU에 걸쳐 병렬 처리를 지원하며, 대용량 콘텐츠 작업을 위해 선형적으로 확장됩니다.

MicrocosmWorks는 AI 비디오 리프레이밍 시스템을 시간당 $25~$45의 요율로 개발합니다. 모델 최적화, 일괄 처리 지원 및 API 통합을 포함하는 전체 얼굴 추적 및 스마트 리프레이밍 솔루션은 일반적으로 350~550시간의 개발 시간을 필요로 합니다. 이 투자는 수동 리프레이밍 편집자의 필요성을 없애주며, 이는 일반적으로 비디오당 $5~$15의 비용이 듭니다.