AI 기반 다중 카메라 영상 제작을 위한 능동 화자 감지

MicrocosmWorks는 각 카메라 피드에서 추출된 입술 움직임 시각적 특징을 cross-attention 레이어를 사용하여 오디오 신호와 연관시키는 다중 모달 융합 모델을 개발했습니다. 이 모델은 각 보이는 얼굴에 대해 프레임별 화자 확률 점수를 출력하며, 여러 참가자가 동시에 말하는 경우에도 94%의 정확도를 달성합니다.

MicrocosmWorks는 TensorRT 가속을 통해 NVIDIA T4 GPU에서 실행되도록 추론 파이프라인을 최적화하여, 프레임 캡처부터 화자 식별까지 150ms 미만의 엔드투엔드 지연 시간을 달성했습니다. 이 지연 시간은 일반적인 컷 지연 시간이 300-500ms인 라이브 프로덕션 스위칭에 허용되는 범위 내에 충분히 해당합니다.

MicrocosmWorks는 다양한 가려짐 시나리오에서 모델을 훈련했으며, 오디오 전용 신뢰도 점수를 사용하여 짧은 가려짐 상황에서도 화자 추적을 유지하는 시간 스무딩 알고리즘을 구현했습니다. 시각적 신뢰도가 임계값 이하로 떨어지면, 시스템은 다중 마이크 어레이의 beamforming 데이터를 사용하여 오디오 소스 위치 파악으로 전환합니다.

MicrocosmWorks는 화자 감지 출력을 ATEM SDK를 통한 Blackmagic ATEM 및 TriCaster 시스템용 NewTek NDI와 호환되는 표준 탈리/제어 신호로 변환하는 컴패니언 제어 모듈을 구축했습니다. 프로덕션 디렉터는 시스템을 자동 전환 또는 권고 모드로 설정할 수 있으며, 이 모드에서는 컷을 실행하지 않고 제안만 합니다.

MicrocosmWorks는 시간당 $30-$50의 요율로 맞춤형 AI 비디오 분석 시스템을 구축하며, 모델 학습, TensorRT 최적화 및 스위처 통합을 포함하는 멀티 카메라 액티브 스피커 감지 시스템은 일반적으로 500-750시간의 개발 시간을 필요로 합니다. 모델 학습 단계에서는 GPU 컴퓨팅 리소스가 필요하며, 이는 일반적으로 프로젝트 비용에 $2,000-$5,000를 추가합니다.