AI 기반 다중 카메라 영상 제작을 위한 능동 화자 감지
다중 카메라 인터뷰 및 패널 토론 촬영을 진행하는 미디어 제작사는 복잡한 영상 푸티지에서 특정 순간에 누가 말하고 있는지 자동으로 식별하는 방법이 필요했습니다.
프로젝트 상담하기
과제
다중 카메라 콘텐츠(인터뷰, 팟캐스트, 패널 토론)를 제작하려면 편집자들이 수많은 푸티지들을 수동으로 확인하여 능동 화자를 식별하고 컷을 만들어야 했습니다. 이 과정은 다음과 같았습니다.
- 매우 시간이 많이 소요됨 (수동 검토의 경우 실시간의 10-15배)
- 화자 귀속 시 인적 오류 발생 가능성 높음
- 신속한 콘텐츠 처리(turnaround)를 방해하는 병목 현상
우리의 솔루션
우리는 오디오 및 시각 신호를 융합하여 능동 화자를 자동으로 감지하는 딥러닝 파이프라인이 적용된 AI 기반 영상 분석 플랫폼을 구축했습니다.
아키텍처
- 백엔드: MongoDB 및 Redis를 사용한 Python/Flask REST API
- ML 파이프라인: TalkNet 오디오-시각 융합 모델, 얼굴 감지를 위한 YOLOv8 Nano, 전사를 위한 OpenAI Whisper
- GPU 최적화: CUDA가 적용된 PyTorch, 3배 속도 향상을 위한 프레임 데시메이션, 배치 처리
- 인프라: 분산 MongoDB 기반 잠금을 사용한 다중 인스턴스 배포
처리 파이프라인
- 미디어 추출 - 영상 다운로드 및 오디오/영상 분리
- 장면 감지 - PySceneDetect를 통한 콘텐츠 기반 경계 감지
- 얼굴 감지 - 프레임 데시메이션을 사용한 YOLOv8 Nano 얼굴 감지
- 얼굴 추적 - 프레임 간 IoU 기반 연결
- TalkNet 추론 - 다중 지속 시간 점수(1초, 2초, 4초, 6초 윈도우)를 사용한 오디오-시각 융합
- 전사 - 단어 수준 타임스탬프를 포함한 Whisper 기반 음성-텍스트 변환
주요 기능
- 교차 모달 어텐션(입술 움직임 + 오디오)을 통한 능동 화자 감지
- 강력한 화자 식별을 위한 다중 지속 시간 신뢰도 점수화
- 단어 수준 타임스탬프를 포함한 자동 전사
- 취소 지원 기능이 있는 백그라운드 작업 스케줄링
- 성능 모니터링 및 GPU 메모리 관리
결과
기술 스택
caseStudyDetail.more 사례 연구
더 많은 기술 구현 사례를 살펴보세요
실시간 비디오 객체 추적: 자동 중앙 배치 및 복구
한 비디오 제작팀은 영상 푸티지 내에서 선택된 객체를 추적하고, 객체가 움직일 때 자동으로 프레임 중앙에 유지하는 도구를 필요로 했습니다. 이 도구는 부드러운 전환, 다양한 추적 알고리즘 옵션, 그리고 추적기가 대상을 놓쳤을 때의 자동 복구 기능을 갖춰야 했습니다.
AI 기반 분석 기능을 통한 크로스 플랫폼 모바일 비디오 편집
콘텐츠 제작자와 미디어 전문가들은 이동 중에도 AI 기반 분석 결과를 활용하여 더 스마트한 편집 워크플로우를 지원하는 모바일 우선 비디오 편집 솔루션을 필요로 했습니다.
자주 묻는 질문
MicrocosmWorks는 각 카메라 피드에서 추출된 입술 움직임 시각적 특징을 cross-attention 레이어를 사용하여 오디오 신호와 연관시키는 다중 모달 융합 모델을 개발했습니다. 이 모델은 각 보이는 얼굴에 대해 프레임별 화자 확률 점수를 출력하며, 여러 참가자가 동시에 말하는 경우에도 94%의 정확도를 달성합니다.
MicrocosmWorks는 TensorRT 가속을 통해 NVIDIA T4 GPU에서 실행되도록 추론 파이프라인을 최적화하여, 프레임 캡처부터 화자 식별까지 150ms 미만의 엔드투엔드 지연 시간을 달성했습니다. 이 지연 시간은 일반적인 컷 지연 시간이 300-500ms인 라이브 프로덕션 스위칭에 허용되는 범위 내에 충분히 해당합니다.
MicrocosmWorks는 다양한 가려짐 시나리오에서 모델을 훈련했으며, 오디오 전용 신뢰도 점수를 사용하여 짧은 가려짐 상황에서도 화자 추적을 유지하는 시간 스무딩 알고리즘을 구현했습니다. 시각적 신뢰도가 임계값 이하로 떨어지면, 시스템은 다중 마이크 어레이의 beamforming 데이터를 사용하여 오디오 소스 위치 파악으로 전환합니다.
MicrocosmWorks는 화자 감지 출력을 ATEM SDK를 통한 Blackmagic ATEM 및 TriCaster 시스템용 NewTek NDI와 호환되는 표준 탈리/제어 신호로 변환하는 컴패니언 제어 모듈을 구축했습니다. 프로덕션 디렉터는 시스템을 자동 전환 또는 권고 모드로 설정할 수 있으며, 이 모드에서는 컷을 실행하지 않고 제안만 합니다.
MicrocosmWorks는 시간당 $30-$50의 요율로 맞춤형 AI 비디오 분석 시스템을 구축하며, 모델 학습, TensorRT 최적화 및 스위처 통합을 포함하는 멀티 카메라 액티브 스피커 감지 시스템은 일반적으로 500-750시간의 개발 시간을 필요로 합니다. 모델 학습 단계에서는 GPU 컴퓨팅 리소스가 필요하며, 이는 일반적으로 프로젝트 비용에 $2,000-$5,000를 추가합니다.