실시간 비디오 객체 추적: 자동 중앙 배치 및 복구

우리는 다수의 OpenCV 추적 알고리즘, 특징점 매칭 기반의 자동 복구, 자연스러운 움직임을 위한 부드러운 지수 평균화(exponential averaging), 그리고 객체 선택을 위한 상호작용적 GUI를 갖춘 실시간 객체 추적 및 중앙 배치 시스템을 구축했습니다.

아키텍처

• 추적 엔진: CSRT, KCF, MOSSE 추적기 구현이 포함된 OpenCV
• 복구 시스템: ORB 특징점 추출 및 호모그래피(homography) 기반 재식별
• 중앙 배치 엔진: 지수 이동 평균(exponential moving average) 스무딩이 적용된 아핀 변환(affine transformation)
• 선택 인터페이스: 시각적 피드백을 제공하는 클릭 앤 드래그 GUI
• 구성: 모든 추적, 표시 및 중앙 배치 파라미터에 대한 YAML 기반 설정

추적 알고리즘

시스템은 구성(configuration)을 통해 선택 가능한 세 가지 추적 알고리즘을 지원합니다:

CSRT (Channel and Spatial Reliability)

복잡한 시나리오에서 최고의 정확도를 제공합니다. 부분적인 가려짐(occlusion) 및 외형 변화를 처리하기 위해 공간 신뢰도 맵과 채널별 가중치를 사용합니다. 속도보다 정확도가 중요할 때 적합합니다.

KCF (Kernelized Correlation Filters)

대부분의 사용 사례에 대해 균형 잡힌 성능을 제공합니다. Fourier domain(푸리에 도메인)에서 원형 상관(circular correlation)을 사용하여 좋은 정확도로 효율적인 추적을 수행합니다. 중간 프레임 레이트에서 범용 추적에 적합합니다.

MOSSE (Minimum Output Sum of Squared Error)

실시간 애플리케이션을 위한 가장 빠른 추적기입니다. 매우 낮은 계산 비용으로 적응형 상관 필터(adaptive correlation filters)를 사용합니다. 프레임 레이트가 중요하고 객체가 예측 가능한 경로를 따를 때 적합합니다.

자동 복구 시스템

주요 추적기가 대상을 놓치면(객체 가려짐, 프레임 밖으로 이동, 외형 변화), 시스템은 자동 재식별을 시도합니다:

1. 특징점 추출 — 초기 객체 영역과 현재 프레임 모두에서 ORB(Oriented FAST and Rotated BRIEF) 디스크립터가 추출됩니다.
2. 특징점 매칭 — Hamming distance(해밍 거리)를 사용한 무차별 대입 매칭(brute-force matching)을 Lowe's ratio test(로위 비율 테스트)로 필터링하여 신뢰할 수 있는 매치만 유지합니다.
3. 호모그래피 추정 — 매칭된 특징점으로부터 RANSAC 기반 호모그래피(homography)를 계산하고, 이상치를 제거합니다.
4. 바운딩 박스 복구 — 초기 바운딩 박스(bounding box)의 모서리가 호모그래피(homography)를 통해 객체의 새로운 위치로 변환됩니다.
5. 추적기 재초기화 — 복구된 위치가 유효하면(양수 차원, 프레임 경계 내), 추적기는 새로운 위치에서 재초기화됩니다.

이를 통해 시스템은 짧은 가려짐(occlusion)으로부터 복구하고 사용자 개입 없이 대상을 다시 확보할 수 있습니다.

부드러운 중앙 배치

프레임 이동

객체의 위치가 파악되면 시스템은 아핀 변환(affine transformation)을 사용하여 객체를 중앙에 배치합니다:

• 객체 중심과 프레임 중심 위치가 계산됩니다.
• 필요한 이동 오프셋이 계산됩니다.
• 구성 가능한 패딩 색상과 함께 아핀 변환(affine transformation)을 사용하여 프레임이 이동됩니다.

흔들림 감소

원시 추적 좌표는 노이즈가 많습니다. 시스템은 지수 이동 평균(exponential moving average) 스무딩을 적용합니다:

• 구성 가능한 스무딩 계수(smoothing factor)는 응답성과 안정성 간의 상충 관계를 제어합니다.
• 값이 낮을수록 약간의 지연과 함께 더 부드럽고 영화 같은 움직임을 생성합니다.
• 값이 높을수록 더 정밀하게 추적하지만 더 많은 흔들림을 보입니다.
• 그 결과는 자연스러운 카메라 팔로우 동작입니다.

상호작용적 객체 선택

세 가지 선택 모드가 지원됩니다:

• GUI 모드 — 시각적 크기 피드백을 통해 비디오 프레임에서 클릭 앤 드래그하고, 스페이스바/엔터로 확인하며, ESC로 취소합니다.
• ROI 모드 — OpenCV의 내장된 ROI(Region of Interest) 선택기
• 좌표 모드 — 구성 파일에서 미리 정의된 바운딩 박스(bounding box)

실시간 디스플레이

뷰어 오버레이는 다음을 표시합니다:

• 추적된 객체 주변의 바운딩 박스(bounding box)
• 정렬 참조를 위한 중앙 십자선
• 추적 상태 표시기 (추적 중 / 손실됨 / 일시 중지됨)
• 성능 모니터링을 위한 현재 FPS
• 활성 추적기 알고리즘 이름

재생 제어

• 재생/일시 정지 — 스페이스바로 추적 토글
• 재설정 — 세션 중간에 새로운 추적 대상 선택
• 루프 — 추적 상태를 유지한 채 자동 비디오 재시작
• 종료 — 깔끔한 리소스 해제

주요 기능

1. 세 가지 추적 알고리즘 — CSRT (정확도), KCF (균형), MOSSE (속도) — 구성(config)을 통해 전환 가능
2. 자동 복구 — 호모그래피(homography)를 사용한 ORB 특징점 매칭이 손실된 대상을 재배치
3. 부드러운 중앙 배치 — 지수 이동 평균(exponential moving average)이 흔들림을 제거하여 자연스러운 움직임 제공
4. 상호작용적 선택 — 시각적 피드백을 제공하는 클릭 앤 드래그 GUI를 통한 대상 선택
5. 실시간 성능 — 알고리즘 선택에 따라 25-60+ FPS
6. 루프 재생 — 지속적인 추적을 통한 연속 비디오 재생
7. YAML 구성 — 모든 파라미터(알고리즘, 스무딩, 디스플레이, 해상도) 구성 가능
8. 모듈식 설계 — 추적기, 선택기 및 비디오 프로세서 구성 요소 간의 깔끔한 분리