실시간 비디오 객체 추적 및 자동 중앙 정렬 & 복구

저희는 여러 OpenCV 추적 알고리즘, 특징점 매칭 기반 자동 복구, 자연스러운 움직임을 위한 부드러운 Exponential Averaging, 그리고 객체 선택을 위한 대화형 GUI를 갖춘 실시간 객체 추적 및 중앙 정렬 시스템을 구축했습니다.

아키텍처

• 추적 엔진: CSRT, KCF, MOSSE 추적기 구현이 포함된 OpenCV
• 복구 시스템: Homography 기반 재식별을 위한 ORB 특징점 추출
• 중앙 정렬 엔진: Exponential Moving Average Smoothing이 적용된 Affine Transformation
• 선택 인터페이스: 시각적 피드백을 제공하는 Click-and-drag GUI
• 구성: 모든 추적, 표시 및 중앙 정렬 매개변수를 위한 YAML 기반 설정

추적 알고리즘

이 시스템은 구성 설정을 통해 선택 가능한 세 가지 추적 알고리즘을 지원합니다:

CSRT (Channel and Spatial Reliability)

복잡한 시나리오에서 최고의 정확도를 제공합니다. Spatial Reliability Map과 채널별 가중치를 사용하여 부분 가려짐 및 외형 변화를 처리합니다. 속도보다 정확도가 중요할 때 적합합니다.

KCF (Kernelized Correlation Filters)

대부분의 사용 사례에 대해 균형 잡힌 성능을 제공합니다. Fourier Domain에서 Circular Correlation을 사용하여 좋은 정확도로 효율적인 추적을 수행합니다. 보통 프레임 속도에서 범용 추적에 적합합니다.

MOSSE (Minimum Output Sum of Squared Error)

실시간 애플리케이션을 위한 가장 빠른 추적기입니다. 매우 낮은 연산 비용으로 Adaptive Correlation Filters를 사용합니다. 프레임 속도가 중요하고 객체가 예측 가능한 경로를 따를 때 적합합니다.

자동 복구 시스템

주요 추적기가 대상을 놓치면(객체 가려짐, 프레임 밖으로 이동, 외형 변경), 시스템은 자동 재식별을 시도합니다:

1. 특징점 추출 — 초기 객체 영역과 현재 프레임에서 ORB (Oriented FAST and Rotated BRIEF) 디스크립터가 추출됩니다
2. 특징점 매칭 — Hamming Distance를 사용한 Brute-force Matching이 Lowe's Ratio Test에 의해 필터링되어 신뢰할 수 있는 매칭만 유지됩니다
3. Homography 추정 — 매칭된 특징점에서 RANSAC 기반 Homography가 계산되며, 이상치는 거부됩니다
4. Bounding Box 복구 — Homography를 통해 초기 Bounding Box 모서리가 객체의 새 위치로 변환됩니다
5. 추적기 재초기화 — 복구된 위치가 유효한 경우(양의 치수, 프레임 경계 내), 추적기는 새 위치에서 재초기화됩니다

이를 통해 시스템은 짧은 가려짐으로부터 복구하고 사용자 개입 없이 대상을 다시 확보할 수 있습니다.

부드러운 중앙 정렬

프레임 이동

객체의 위치가 알려지면 시스템은 Affine Transformation을 사용하여 객체를 중앙에 정렬합니다:

• 객체 중앙 및 프레임 중앙 위치가 계산됩니다
• 필요한 이동 오프셋이 계산됩니다
• 구성 가능한 패딩 색상과 함께 Affine Transformation을 사용하여 프레임이 이동됩니다

흔들림 감소

원시 추적 좌표는 노이즈가 많습니다. 시스템은 Exponential Moving Average Smoothing을 적용합니다:

• 구성 가능한 Smoothing Factor는 반응성과 안정성 사이의 절충을 제어합니다
• 낮은 값은 약간의 지연과 함께 더 부드럽고 영화 같은 움직임을 생성합니다
• 높은 값은 더 가깝게 추적하지만 더 많은 흔들림을 보여줍니다
• 결과는 자연스러운 카메라 팔로우 동작입니다

대화형 객체 선택

세 가지 선택 모드가 지원됩니다:

• GUI 모드 — 시각적 크기 피드백과 함께 비디오 프레임에서 클릭 앤 드래그, 스페이스바/엔터로 확인, ESC로 취소
• ROI 모드 — OpenCV의 내장 ROI(Region of Interest) 선택기
• 좌표 모드 — 구성 파일에서 미리 정의된 Bounding Box

실시간 디스플레이

뷰어 오버레이에는 다음이 표시됩니다:

• 추적된 객체 주변의 Bounding Box
• 정렬 참조를 위한 중앙 십자선
• 추적 상태 표시기 (추적 중 / 손실됨 / 일시 정지됨)
• 성능 모니터링을 위한 현재 FPS
• 활성 추적기 알고리즘 이름

재생 제어

• 재생/일시 정지 — 스페이스바로 추적 토글
• 재설정 — 세션 도중 새로운 추적 대상 선택
• 반복 — 추적 상태가 유지되는 자동 비디오 재시작
• 종료 — 깔끔한 리소스 해제

주요 기능

1. 세 가지 추적 알고리즘 — CSRT (정확도), KCF (균형), MOSSE (속도) — 설정을 통해 전환 가능
2. 자동 복구 — Homography를 사용한 ORB 특징점 매칭으로 손실된 대상 재배치
3. 부드러운 중앙 정렬 — Exponential Moving Average로 자연스러운 움직임을 위한 흔들림 제거
4. 대화형 선택 — 대상 선택을 위한 시각적 피드백이 있는 Click-and-drag GUI
5. 실시간 성능 — 알고리즘 선택에 따라 25-60+ FPS
6. 반복 재생 — 지속적인 추적과 함께 비디오 연속 재생
7. YAML 구성 — 모든 매개변수 (알고리즘, 스무딩, 디스플레이, 해상도) 구성 가능
8. 모듈형 설계 — 추적기, 선택기 및 비디오 프로세서 구성 요소 간의 깔끔한 분리