실시간 비디오 객체 추적 및 자동 중앙 정렬 & 복구

저희는 여러 OpenCV 추적 알고리즘, 특징 매칭 기반의 자동 복구, 자연스러운 움직임을 위한 부드러운 지수 평균 평활화, 그리고 객체 선택을 위한 대화형 GUI를 갖춘 실시간 객체 추적 및 중앙 정렬 시스템을 구축했습니다.

아키텍처

• 추적 엔진: CSRT, KCF, MOSSE 추적기 구현이 포함된 OpenCV
• 복구 시스템: 호모그래피 기반 재식별을 위한 ORB 특징 추출
• 중앙 정렬 엔진: 지수 이동 평균 평활화가 적용된 아핀 변환
• 선택 인터페이스: 시각적 피드백이 있는 클릭 앤 드래그 GUI
• 구성: 모든 추적, 표시 및 중앙 정렬 매개변수를 위한 YAML 기반 설정

추적 알고리즘

시스템은 구성 설정을 통해 선택 가능한 세 가지 추적 알고리즘을 지원합니다:

CSRT (Channel and Spatial Reliability)

복잡한 시나리오에 최적의 정확도를 제공합니다. 부분적인 가림 및 외형 변화를 처리하기 위해 공간 신뢰도 맵과 채널별 가중치를 사용합니다. 속도보다 정확도가 중요할 때 적합합니다.

KCF (Kernelized Correlation Filters)

대부분의 사용 사례에 대해 균형 잡힌 성능을 제공합니다. 푸리에 도메인에서 원형 상관 관계를 사용하여 효율적이고 정확한 추적을 수행합니다. 적당한 프레임 속도에서 범용 추적에 적합합니다.

MOSSE (Minimum Output Sum of Squared Error)

실시간 애플리케이션을 위한 가장 빠른 추적기입니다. 매우 낮은 계산 비용으로 적응형 상관 필터를 사용합니다. 프레임 속도가 중요하고 객체가 예측 가능한 경로를 따를 때 적합합니다.

자동 복구 시스템

기본 추적기가 대상을 놓쳤을 때(객체가 가려지거나, 프레임을 벗어나거나, 외형이 변경될 때), 시스템은 자동 재식별을 시도합니다:

1. 특징 추출 — 초기 객체 영역과 현재 프레임에서 ORB (Oriented FAST and Rotated BRIEF) 디스크립터 추출
2. 특징 매칭 — Hamming distance를 이용한 무차별 대입 매칭, Lowe's ratio test로 필터링하여 신뢰할 수 있는 매칭만 유지
3. 호모그래피 추정 — 매칭된 특징점에서 RANSAC 기반 호모그래피 계산, 이상치 제거
4. 경계 상자 복구 — 호모그래피를 통해 초기 경계 상자 모서리를 객체의 새 위치로 변환
5. 추적기 재초기화 — 복구된 위치가 유효하면(양수 차원, 프레임 경계 내), 추적기는 새 위치에서 재초기화됩니다.

이를 통해 시스템은 짧은 가림 현상에서 복구하고 사용자 개입 없이 대상을 다시 추적할 수 있습니다.

부드러운 중앙 정렬

프레임 이동

객체의 위치가 파악되면 시스템은 아핀 변환을 사용하여 객체를 중앙에 배치합니다:

• 객체 중심 및 프레임 중심 위치 계산
• 필요한 이동 오프셋 계산
• 설정 가능한 패딩 색상을 사용하여 아핀 변환으로 프레임 이동

떨림 감소

원본 추적 좌표는 노이즈가 많습니다. 시스템은 지수 이동 평균 평활화를 적용합니다:

• 설정 가능한 평활화 계수는 응답성과 안정성 간의 균형을 제어합니다.
• 낮은 값은 약간의 지연과 함께 더 부드럽고 영화 같은 움직임을 생성합니다.
• 높은 값은 더 가깝게 추적하지만 더 많은 떨림을 보입니다.
• 그 결과는 자연스러운 카메라 팔로우 동작입니다.

대화형 객체 선택

세 가지 선택 모드가 지원됩니다:

• GUI 모드 — 비디오 프레임에서 시각적 크기 피드백과 함께 클릭 앤 드래그, 스페이스바/엔터로 확인, ESC로 취소
• ROI 모드 — OpenCV의 내장 ROI(Region-of-Interest) 선택기
• 좌표 모드 — 구성 파일에서 미리 정의된 경계 상자

실시간 표시

뷰어 오버레이는 다음을 표시합니다:

• 추적된 객체 주변의 경계 상자
• 정렬 참조를 위한 중앙 십자선
• 추적 상태 표시기 (추적 중 / 손실됨 / 일시 중지됨)
• 성능 모니터링을 위한 현재 FPS
• 활성 추적기 알고리즘 이름

재생 제어

• 재생/일시정지 — 스페이스바를 사용하여 추적 토글
• 재설정 — 세션 도중에 새로운 추적 대상 선택
• 루프 — 추적 상태가 유지된 상태로 비디오 자동 재시작
• 종료 — 깔끔한 리소스 해제

주요 기능

1. 세 가지 추적 알고리즘 — CSRT (정확도), KCF (균형), MOSSE (속도) — 구성 설정을 통해 전환 가능
2. 자동 복구 — 호모그래피를 이용한 ORB 특징 매칭으로 손실된 대상 재배치
3. 부드러운 중앙 정렬 — 지수 이동 평균이 떨림을 제거하여 자연스러운 움직임 구현
4. 대화형 선택 — 대상 선택을 위한 시각적 피드백이 있는 클릭 앤 드래그 GUI
5. 실시간 성능 — 알고리즘 선택에 따라 25-60+ FPS
6. 루프 재생 — 지속적인 추적 상태가 유지되는 연속 비디오 재생
7. YAML 구성 — 모든 매개변수(알고리즘, 평활화, 표시, 해상도) 구성 가능
8. 모듈형 설계 — 추적기, 선택기, 비디오 프로세서 구성 요소 간의 깔끔한 분리