מעקב אחר אובייקטים בווידאו בזמן אמת עם מרכוז ושחזור אוטומטי

בנינו מערכת מעקב ומרכוז אובייקטים בזמן אמת עם מספר אלגוריתמי מעקב של OpenCV, שחזור אוטומטי מבוסס התאמת פיצ'רים, ממוצע אקספוננציאלי חלק לתנועה טבעית, וממשק GUI אינטראקטיבי לבחירת אובייקטים.

ארכיטקטורה

• Tracking Engine: OpenCV עם יישומי גשש CSRT, KCF ו-MOSSE
• Recovery System: חילוץ פיצ'רים ORB עם זיהוי מחדש מבוסס homography
• Centering Engine: טרנספורמציה אפינית עם החלקת exponential moving average
• Selection Interface: GUI של "קליק וגרור" עם משוב ויזואלי
• Configuration: הגדרות מבוססות YAML עבור כל פרמטרי המעקב, התצוגה והמרכוז

אלגוריתמי מעקב

המערכת תומכת בשלושה אלגוריתמי מעקב, ניתנים לבחירה באמצעות תצורה:

CSRT (Channel and Spatial Reliability)

הדיוק הטוב ביותר עבור תרחישים מורכבים. משתמש במפות אמינות מרחביות ומשקלים ספציפיים לערוצים כדי לטפל בחסימות חלקיות ושינויים במראה. מתאים כאשר דיוק חשוב יותר ממהירות.

KCF (Kernelized Correlation Filters)

ביצועים מאוזנים עבור רוב מקרי השימוש. משתמש בקורלציה מעגלית בתחום פורייה למעקב יעיל עם דיוק טוב. מתאים למעקב כללי בקצבי פריימים מתונים.

MOSSE (Minimum Output Sum of Squared Error)

הגשש המהיר ביותר עבור יישומי זמן אמת. משתמש במסנני קורלציה אדפטיביים עם עלות חישובית נמוכה במיוחד. מתאים כאשר קצב הפריימים קריטי והאובייקט עוקב אחר נתיבים צפויים.

מערכת שחזור אוטומטית

כאשר הגשש הראשי מאבד את המטרה (אובייקט נחסם, יצא מהפריים, שינוי מראה), המערכת מנסה זיהוי מחדש אוטומטי:

1. חילוץ פיצ'רים — מתארי ORB (Oriented FAST and Rotated BRIEF) מחולצים גם מאזור האובייקט הראשוני וגם מהפריים הנוכחי
2. התאמת פיצ'רים — התאמת brute-force עם Hamming distance, מסוננת על ידי Lowe's ratio test כדי לשמור רק על התאמות מהימנות
3. אומדן Homography — homography מבוסס RANSAC מחושב מנקודות פיצ'ר תואמות, תוך דחיית אנומליות
4. שחזור Bounding Box — פינות ה-bounding box הראשוניות מומרות באמצעות ה-homography למיקום החדש של האובייקט
5. אתחול מחדש של הגשש — אם המיקום המשוחזר תקף (מימדים חיוביים, בתוך גבולות הפריים), הגשש מאותחל מחדש במיקום החדש

זה מאפשר למערכת להתאושש מחסימות קצרות ולרכוש מחדש את המטרה ללא התערבות משתמש.

מרכוז חלק

הזזת פריים

ברגע שמיקום האובייקט ידוע, המערכת ממקדת אותו באמצעות affine transformation:

• מרכז האובייקט ומרכז הפריים מחושבים
• היסט ה-translation הנדרש מחושב
• הפריים מוזז באמצעות affine transformation עם padding color הניתן להגדרה

הפחתת רעידות

קואורדינטות מעקב גולמיות רועשות. המערכת מיישמת החלקת exponential moving average:

• מקדם החלקה ניתן להגדרה שולט על הפשרה בין תגובתיות ליציבות
• ערכים נמוכים יותר מייצרים תנועה חלקה יותר וקולנועית יותר עם השהיה קלה
• ערכים גבוהים יותר עוקבים בצורה הדוקה יותר אך מראים יותר רעידות
• התוצאה היא התנהגות מעקב מצלמה טבעית למראה

בחירת אובייקט אינטראקטיבית

נתמכות שלוש שיטות בחירה:

• GUI Mode — "קליק וגרור" על פריים הווידאו עם משוב ויזואלי על הגודל, אישור עם מקש רווח/אנטר, ביטול עם escape
• ROI Mode — בורר ה-region-of-interest המובנה של OpenCV
• Coordinate Mode — bounding box מוגדר מראש מקובץ התצורה

תצוגה בזמן אמת

שכבת העל של הצופה מציגה:

• Bounding box סביב האובייקט הנעקב
• צלב מרכוז לייחוס יישור
• מחוון מצב מעקב (במעקב / אבד / מושהה)
• FPS נוכחי לניטור ביצועים
• שם אלגוריתם הגשש הפעיל

בקרות השמעה

• הפעל/השהה — החלפת מצב מעקב עם מקש רווח
• איפוס — בחירת יעד מעקב חדש באמצע הסשן
• לולאה — הפעלה מחדש אוטומטית של הווידאו עם שמירה על מצב המעקב
• יציאה — שחרור משאבים נקי

תכונות מפתח

1. שלושה אלגוריתמי מעקב — CSRT (דיוק), KCF (מאוזן), MOSSE (מהירות) — ניתנים להחלפה באמצעות תצורה
2. שחזור אוטומטי — התאמת פיצ'רים ORB עם homography מאתרת מחדש מטרות שאבדו
3. מרכוז חלק — ממוצע אקספוננציאלי נע מבטל רעידות לתנועה טבעית
4. בחירה אינטראקטיבית — GUI של "קליק וגרור" עם משוב ויזואלי לבחירת יעד
5. ביצועים בזמן אמת — 25-60+ FPS תלוי בבחירת האלגוריתם
6. השמעת לולאה — הפעלה רציפה של וידאו עם מעקב מתמשך
7. תצורת YAML — כל הפרמטרים (אלגוריתם, החלקה, תצוגה, רזולוציה) ניתנים להגדרה
8. תכנון מודולרי — הפרדה נקייה בין רכיבי הגשש, הבורר ומעבד הווידאו