מעקב אחר אובייקטים בווידאו בזמן אמת עם מרכוז ושחזור אוטומטיים

בנינו מערכת מעקב ומרכוז אובייקטים בזמן אמת עם מספר אלגוריתמי מעקב של OpenCV, שחזור אוטומטי מבוסס התאמת מאפיינים, ממוצע אקספוננציאלי חלק לתנועה טבעית, ו-GUI אינטראקטיבי לבחירת אובייקטים.

ארכיטקטורה

• מנוע מעקב: OpenCV עם מימושי עוקבי CSRT, KCF ו-MOSSE
• מערכת שחזור: מיצוי מאפייני ORB עם זיהוי מחדש מבוסס Homography
• מנוע מרכוז: טרנספורמציה אפינית עם החלקת ממוצע נע אקספוננציאלי
• ממשק בחירה: GUI של לחיצה וגרירה עם משוב ויזואלי
• תצורה: הגדרות מבוססות YAML עבור כל הפרמטרים של מעקב, תצוגה ומרכוז

אלגוריתמי מעקב

המערכת תומכת בשלושה אלגוריתמי מעקב, הניתנים לבחירה באמצעות תצורה:

CSRT (Channel and Spatial Reliability)

הדיוק הטוב ביותר לתרחישים מורכבים. משתמש במפות אמינות מרחביות ובמשקולות ספציפיות לערוץ כדי לטפל בחסימה חלקית ושינויים במראה. מתאים כאשר דיוק חשוב יותר ממהירות.

KCF (Kernelized Correlation Filters)

ביצועים מאוזנים עבור רוב מקרי השימוש. משתמש בקורלציה מעגלית בתחום פורייה למעקב יעיל עם דיוק טוב. מתאים למעקב כללי בקצבי פריימים בינוניים.

MOSSE (Minimum Output Sum of Squared Error)

עוקב האובייקטים המהיר ביותר עבור יישומים בזמן אמת. משתמש במסנני קורלציה אדפטיביים עם עלות חישובית נמוכה במיוחד. מתאים כאשר קצב הפריימים קריטי והאובייקט עוקב אחר נתיבים צפויים.

מערכת שחזור אוטומטי

כאשר עוקב האובייקטים הראשי מאבד את היעד (אובייקט מוסתר, יצא מחוץ לפריים, שינוי מראה), המערכת מנסה זיהוי מחדש אוטומטי:

1. מיצוי מאפיינים — תיאורי ORB (Oriented FAST and Rotated BRIEF) ממוצים גם מאזור האובייקט הראשוני וגם מהפריים הנוכחי
2. התאמת מאפיינים — התאמה ברוט-פורס עם מרחק Hamming, מסוננת לפי מבחן היחס של Lowe כדי לשמור רק התאמות ודאיות
3. אמידת Homography — Homography מבוסס RANSAC מחושבת מנקודות מאפיינים מותאמות, תוך דחיית חריגים
4. שחזור תיבת תוחם — פינות תיבת התוחם הראשונית עוברות טרנספורמציה באמצעות ה-Homography למיקום החדש של האובייקט
5. אתחול מחדש של עוקב האובייקטים — אם המיקום המשוחזר תקף (מימדים חיוביים, בתוך גבולות הפריים), עוקב האובייקטים מאותחל מחדש במיקום החדש

זה מאפשר למערכת להתאושש מחסימות קצרות ולרכוש מחדש את היעד ללא התערבות משתמש.

מרכוז חלק

הזזת פריים

ברגע שמיקום האובייקט ידוע, המערכת ממקדת אותו באמצעות טרנספורמציה אפינית:

• מיקומי מרכז האובייקט ומרכז הפריים מחושבים
• היסט הזזה נדרש מחושב
• הפריים מוזז באמצעות טרנספורמציה אפינית עם צבע ריפוד הניתן להגדרה

הפחתת ריצוד

קואורדינטות המעקב הגולמיות רועשות. המערכת מיישמת החלקת ממוצע נע אקספוננציאלי:

• גורם החלקה הניתן להגדרה שולט בפשרה בין תגובתיות ליציבות
• ערכים נמוכים יותר מייצרים תנועה חלקה יותר, קולנועית יותר, עם השהיה קלה
• ערכים גבוהים יותר עוקבים בצורה הדוקה יותר אך מציגים יותר ריצוד
• התוצאה היא התנהגות מעקב מצלמה בעלת מראה טבעי

בחירת אובייקט אינטראקטיבית

נתמכות שלוש שיטות בחירה:

• מצב GUI — לחיצה וגרירה על מסגרת הווידאו עם משוב ויזואלי על גודל, אישור באמצעות מקש רווח/אנטר, ביטול באמצעות מקש Escape
• מצב ROI — בורר אזור עניין (region-of-interest) המובנה של OpenCV
• מצב קואורדינטות — תיבת תוחם מוגדרת מראש מקובץ תצורה

תצוגה בזמן אמת

שכבת העל של הצופה מציגה:

• תיבת תוחם סביב האובייקט הנעקב
• צלב מרכוז להתייחסות ליישור
• מחוון מצב מעקב (במעקב / אבוד / מושהה)
• FPS נוכחי לניטור ביצועים
• שם אלגוריתם המעקב הפעיל

פקדי הפעלה

• הפעלה/השהיה — הפעלת/הפסקת מעקב באמצעות מקש רווח
• איפוס — בחר יעד מעקב חדש באמצע הסשן
• לולאה — הפעלה מחדש אוטומטית של הווידאו עם שמירת מצב המעקב
• יציאה — שחרור משאבים נקי

תכונות עיקריות

1. שלושה אלגוריתמי מעקב — CSRT (דיוק), KCF (מאוזן), MOSSE (מהירות) – ניתנים להחלפה באמצעות תצורה
2. שחזור אוטומטי — התאמת מאפייני ORB עם Homography מאתרת מחדש יעדים אבודים
3. מרכוז חלק — ממוצע נע אקספוננציאלי מבטל ריצוד לתנועה טבעית
4. בחירה אינטראקטיבית — GUI של לחיצה וגרירה עם משוב ויזואלי לבחירת יעד
5. ביצועים בזמן אמת — 25-60+ FPS בהתאם לבחירת האלגוריתם
6. הפעלה בלולאה — הפעלה חוזרת רציפה של הווידאו עם מעקב מתמשך
7. תצורת YAML — כל הפרמטרים (אלגוריתם, החלקה, תצוגה, רזולוציה) ניתנים להגדרה
8. עיצוב מודולרי — הפרדה נקייה בין רכיבי עוקב האובייקטים, בורר האובייקטים ומעבד הווידאו