تتبع الكائنات في الفيديو في الوقت الفعلي مع التوسيط والاستعادة التلقائيين
احتاج فريق إنتاج فيديو إلى أداة يمكنها تتبع كائن محدد في لقطات الفيديو وإبقائه في مركز الإطار تلقائيًا أثناء حركته — مع انتقالات سلسة، وخيارات متعددة لخوارزميات التتبع، واستعادة تلقائية عندما يفقد المتتبع الهدف.
ناقش مشروعك
التحدي
تطلّب إبقاء الهدف المتحرك في مركز الفيديو جهدًا يدويًا أو معدات متخصصة باهظة الثمن:
- إعادة التأطير اليدوية — قضى المحررون ساعات في ضبط المواضع يدويًا باستخدام الإطارات الرئيسية لإبقاء الأهداف في المركز
- فشل التتبع — تحركت الكائنات خلف العوائق، أو تغير مظهرها، أو تحركت بسرعة كبيرة جدًا بالنسبة للمتتبعات البسيطة
- عدم وجود استعادة — عندما يفقد المتتبع هدفه، يجب إعادة تشغيل جلسة التتبع بأكملها من البداية
- إخراج متذبذب — أنتجت إحداثيات التتبع الخام حركات كاميرا متقطعة وغير طبيعية
- مفاضلات الخوارزمية — تطلّبت السيناريوهات المختلفة خوارزميات تتبع مختلفة (دقة مقابل سرعة)، لكن التبديل كان معقدًا
- الاختيار التفاعلي — احتاج المستخدمون إلى طريقة بديهية لاختيار هدف التتبع في وقت التشغيل
حلنا
لقد قمنا ببناء نظام لتتبع الكائنات وتوسيطها في الوقت الفعلي مزود بخوارزميات تتبع متعددة من OpenCV، واستعادة تلقائية قائمة على مطابقة الميزات، ومتوسط أسي سلس للحركة الطبيعية، وواجهة مستخدم رسومية تفاعلية (GUI) لاختيار الكائنات.
البنية
- محرك التتبع: OpenCV مع تطبيقات متتبعات CSRT و KCF و MOSSE
- نظام الاستعادة: استخراج الميزات ORB مع إعادة التحديد القائمة على homography
- محرك التوسيط: Affine transformation مع تجانس المتوسط المتحرك الأسي (exponential moving average)
- واجهة الاختيار: Click-and-drag GUI مع ملاحظات مرئية
- التهيئة: إعدادات قائمة على YAML لجميع معلمات التتبع والعرض والتوسيط
خوارزميات التتبع
يدعم النظام ثلاث خوارزميات تتبع، يمكن اختيارها عبر التهيئة:
CSRT (Channel and Spatial Reliability)
أفضل دقة للسيناريوهات المعقدة. يستخدم خرائط الموثوقية المكانية وأوزانًا خاصة بالقنوات للتعامل مع الانسداد الجزئي وتغيرات المظهر. مناسب عندما تكون الدقة أهم من السرعة.
KCF (Kernelized Correlation Filters)
أداء متوازن لمعظم حالات الاستخدام. يستخدم الارتباط الدائري في مجال فورييه لتتبع فعال بدقة جيدة. مناسب للتتبع للأغراض العامة بمعدلات إطارات متوسطة.
MOSSE (Minimum Output Sum of Squared Error)
أسرع متتبع لتطبيقات الوقت الفعلي. يستخدم مرشحات ارتباط تكيفية بتكلفة حسابية منخفضة للغاية. مناسب عندما يكون معدل الإطارات حرجًا ويتبع الكائن مسارات يمكن التنبؤ بها.
نظام الاستعادة التلقائية
عندما يفقد المتتبع الأساسي الهدف (كائن محجوب، خرج من الإطار، تغير المظهر)، يحاول النظام إعادة التحديد تلقائيًا:
- استخراج الميزات — مُوَصِّفَات ORB (Oriented FAST and Rotated BRIEF) مستخلصة من منطقة الكائن الأولية والإطار الحالي
- مطابقة الميزات — مطابقة Brute-force مع Hamming distance، تمت تصفيتها بواسطة اختبار نسبة Lowe للاحتفاظ بالمطابقات الموثوقة فقط
- تقدير Homography — Homography قائم على RANSAC محسوبة من نقاط الميزات المتطابقة، مع رفض القيم الشاذة
- استعادة الصندوق المحيط — تحويل زوايا الصندوق المحيط الأولي عبر homography إلى موقع الكائن الجديد
- إعادة تهيئة المتتبع — إذا كان الموضع المستعاد صالحًا (أبعاد إيجابية، ضمن حدود الإطار)، يتم إعادة تهيئة المتتبع في الموقع الجديد
هذا يسمح للنظام بالتعافي من الانسدادات القصيرة وإعادة الحصول على الهدف دون تدخل المستخدم.
توسيط سلس
إزاحة الإطار
بمجرد معرفة موقع الكائن، يقوم النظام بتوسيعه باستخدام التحويل الأفيني (affine transformation):
- يتم حساب مراكز الكائن والإطار
- يتم حساب إزاحة الترجمة المطلوبة
- يتم إزاحة الإطار باستخدام التحويل الأفيني (affine transformation) بلون حشوة قابل للتكوين
تقليل الاهتزاز
إحداثيات التتبع الخام صاخبة. يطبق النظام تجانس المتوسط المتحرك الأسي:
- يتحكم عامل التجانس القابل للتكوين في المفاضلة بين الاستجابة والاستقرار
- تنتج القيم الأقل حركة أكثر سلاسة وسينمائية مع تأخير طفيف
- تتبع القيم الأعلى عن كثب ولكنها تظهر اهتزازًا أكبر
- النتيجة هي سلوك تتبع كاميرا طبيعي المظهر
اختيار الكائنات التفاعلي
يتم دعم ثلاثة أوضاع للاختيار:
- وضع واجهة المستخدم الرسومية (GUI Mode) — النقر والسحب على إطار الفيديو مع ملاحظات مرئية للحجم، التأكيد بالمسافة/Enter، الإلغاء بـ Escape
- وضع ROI (منطقة الاهتمام) — مُحدّد منطقة الاهتمام (ROI) المدمج في OpenCV
- وضع الإحداثيات — مربع محيط مُعرّف مسبقًا من ملف التهيئة
العرض في الوقت الفعلي
يعرض تراكب المشاهد:
- مربع محيط حول الكائن المتتبع
- علامة تقاطع مركزية للمرجع المحاذاة
- مؤشر حالة التتبع (تتبع / مفقود / متوقف مؤقتًا)
- معدل الإطارات الحالي (FPS) لمراقبة الأداء
- اسم خوارزمية المتتبع النشطة
عناصر التحكم في التشغيل
- تشغيل/إيقاف مؤقت — تبديل التتبع بمسافة (spacebar)
- إعادة تعيين — اختيار هدف تتبع جديد في منتصف الجلسة
- تكرار — إعادة تشغيل الفيديو تلقائيًا مع الحفاظ على حالة التتبع
- إنهاء — تحرير الموارد بشكل نظيف
الميزات الرئيسية
- ثلاث خوارزميات تتبع — CSRT (دقة)، KCF (متوازن)، MOSSE (سرعة) — قابلة للتبديل عبر التهيئة
- استعادة تلقائية — مطابقة الميزات ORB مع homography تعيد تحديد موقع الأهداف المفقودة
- توسيط سلس — المتوسط المتحرك الأسي يزيل الاهتزاز للحركة الطبيعية
- اختيار تفاعلي — واجهة مستخدم رسومية (GUI) بنظام النقر والسحب مع ملاحظات مرئية لاختيار الهدف
- أداء في الوقت الفعلي — 25-60+ إطار في الثانية (FPS) اعتمادًا على اختيار الخوارزمية
- تشغيل متكرر — إعادة تشغيل الفيديو المستمرة مع تتبع دائم
- تهيئة YAML — جميع المعلمات (الخوارزمية، التجانس، العرض، الدقة) قابلة للتكوين
- تصميم معياري — فصل واضح بين مكونات المتتبع، المُحدد، ومعالج الفيديو
النتائج
المكدس التقني
caseStudyDetail.more دراسات الحالة
استكشف المزيد من تطبيقاتنا التقنية
تحرير الفيديو عبر الأنظمة الأساسية للهواتف المحمولة بتحليل مدعوم بالذكاء الاصطناعي
احتاج صناع المحتوى والمتخصصون في وسائل الإعلام إلى حل لتحرير الفيديو يركز على الهاتف المحمول ويمكنه الاستفادة من نتائج التحليل المدعومة بـ AI لسير عمل تحرير أكثر ذكاءً أثناء التنقل.
كشف المتحدث النشط المدعوم بالذكاء الاصطناعي لإنتاج الفيديو متعدد الكاميرات
كانت شركة إنتاج إعلامي تتعامل مع تصوير المقابلات وحلقات النقاش متعددة الكاميرات بحاجة إلى طريقة مؤتمتة لتحديد من يتحدث في أي لحظة عبر لقطات الفيديو المعقدة.
الأسئلة الشائعة
طبقت MicrocosmWorks وحدة إعادة تحديد الهوية تخزن تضمينات الميزات البصرية للكائن المتتبع باستخدام شبكة CNN خفيفة الوزن. عندما يفقد التتبع بسبب الانسداد أو الخروج من الإطار، يقوم النظام بتفعيل وضع البحث الذي يقارن الكائنات المكتشفة مع التضمين المخزن، مستعيدًا التتبع في غضون 2-3 إطارات من لحظة ظهور الكائن مرة أخرى.
لقد قامت MicrocosmWorks بتحسين مسار التتبع للحفاظ على معالجة 60fps على أجهزة NVIDIA Jetson Orin و 30fps على وحدات معالجة الرسوميات (GPUs) المخصصة للمستهلكين مثل RTX 3060. تضيف حسابات التوسيط التلقائي، بما في ذلك الاستيفاء السلس للتحريك لتجنب الحركات المفاجئة، أقل من 2ms من الحمل الزائد لكل إطار إلى التكلفة الأساسية للتتبع.
صممت MicrocosmWorks نظامًا لتخميد الحركة بمعاملات قابلة للتكوين لحدود التسارع، والسرعة القصوى للتحريك الأفقي، ونصف قطر المنطقة الميتة حول مركز الإطار. تستخدم خوارزمية التوسيط فيزياء النوابض المخمدة حرجيًا لإنتاج حركات كاميرا سلسة وبجودة بث تتبع الهدف دون تذبذب أو تجاوز.
نعم، صممت MicrocosmWorks النظام خصيصًا لتلبية متطلبات زمن الاستجابة المنخفض للبث المباشر، حيث يعمل خط أنابيب التتبع وإعادة التأطير بالكامل في غضون تأخير إطار واحد. لقد تم نشر النظام في بث مباريات كرة السلة وكرة القدم والتنس، حيث ينتج تلقائيًا لقطة متابعة مقربة من كاميرا ثابتة واسعة الزاوية.
تقوم MicrocosmWorks ببناء أنظمة معالجة الفيديو في الوقت الفعلي بمعدلات تتراوح بين 30 و 50 دولارًا في الساعة، مع حل التتبع والتوسيط التلقائي الذي يشمل تدريب النموذج، وتحسين GPU، وتكامل البث، ويتطلب عادةً من 400 إلى 600 ساعة تطوير. إضافة إلى تحسين النشر على الأجهزة الطرفية مثل Jetson يضيف ما يقرب من 80 إلى 120 ساعة إضافية.
مستعد لتحويل عملك؟
دعنا نناقش كيف يمكننا تطبيق حلول مشابهة لتحدياتك.