تتبع الوجه بالذكاء الاصطناعي وإعادة التأطير الذكية لتحويل الفيديو العمودي

طبقت MicrocosmWorks منهج تتبع هجين يجمع بين كاشف وجه خفيف الوزن يعمل كل إطار خامس مع متتبع التدفق البصري KCF للتنبؤات بين الإطارات. عندما يتم اكتشاف حجب عبر انخفاض نقاط الثقة، يحافظ النظام على المسار الأخير المعروف باستخدام ترشيح Kalman ويعيد اكتشاف الوجه في غضون 200ms من ظهوره مرة أخرى.

قامت MicrocosmWorks ببناء خوارزمية قص مرجحة بالبروز تعطي الأولوية للوجوه المكتشفة، ثم لمناطق النص، ثم لمناطق الحركة عند تحديد موضع نافذة القص بنسبة 9:16. بالنسبة للمشاهد متعددة الأشخاص، يستخدم النظام ترتيب أولويات قابل للتكوين، ويكون افتراضيًا للمتحدث النشط أو الوجه الأكبر، مع استيفاء سلس بين مواضع القص لتجنب التحولات المفاجئة.

نعم، قامت MicrocosmWorks بتطبيق fallback saliency detection mode ينشط عندما لا تكون هناك وجوه موجودة، وذلك باستخدام مزيج من الـ motion detection، والـ visual attention modeling، والـ mouse cursor tracking لـ screen recordings. يتتبع النظام بذكاء الـ content region الأكثر صلة حتى في الـ purely visual أو الـ text-based footage.

قامت MicrocosmWorks بتحسين مسار العمل (pipeline) لسير عمل الدُفعات (batch workflows)، محققة سرعة معالجة 8 أضعاف الوقت الفعلي على وحدة معالجة رسوميات واحدة من نوع NVIDIA T4 GPU، مما يعني إعادة تأطير مقطع فيديو مدته 10 دقائق في حوالي 75 ثانية. يدعم النظام المعالجة المتوازية عبر وحدات معالجة رسوميات متعددة، متوسعًا خطيًا لعمليات المحتوى عالية الحجم.

تقوم MicrocosmWorks بتطوير أنظمة إعادة تأطير الفيديو بالذكاء الاصطناعي بمعدلات تتراوح بين 25 و 45 دولارًا للساعة، مع حل كامل لتتبع الوجه وإعادة التأطير الذكية بما في ذلك تحسين النموذج، ودعم المعالجة الدفعية، وتكامل API، ويتطلب عادةً من 350 إلى 550 ساعة تطوير. يلغي هذا الاستثمار الحاجة إلى محرري إعادة التأطير اليدوية، التي تكلف عادةً من 5 إلى 15 دولارًا لكل فيديو.