Dikey Video Dönüşümü için Yapay Zeka Destekli Yüz Takibi ve Akıllı Yeniden Çerçeveleme
Bir içerik yeniden kullanım platformu, yatay (16:9) uzun biçimli videoları, konuşmacıları ve konuları mükemmel bir şekilde merkezde tutarak, herhangi bir manuel kırpma veya anahtar kareleme olmaksızın dikey (9:16) kısa biçimli kliplere otomatik olarak dönüştürme ihtiyacı duyuyordu.
Projenizi Tartışın
Zorluk
Yatay videoyu dikey formata dönüştürmek, kısa biçimli içerik üretimindeki en zahmetli adımlardan biriydi:
- Her klip için çerçeveyi manuel olarak kırpmak ve yeniden konumlandırmak zaman alıcıydı
- Çok kişili sohbetler, konuşmacılar değiştikçe dinamik yeniden çerçeveleme gerektiriyordu
- Statik merkezden kırpma, hareket eden veya merkezden uzakta oturan konuşmacıları dışarıda bırakıyordu
- Geleneksel yüz algılama, binlerce klip arasında gerçek zamanlı yeniden çerçeveleme kararları için çok yavaştı
- Farklı içerik türleri (röportajlar, solo vlog'lar, sunumlar) farklı çerçeveleme stratejileri gerektiriyordu
Çözümümüz
Video karelerindeki yüzleri algılayan, hareketlerini takip eden ve aktif konuyu merkezde tutmak için dikey kırpma bölgesini dinamik olarak ayarlayan yapay zeka destekli bir yüz izleme ve akıllı yeniden çerçeveleme motoru geliştirdik.
Mimari
- Yüz Algılama: Hız için optimize edilmiş YOLO tabanlı yüz algılama modeli
- Yüz Takibi: Kalıcı konu kimlikleriyle IoU tabanlı kareler arası takip
- Yeniden Çerçeveleme Motoru: Yüz pozisyonları ve hareketine dayalı dinamik kırpma alanı hesaplaması
- Aktif Konuşmacı Eşleştirme: Konuşan kişiyi önceliklendirmek için konuşmacı algılama ile entegrasyon
- Görüntüleme (Rendering): Pürüzsüz kaydırma geçişleri ile FFmpeg kırpma filtresi zinciri
Yeniden Çerçeveleme Hattı
- Yüz Algılama - Örneklenmiş kareler üzerinde YOLO yüz algılama çalıştırın
- Konu Takibi - IoU tabanlı takip kullanarak yüz algılamalarını kareler arasında bağlayın
- Konuşmacı Önceliği - Aktif konuşmacı algılama ile eşleştirildiğinde, konuşan konuyu önceliklendirin
- Kırpma Hesaplaması - Birincil konu pozisyonuna göre optimal 9:16 kırpma bölgesini belirleyin
- Yumuşatma - Sarsıntılı atlamaları önlemek için kırpma hareketine yumuşatma uygulayın
- Görüntüleme (Rendering) - FFmpeg, dinamik kırpmayı pürüzsüz kaydırma geçişleriyle uygular
Temel Özellikler
- Çoklu Konu Yönetimi - Birden fazla yüzü takip eder ve her segment için birincil konuyu belirler
- Konuşmacı Bilinçli Çerçeveleme - Konuşmacı algılama ile entegre edildiğinde aktif konuşmacıya öncelik verir
- Pürüzsüz Geçişler - Konular arasında yumuşatılmış kaydırma, sarsıntılı kesmeleri ortadan kaldırır
- İçerik Türü Adaptasyonu - Solo, röportaj ve grup içerikleri için farklı çerçeveleme stratejileri
- Toplu İşleme - Tek bir uzun biçimli videodan yüzlerce klibi yeniden çerçeveler
- Manuel Müdahale Yok - Algılamadan nihai görüntülemeye kadar tamamen otomatiktir
Sonuçlar
Teknoloji Yığını
caseStudyDetail.more Vaka Çalışmaları
Daha fazla teknik uygulamamızı keşfedin
Çapraz Platform Sosyal Medya Planlama ve Performans Analizi
Haftalık onlarca kısa video klibi üreten içerik oluşturucular, tek bir kontrol panelinden TikTok, YouTube Shorts ve Instagram Reels genelinde içerik dağıtmak için birleşik bir planlama ve analiz sistemine ihtiyaç duydu — gönderi stratejisini optimize etmek için içgörülerle birlikte.
Küresel İçerik Dağıtımı için Çok Dilli Altyazı Çevirisi
Uluslararası kitlelere sahip içerik oluşturucular, orijinal sesi koruyarak video altyazılarını 30'dan fazla dile çevirerek erişimlerini genişletmeye ihtiyaç duyuyordu; bu sayede dünya çapındaki izleyicilerin içeriği kendi ana dillerinde tüketmesi sağlanacaktı.
Sıkça Sorulan Sorular
MicrocosmWorks, her 5. karede çalışan hafif bir face detector'ı, kareler arası tahminler için bir KCF optical flow tracker ile birleştiren hibrit bir izleme yaklaşımı uyguladı. Güven skoru düşüşleri aracılığıyla gizlenme algılandığında, sistem Kalman filtering ile bilinen son yörüngeyi korur ve tekrar görünür hale geldikten sonra 200ms içinde yüzü yeniden yakalar.
MicrocosmWorks, 9:16 kırpma penceresinin konumunu belirlerken tespit edilen yüzlere, ardından metin bölgelerine ve hareketli alanlara öncelik veren önem ağırlıklı bir kırpma algoritması geliştirdi. Çok kişilik sahneler için sistem, varsayılan olarak aktif konuşmacıyı veya en büyük yüzü esas alan, sarsıcı kaymaları önlemek için kırpma konumları arasında pürüzsüz enterpolasyon sağlayan yapılandırılabilir bir öncelik sıralaması kullanır.
Evet, MicrocosmWorks, hiçbir yüz bulunmadığında etkinleşen, ekran kayıtları için hareket algılama, görsel dikkat modelleme ve fare imleci takibinin bir kombinasyonunu kullanarak bir yedek belirginlik algılama modu uyguladı. Sistem, tamamen görsel veya metin tabanlı görüntülerde bile en alakalı içerik bölgesini akıllıca takip eder.
MicrocosmWorks, toplu iş akışları için işlem hattını optimize etti ve tek bir NVIDIA T4 GPU üzerinde 8 kat gerçek zamanlı işlem hızına ulaştı; bu da 10 dakikalık bir videonun yaklaşık 75 saniyede yeniden çerçevelendiği anlamına geliyor. Sistem, birden fazla GPU üzerinde paralel işlemeyi destekler ve yüksek hacimli içerik operasyonları için doğrusal olarak ölçeklenir.
MicrocosmWorks, AI video yeniden çerçeveleme sistemlerini saatlik 25-45 dolar oranlarında geliştirir. Model optimizasyonu, toplu işleme desteği ve API entegrasyonu içeren tam bir yüz takibi ve akıllı yeniden çerçeveleme çözümü genellikle 350-550 geliştirme saati gerektirir. Bu yatırım, video başına genellikle 5-15 dolara mal olan manuel yeniden çerçeveleme editörlerine olan ihtiyacı ortadan kaldırır.
İşletmenizi Dönüştürmeye Hazır mısınız?
Zorluklarınıza benzer çözümler uygulamamızın yollarını konuşalım.