Çok Kameralı Video Prodüksiyonu için Yapay Zeka Destekli Aktif Konuşmacı Tespiti
Çok kameralı röportaj ve panel tartışması çekimlerini yürüten bir medya prodüksiyon şirketi, karmaşık video görüntülerinde herhangi bir anda kimin konuştuğunu otomatik olarak belirlemek için bir yönteme ihtiyaç duyuyordu.
Projenizi Tartışın
Zorluk
Çok kameralı içerik (röportajlar, podcast'ler, panel tartışmaları) üretmek, editörlerin aktif konuşmacıları belirlemek ve kesimler yapmak için saatler süren görüntüleri manuel olarak taramasını gerektiriyordu. Bu süreç:
- Son derece zaman alıcıydı (manuel inceleme için gerçek zamanın 10-15 katı)
- Konuşmacı atamasında insan hatasına açıktı
- Hızlı içerik dönüşünü engelleyen bir darboğazdı
Çözümümüz
Ses ve görsel sinyalleri birleştirerek aktif konuşmacıları otomatik olarak algılayan, derin öğrenme hattına sahip, yapay zeka destekli bir video analiz platformu geliştirdik.
Mimari
- Backend: MongoDB ve Redis ile Python/Flask REST API
- ML Hattı: Sesli-görsel füzyon modeli TalkNet, yüz tespiti için YOLOv8 Nano, transkripsiyon için OpenAI Whisper
- GPU Optimizasyonu: CUDA ile PyTorch, 3 kat hızlandırma için kare azaltma (frame decimation), toplu işleme (batch processing)
- Altyapı: Dağıtılmış MongoDB tabanlı kilitleme ile çoklu örnek dağıtımı
İşleme Hattı
- Medya Çıkarma - Video indirme ve ses/video ayırma
- Sahne Tespiti - PySceneDetect aracılığıyla içeriğe dayalı sınır tespiti
- Yüz Tespiti - Kare azaltma ile YOLOv8 Nano yüz tespiti
- Yüz Takibi - Kareler arasında IoU tabanlı bağlantı
- TalkNet Çıkarımı - Çoklu süreli puanlama (1s, 2s, 4s, 6s pencereleri) ile sesli-görsel füzyon
- Transkripsiyon - Kelime düzeyinde zaman damgalı Whisper tabanlı konuşmadan metne dönüştürme
Temel Özellikler
- Çapraz-modal dikkat (dudak hareketleri + ses) ile aktif konuşmacı tespiti
- Sağlam konuşmacı tanımlaması için çoklu süreli güven puanlaması
- Kelime düzeyinde zaman damgalı otomatik transkripsiyon
- İptal desteği ile arka plan işi zamanlama
- Performans izleme ve GPU bellek yönetimi
Sonuçlar
Teknoloji Yığını
caseStudyDetail.more Vaka Çalışmaları
Daha fazla teknik uygulamamızı keşfedin
Otomatik Ortala ve Kurtarma ile Gerçek Zamanlı Video Nesne Takibi
Bir video prodüksiyon ekibi, video çekimlerinde seçilen bir nesneyi takip edebilen ve hareket ettikçe otomatik olarak karede ortalayabilen — akıcı geçişler, birden fazla takip algoritması seçeneği ve takipçi hedefi kaybettiğinde otomatik kurtarma özelliklerine sahip — bir araca ihtiyaç duyuyordu.
Yapay Zeka Destekli Analiz ile Çapraz Platform Mobil Video Düzenleme
İçerik oluşturucular ve medya profesyonelleri, hareket halindeyken daha akıllı düzenleme iş akışları için yapay zeka destekli analiz sonuçlarından yararlanabilecek, mobil öncelikli bir video düzenleme çözümüne ihtiyaç duyuyordu.
Sıkça Sorulan Sorular
MicrocosmWorks, her kamera akışından çıkarılan dudak hareketi görsel özelliklerini, çapraz dikkat katmanları kullanarak ses sinyaliyle ilişkilendiren çok modlu bir füzyon modeli geliştirdi. Model, görünür her yüz için kare başına konuşmacı olasılık puanları çıktı olarak sunar ve birden fazla katılımcı aynı anda konuştuğunda bile %94 doğruluk elde eder.
MicrocosmWorks, çıkarım hattını NVIDIA T4 GPU'larda TensorRT hızlandırmasıyla çalışacak şekilde optimize ederek, kare yakalamadan konuşmacı tespitine kadar 150ms'nin altında uçtan uca gecikme elde etti. Bu gecikme, tipik kesme gecikmelerinin 300-500ms olduğu canlı prodüksiyon geçişi için kabul edilebilir aralığın oldukça içindedir.
MicrocosmWorks, model'i çeşitli tıkanma senaryoları üzerinde eğitti ve kısa süreli tıkanıklıklar sırasında konuşmacı takibini yalnızca sese dayalı güven puanları kullanarak sürdüren geçici bir yumuşatma algoritması uyguladı. Görsel güven bir eşiğin altına düştüğünde, sistem çoklu mikrofon dizilerinden gelen hüzmeleme verilerini kullanarak ses kaynağı lokalizasyonuna geri döner.
MicrocosmWorks, konuşmacı algılama çıktılarını ATEM SDK aracılığıyla Blackmagic ATEM ve TriCaster sistemleri için NewTek NDI ile uyumlu standart tally/kontrol sinyallerine dönüştüren bir eşlikçi kontrol modülü geliştirdi. Prodüksiyon yönetmenleri, sistemi kesmeleri gerçekleştirmeden önerdiği otomatik geçiş veya danışma moduna ayarlayabilir.
MicrocosmWorks, özel AI video analiz sistemleri geliştirir ve $30-$50/saat oranlarıyla çalışır. Model eğitimi, TensorRT optimizasyonu ve switcher entegrasyonu dahil olmak üzere çoklu kameralı aktif konuşmacı tespit sistemi, tipik olarak 500-750 geliştirme saati gerektirir. Model eğitim aşaması, genellikle proje maliyetine $2.000-$5.000 ekleyen GPU hesaplama kaynakları gerektirir.
İşletmenizi Dönüştürmeye Hazır mısınız?
Zorluklarınıza benzer çözümler uygulamamızın yollarını konuşalım.