Pagtukoy sa Nagsasalita na Pinapagana ng AI para sa Produksyon ng Video na Gumagamit ng Maraming Kamera
Isang kumpanya ng produksyon ng media na humahawak sa mga paggawa ng video para sa multi-camera na panayam at panel discussion ay nangangailangan ng awtomatikong paraan upang matukoy kung sino ang nagsasalita sa anumang sandali sa buong kumplikadong video footage.
Pag-usapan ang Iyong Proyekto
Ang Hamon
Ang paggawa ng multi-camera na nilalaman (mga panayam, podcast, panel discussion) ay nangangailangan ng mga editor na manu-manong suriin ang oras-oras na footage upang matukoy ang mga aktibong nagsasalita at gumawa ng mga cut. Ang prosesong ito ay:
- Lubhang nakakaubos ng oras (10-15 beses ng real-time para sa manu-manong pagsusuri)
- Madaling magkaroon ng pagkakamali ng tao sa pagtukoy ng nagsasalita
- Isang hadlang na pumipigil sa mabilis na pagpapalabas ng nilalaman
Ang Aming Solusyon
Bumuo kami ng isang AI-powered na platform sa pagsusuri ng video na may deep learning pipeline na awtomatikong nakakatukoy ng mga aktibong nagsasalita sa pamamagitan ng pagsasama ng mga audio at visual na signal.
Arkitektura
- Backend: Python/Flask REST API na may MongoDB at Redis
- ML Pipeline: TalkNet audio-visual fusion model, YOLOv8 Nano para sa pagtukoy ng mukha, OpenAI Whisper para sa transkripsyon
- GPU Optimization: PyTorch na may CUDA, frame decimation para sa 3x bilis, batch processing
- Infrastructure: Pag-deploy ng multi-instance na may distributed na MongoDB-based na locking
Processing Pipeline
- Pagkuha ng Media - Pag-download ng video at paghihiwalay ng audio/video
- Pagtukoy ng Scene - Content-based na pagtukoy ng hangganan sa pamamagitan ng PySceneDetect
- Pagtukoy ng Mukha - YOLOv8 Nano face detection na may frame decimation
- Pagsubaybay ng Mukha - IoU-based na pag-uugnay sa mga frame
- TalkNet Inference - Audio-visual fusion na may multi-duration scoring (1s, 2s, 4s, 6s windows)
- Transkripsyon - Whisper-based speech-to-text na may word-level timestamps
Mga Pangunahing Tampok
- Pagtukoy ng aktibong nagsasalita na may cross-modal attention (paggalaw ng labi + audio)
- Multi-duration confidence scoring para sa matatag na pagtukoy ng nagsasalita
- Awtomatikong transkripsyon na may word-level timestamps
- Pag-iskedyul ng background job na may suporta sa pagkansela
- Pagsubaybay sa pagganap at pamamahala ng memorya ng GPU
Mga Resulta
Technology Stack
caseStudyDetail.more Mga Case Study
Tuklasin ang higit pa sa aming mga teknikal na implementasyon
Pagsubaybay ng Bagay sa Video nang Real-Time na may Awtomatikong Pagsesentro at Pagbawi
Isang team sa produksyon ng video ang nangailangan ng tool na makapagsubaybay sa isang napiling bagay sa video footage at awtomatikong panatilihin itong nasa sentro ng frame habang gumagalaw — na may maayos na transisyon, maraming opsyon sa tracking algorithm, at awtomatikong pagbawi kapag nawala ang target ng tracker.
Cross-Platform na Pag-edit ng Video sa Mobile na may AI-Powered na Pagsusuri
Ang mga content creator at propesyonal sa media ay nangangailangan ng mobile-first na solusyon sa pag-edit ng video na makakagamit ng mga resulta ng AI-driven na pagsusuri para sa mas matalinong daloy ng trabaho sa pag-edit on the go.
Mga Madalas Itanong
Binuo ng MicrocosmWorks ang isang multimodal fusion model na nag-uugnay ng mga visual feature ng paggalaw ng labi na kinuha mula sa bawat camera feed sa signal ng audio gamit ang mga cross-attention layer. Naglalabas ang modelo ng mga per-frame speaker probability score para sa bawat nakikitang mukha, na nakakamit ang 94% accuracy kahit na sabay-sabay na nagsasalita ang maraming kalahok.
In-optimize ng MicrocosmWorks ang inference pipeline para tumakbo sa NVIDIA T4 GPUs na may TensorRT acceleration, na nakamit ang mas mababa sa 150ms na end-to-end latency mula sa frame capture hanggang sa speaker identification. Ang latency na ito ay nasa loob ng katanggap-tanggap na hanay para sa live production switching, kung saan ang karaniwang cut delays ay 300-500ms.
Sinanay ng MicrocosmWorks ang modelo sa magkakaibang senaryo ng occlusion at nagpatupad ng isang temporal smoothing algorithm na nagpapanatili ng pagsubaybay sa nagsasalita sa pamamagitan ng maikling occlusions gamit ang audio-only confidence scores. Kapag bumaba ang visual confidence sa ibaba ng isang threshold, ang sistema ay bumabalik sa audio source localization gamit ang beamforming data mula sa multi-microphone arrays.
Ang MicrocosmWorks ay bumuo ng isang kasamang control module na nagsasalin ng mga output ng speaker detection sa standard na tally/control signals na tugma sa Blackmagic ATEM sa pamamagitan ng ATEM SDK at NewTek NDI para sa mga TriCaster system. Maaaring itakda ng mga production director ang sistema sa auto-switch o advisory mode kung saan nagmumungkahi ito ng mga cut nang hindi isinasakatuparan ang mga ito.
Ang MicrocosmWorks ay bumubuo ng custom na AI video analysis systems sa halagang $30-$50/oras, kung saan ang isang multi-camera active speaker detection system kabilang ang model training, TensorRT optimization, at switcher integration ay karaniwang nangangailangan ng 500-750 oras ng pagbuo. Ang yugto ng model training ay nangangailangan ng GPU compute resources na karaniwang nagdaragdag ng $2,000-$5,000 sa gastos ng proyekto.
Handa nang Baguhin ang Iyong Negosyo?
Pag-usapan natin kung paano namin mailalapat ang katulad na mga solusyon sa iyong mga hamon.