AI-pohjainen aktiivisen puhujan tunnistus monikameratuotannossa
Mediatuotantoyritys, joka tuottaa monikamerahaastatteluita ja paneelikeskusteluja, tarvitsi automaattisen tavan tunnistaa, kuka puhuu milläkin hetkellä monimutkaisesta videomateriaalista.
Keskustele Projektistasi
Haaste
Monikamerasisällön (haastattelut, podcastit, paneelikeskustelut) tuottaminen edellytti leikkaajilta tuntien videomateriaalin manuaalista läpikäyntiä tunnistaakseen aktiiviset puhujat ja tehdäkseen leikkauksia. Tämä prosessi oli:
- Erittäin aikaa vievää (10-15-kertainen suhteessa reaaliaikaan manuaalisessa tarkastelussa)
- Altis inhimillisille virheille puhujan tunnistamisessa
- Pullonkaula, joka esti nopean sisällöntuotannon
Meidän Ratkaisumme
Rakensimme AI-pohjaisen videoanalyysialustan syväoppimisen putkistolla, joka tunnistaa automaattisesti aktiiviset puhujat yhdistämällä ääni- ja visuaalisia signaaleja.
Arkkitehtuuri
- Taustaohjelmisto: Python/Flask REST API MongoDB:llä ja Redisillä
- Koneoppimisputkisto: TalkNet-ääni-visuaalinen fuusiomalli, YOLOv8 Nano kasvojen tunnistukseen, OpenAI Whisper transkriptioon
- GPU-optimointi: PyTorch ja CUDA, kuvan harvennus 3x nopeuden parantamiseksi, eräkäsittely
- Infrastruktuuri: Monen instanssin käyttöönotto hajautetulla MongoDB-pohjaisella lukituksella
Käsittelyputkisto
- Median poiminta - Videon lataus ja äänen/videon erottelu
- Kohtauksen tunnistus - Sisältöpohjainen raja-arvon tunnistus PySceneDetectin avulla
- Kasvojen tunnistus - YOLOv8 Nano kasvojen tunnistus kuvan harvennuksella
- Kasvojen seuranta - IoU-pohjainen kehysten välinen linkitys
- TalkNet-päättely - Ääni-visuaalinen fuusio usean keston pisteytyksellä (1s, 2s, 4s, 6s ikkunat)
- Transkriptio - Whisper-pohjainen puheesta tekstiksi sanakohtaisilla aikaleimoilla
Tärkeimmät ominaisuudet
- Aktiivisen puhujan tunnistus ristiinmodaalisella huomioinnilla (huulten liikkeet + ääni)
- Usean keston luottamuspisteytys vankan puhujan tunnistamisen varmistamiseksi
- Automaattinen transkriptio sanakohtaisilla aikaleimoilla
- Taustatyön ajoitus peruutustuella
- Suorituskyvyn valvonta ja GPU-muistinhallinta
Tulokset
Teknologiapino
caseStudyDetail.more Tapaustutkimukset
Tutustu lisää teknisiin toteutuksiimme
Reaaliaikainen videokohteenseuranta automaattisella keskityksellä ja palautuksella
Videotuotantotiimi tarvitsi työkalun, joka pystyisi seuraamaan valittua kohdetta videokuva-aineistossa ja pitämään sen automaattisesti keskitettynä kuvaruudussa sen liikkuessa — sujuvilla siirtymillä, useilla seuranta-algoritmivaihtoehdoilla ja automaattisella palautuksella, kun seurain kadotti kohteen.
Monialustainen mobiilivideomuokkaus AI-pohjaisen analyysin avulla
Sisällöntuottajat ja media-alan ammattilaiset tarvitsivat mobiilikeskeisen videomuokkausratkaisun, joka voisi hyödyntää AI-vetoisen analyysin tuloksia älykkäämpiin muokkaustyönkulkuihin liikkeellä ollessaan.
Usein kysytyt kysymykset
MicrocosmWorks kehitti monimuotoisen fuusiomallin, joka korreloi jokaisesta kamerasyötteestä poimitut huulten liikkeen visuaaliset piirteet äänisignaalin kanssa käyttäen cross-attention-kerroksia. Malli tuottaa kehyskohtaisia puhujan todennäköisyyspisteitä jokaiselle näkyvälle kasvolle, saavuttaen 94 %:n tarkkuuden silloinkin, kun useat osallistujat puhuvat samanaikaisesti.
MicrocosmWorks optimoi päättelyputken ajettavaksi NVIDIA T4 GPUs:illa TensorRT -kiihdytyksellä, saavuttaen alle 150 ms:n päästä päähän -viiveen kuvan kaappauksesta puhujan tunnistukseen. Tämä viive on hyvin hyväksyttävän alueen sisällä reaaliaikaisessa tuotannon ohjauksessa, missä tyypilliset leikkausviiveet ovat 300-500 ms.
MicrocosmWorks koulutti mallin monipuolisilla okkluusioskenaarioilla ja toteutti temporaalisen tasoitusalgoritmin, joka ylläpitää puhujan seurantaa lyhyiden okkluusioiden läpi käyttäen vain ääneen perustuvia luottamusarvoja. Kun visuaalinen luottamus putoaa kynnyksen alapuolelle, järjestelmä palaa äänilähteen paikannukseen käyttäen keilanmuodostustietoja monimikrofoniryhmistä.
MicrocosmWorks rakensi oheishallintamoduulin, joka muuntaa puhujan tunnistuksen tulokset standardin mukaisiksi tally/ohjaussignaaleiksi. Nämä signaalit ovat yhteensopivia Blackmagic ATEM -järjestelmien kanssa ATEM SDK:n kautta sekä TriCaster-järjestelmien kanssa NewTek NDI:n kautta. Tuotanto-ohjaajat voivat asettaa järjestelmän automaattiseen vaihto- tai neuvontatilaan, jossa se ehdottaa leikkauksia toteuttamatta niitä.
MicrocosmWorks rakentaa räätälöityjä AI-videoanalyysijärjestelmiä hintaan $30-$50/tunti. Monikameran aktiivipuhujan tunnistusjärjestelmä, joka sisältää mallin koulutuksen, TensorRT-optimoinnin ja kytkimen integroinnin, vaatii tyypillisesti 500-750 kehitystuntia. Mallin koulutusvaihe vaatii GPU-laskentaresursseja, jotka yleensä lisäävät $2,000-$5,000 projektin kustannuksiin.
Valmis Muuttamaan Liiketoimintaasi?
Keskustellaan siitä, miten voimme soveltaa vastaavia ratkaisuja haasteisiisi.