AI-kasvojenseuranta ja älykäs uudelleenkehystys pystyvideokonvertointiin
Sisällön uudelleenkäyttöalusta tarvitsi automaattisesti muuntaa vaakatason (16:9) pitkiä videoita pystytason (9:16) lyhyiksi klipeiksi pitäen puhujat ja kohteet täysin keskellä — ilman manuaalista rajausta tai avainkehystystä.
Keskustele Projektistasi
Haaste
Vaakavideon muuntaminen pystyformaattiin oli yksi työläimmistä vaiheista lyhytmuotoisen sisällön tuotannossa:
- Kehyksen manuaalinen rajaaminen ja uudelleenasettelu joka klipille oli aikaa vievää
- Usean henkilön keskustelut vaativat dynaamista uudelleenkehystystä puhujien vaihtuessa
- Staattinen keskeltä rajaus leikkasi pois puhujia, jotka liikkuivat tai istuivat pois keskeltä
- Perinteinen kasvojentunnistus oli liian hidas reaaliaikaisiin uudelleenkehystyspäätöksiin tuhansien klippien yli
- Erilaiset sisältötyypit (haastattelut, soolovlogit, esitykset) vaativat erilaisia kehystysstrategioita
Meidän Ratkaisumme
Rakensimme AI-pohjaisen kasvojenseuranta- ja älykkään uudelleenkehystysmoottorin, joka tunnistaa kasvot videokehyksistä, seuraa niiden liikettä ja säätää dynaamisesti pystysuuntaista rajausaluetta pitääkseen aktiivisen kohteen keskellä.
Arkkitehtuuri
- Kasvojentunnistus: YOLO-pohjainen kasvojentunnistusmalli, joka on optimoitu nopeuteen
- Kasvojenseuranta: IoU-pohjainen kehyksestä-kehykseen -seuranta pysyvillä kohteen tunnuksilla
- Uudelleenkehystysmoottori: Dynaaminen rajausalueen laskenta perustuen kasvojen sijainteihin ja liikkeeseen
- Aktiivisen puhujan kytkentä: Integrointi puhujantunnistukseen puheenaiheen priorisoimiseksi
- Renderöinti: FFmpeg-rajaussuodatinketju pehmeillä panoraamasiirtymillä
Uudelleenkehystysputki
- Kasvojentunnistus - Suorita YOLO-kasvojentunnistus näytteenottokehysten yli
- Kohteen seuranta - Linkitä kasvojentunnistukset kehyksistä toiseen käyttäen IoU-pohjaista seurantaa
- Puhujan priorisointi - Kun yhdistetty aktiivisen puhujan tunnistukseen, priorisoi puhuva kohde
- Rajauksen laskenta - Määritä optimaalinen 9:16 rajausalue perustuen ensisijaisen kohteen sijaintiin
- Tasaisuus - Käytä pehmennystä rajauksen liikkeeseen välttääksesi nykiviä hyppyjä
- Renderöinti - FFmpeg soveltaa dynaamista rajausta pehmeillä panoraamasiirtymillä
Avainominaisuudet
- Usean kohteen käsittely - Seuraa useita kasvoja ja määrittää ensisijaisen kohteen segmenttiä kohti
- Puhujatietoinen kehystys - Priorisoi aktiivisen puhujan, kun integroitu puhujantunnistuksen kanssa
- Pehmeät siirtymät - Pehmennetty panorointi kohteiden välillä eliminoi nykivät leikkaukset
- Sisältötyypin mukauttaminen - Erilaiset kehystysstrategiat soolo-, haastattelu- ja ryhmäsisällölle
- Eräajokäsittely - Uudelleenkehystä satoja klippejä yhdestä pitkästä videosta
- Ei manuaalista puuttumista - Täysin automatisoitu tunnistuksesta lopulliseen renderöintiin
Tulokset
Teknologiapino
caseStudyDetail.more Tapaustutkimukset
Tutustu lisää teknisiin toteutuksiimme
Ristitason sosiaalisen median ajastus ja suorituskykyanalytiikka
Sisällöntuottajat, jotka tuottivat kymmeniä lyhytmuotoisia klippejä viikoittain, tarvitsivat yhtenäisen ajastus- ja analytiikkajärjestelmän sisällön jakeluun TikTokiin, YouTube Shortseihin ja Instagram Reelseihin yhdestä hallintapaneelista – sekä tietoa julkaisustrategian optimoimiseksi.
Monikielinen tekstityskäännös globaaliin sisällönjakeluun
Kansainvälistä yleisöä tavoittelevat sisällöntuottajat halusivat laajentaa kattavuuttaan kääntämällä videotekstitykset yli 30 kielelle säilyttäen samalla alkuperäisen äänen, mikä mahdollistaa sisällön katselun katsojille maailmanlaajuisesti heidän omalla äidinkielellään.
Usein kysytyt kysymykset
MicrocosmWorks toteutti hybridiseurantamenetelmän, joka yhdistää kevyen kasvojentunnistimen, joka käy joka 5. kuvan välein, KCF-optisen virtauksen seurantaan kuvienvälisten ennusteiden tekemiseksi. Kun peittyminen havaitaan luottamuspisteiden laskun perusteella, järjestelmä ylläpitää viimeksi tunnettua liikerataa Kalman-suodatuksen avulla ja tunnistaa kasvot uudelleen 200 ms kuluessa siitä, kun ne tulevat uudelleen näkyviin.
MicrocosmWorks kehitti merkittävyyspainotetun rajausalgoritmin, joka priorisoi havaitut kasvot, sitten tekstialueet ja sitten liikealueet määrittäessään 9:16 rajausikkunan sijaintia. Monen henkilön kohtauksissa järjestelmä käyttää konfiguroitavaa prioriteettijärjestystä, joka oletusarvoisesti suosii aktiivista puhujaa tai suurinta kasvoa, käyttäen tasaista interpolointia rajauskohtien välillä nykivien siirtymien välttämiseksi.
Kyllä, MicrocosmWorks toteutti merkittävyyden havaitsemisen varatilan, joka aktivoituu, kun kasvoja ei ole läsnä, käyttäen yhdistelmää liikkeentunnistuksesta, visuaalisen huomion mallinnuksesta ja hiiren kohdistimen seurannasta näyttötallenteita varten. Järjestelmä seuraa älykkäästi relevantteinta sisältöaluetta jopa puhtaasti visuaalisessa tai tekstipohjaisessa materiaalissa.
MicrocosmWorks optimoi putkilinjan erätyönkulkuihin, saavuttaen 8-kertaisen reaaliaikaisen käsittelynopeuden yhdellä NVIDIA T4 GPU:lla, mikä tarkoittaa, että 10 minuutin video rajataan uudelleen noin 75 sekunnissa. Järjestelmä tukee rinnakkaiskäsittelyä useilla GPU:illa, skaalautuen lineaarisesti suuren volyymin sisältöoperaatioihin.
MicrocosmWorks kehittää AI-videoiden uudelleenkehystysjärjestelmiä tuntihintaan $25-$45/tunti, ja täysi kasvojenseuranta- ja älykäs uudelleenkehystysratkaisu, sisältäen mallin optimoinnin, eräajotuen ja API-integraation, vaatii tyypillisesti 350-550 kehitystuntia. Tämä investointi poistaa manuaalisten uudelleenkehystystoimittajien tarpeen, jotka maksavat tyypillisesti $5-$15 per video.
Valmis Muuttamaan Liiketoimintaasi?
Keskustellaan siitä, miten voimme soveltaa vastaavia ratkaisuja haasteisiisi.