Ohjelmallinen videon annotaatiokehys ML:lle ja sisällöntuotannolle

MicrocosmWorks rakensi tämän kehyksen tiimeille, jotka tarvitsevat annotaatioiden luomista laajassa mittakaavassa koodiohjattujen sääntöjen avulla ihmisen klikkailun sijaan. Se tukee annotointiputkien kirjoittamista Python-skripteinä, jotka soveltavat esikoulutettuja detektoreita, temporaalilogiikkaa ja spatiaalisia sääntöjä harjoitusdatan automaattiseen luomiseen, ja vie sen jälkeen COCO-, Pascal VOC- tai YOLO-muodoissa.

Kyllä, MicrocosmWorks toteutti ajallisen annotoinnin mallin, joka tukee kehysalueita, avainkuvien interpolointia ja tapahtumapohjaisia merkintöjä alku-/loppuaikaleimoilla. Annotoijat voivat määritellä ajallisia sääntöjä, kuten 'merkitse juoksuksi, kun pose estimation havaitsee molempien jalkojen olevan irti maasta yli 3 peräkkäisen kuvan ajan', automatisoidakseen toiminnan merkinnän.

MicrocosmWorks rakensi validointiputken, joka laskee yhdenmukaisuuspisteet ohjelmallisten annotaatioiden ja ihmisen tarkistaman golden setin välillä, merkiten kaikki annotaatiot, jotka alittavat konfiguroitavan IoU- tai ajallisen päällekkäisyyden kynnyksen. Kehys tukee myös active learning -työnkulkuja, jotka ohjaavat matalan luottamuksen annotaatiot ihmistarkastajille.

MicrocosmWorks rakensi kehyksen FFmpegin ja OpenCV:n päälle, tukien kaikki tärkeimmät säiliömuodot, mukaan lukien MP4, MKV, AVI ja MOV, koodekeilla H.264:stä ProResiin. Kehys käsittelee videoita niiden natiiviresoluutiolla, mutta tukee konfiguroitavaa alas skaalausta merkintäprosessia varten kiihdyttääkseen läpivirtausta suurissa tietoaineistoissa.

MicrocosmWorks toteuttaa ML-infrastruktuuriprojekteja hintaan 25-45 $/tunti, ja ohjelmallinen videon annotointikehys, joka sisältää sääntömoottorin, formaattien viejät ja laadunvarmistusputken, vaatii tyypillisesti 300-500 kehitystuntia. Kehys maksaa itsensä takaisin nopeasti vähentämällä manuaalisia annotointikustannuksia, jotka voivat olla 5-15 dollaria videominutilta.