Ohjelmallinen videon annotaatiokehys ML:lle ja sisällöntuotannolle
ML-tutkijat ja videosisällöntuottajat tarvitsivat joustavan, koodiohjatun videon annotointityökalun, joka pystyi tuottamaan annotoituja videoita mittakaavassa, harjoitusdatan valmistelusta opetuskuvakerroksiin.
Keskustele Projektistasi
Haaste
Olemassa olevat videon annotointityökalut olivat joko raskaita graafisia käyttöliittymiä ilman ohjelmallista API:a, tai komentorivityökaluja huonolla visualisoinnilla:
- ML-tiimit tarvitsivat rajauslaatikoita, polygoneja ja tunnisteita harjoitusdataan mittakaavassa
- Kouluttajat tarvitsivat animoituja peittokuvia (nuolia, kohdevaloja, tekstiä) opetusvideoihin
- Perinteiset annotointityökalut eivät pystyneet käsittelemään avainkehysten interpolointia tai pehmennysanimaatioita
- Mikään natiivi työpöytäratkaisu ei yhdistänyt OpenCV-käsittelyä ammattimaiseen videolähtöön
Meidän Ratkaisumme
Rakensimme React/Remotion-pohjaisen videon annotaatiokehyksen tyyppiturvallisella annotaatiojärjestelmällä, avainkehysten interpoloinnilla ja Tauri-työpöytäeditorilla.
Arkkitehtuuri
- Video-moottori: Remotion 4.0 ohjelmalliseen kuva kuvalta -renderöintiin
- Frontend: React 18 + TypeScript Vite:n kanssa
- Työpöytäsovellus: Tauri 2 OpenCV.js:n ja ONNX Runtimen kanssa
- Vienti: FFmpeg korkealaatuiseen videolähtöön
Annotaatiotyypit
- Rajauslaatikot - Suorakulmaiset alueet tunnisteineen ja luottamusarvoineen
- Ympyrät - Pistepohjaiset annotaatiot konfiguroitavalla säteellä
- Polygonit - Monimutkaiset alueiden ääriviivat epäsäännöllisille muodoille
- Tekstitunnisteet - Tyylitellyt tekelipeittokuvat sijainnilla
- Nuolet - Suuntakuvakkeet kululle tai huomiolle
- Vapaapiirrosreitit - Mukautetut piirretyt annotaatiot
- Kohdevalot - Korosta alueita himmennetyllä taustalla
Animaatiojärjestelmä
- Avainkehysten interpolointi - Sulavat siirtymät annotaatiotilojen välillä
- Pehmennysfunktiot - Jousto, ease-in-out, pomppu ja mukautetut käyrät
- Koosteen sommittelu - Intro, annotaatiokerrokset, yhdistetty aikajana, outro
- Häivytystehosteet - Sisään-/ulos-häivytys konfiguroitavalla kestolla
Tärkeimmät ominaisuudet
- Tyyppiturvallinen API - Kattavat TypeScript-tyypit kaikille annotaatioprimitiiveille
- Koostejärjestelmä - Luo monimutkaisia videoita koosteen rakennuspalikoista
- Avainkehysanimaatio - Animoi mitä tahansa annotaation ominaisuutta ajan mittaan
- Työpöytäeditori - Tauri-pohjainen graafinen käyttöliittymä reaaliaikaisella esikatselulla
- Erävienti - Renderöi annotoituja videoita FFmpegillä
- OpenCV-integraatio - Konenäön käsittely työpöytäsovelluksessa
Tulokset
Teknologiapino
caseStudyDetail.more Tapaustutkimukset
Tutustu lisää teknisiin toteutuksiimme
Tekoälypohjainen pitkien elokuvien tuotantoputki
Kunnianhimoinen sisällöntuotantoprojekti, jonka tavoitteena on demokratisoida pitkien elokuvien tuotantoa rakentamalla päästä päähän AI-putki, joka muuntaa yksinkertaisen tekstikehotteen 15–90 minuutin elokuvaksi.
AI-pohjainen laskujen käsittely OCR:n ja QuickBooks-integraation avulla
Keskisuuri yritys, joka käsitteli satoja toimittajalaskuja kuukausittain, halusi poistaa manuaalisen tiedonsyötön poimimalla laskutiedot automaattisesti AI/OCR:n avulla ja synkronoimalla ne suoraan QuickBooks-järjestelmään kirjanpitoa ja maksujen seurantaa varten.
Usein kysytyt kysymykset
MicrocosmWorks built this framework for teams that need to generate annotations at scale using code-driven rules rather than human clicking. It supports writing annotation pipelines as Python scripts that apply pre-trained detectors, temporal logic, and spatial rules to automatically generate training data, then exports in COCO, Pascal VOC, or YOLO formats.
Yes, MicrocosmWorks implemented a temporal annotation model that supports frame ranges, keyframe interpolation, and event-based labels with start/end timestamps. Annotators can define temporal rules like 'label as running when pose estimation detects both feet off ground for more than 3 consecutive frames' to automate action labeling.
MicrocosmWorks built a validation pipeline that computes agreement scores between programmatic annotations and a human-reviewed golden set, flagging any annotations that fall below a configurable IoU or temporal overlap threshold. The framework also supports active learning workflows that route low-confidence annotations to human reviewers.
MicrocosmWorks built the framework on top of FFmpeg and OpenCV, supporting all major container formats including MP4, MKV, AVI, and MOV, with codecs from H.264 to ProRes. The framework processes videos at their native resolution but supports configurable downscaling for the annotation pass to accelerate throughput on large datasets.
MicrocosmWorks delivers ML infrastructure projects at rates of $25-$45/hr, with a programmatic video annotation framework including the rule engine, format exporters, and quality validation pipeline typically requiring 300-500 development hours. The framework pays for itself quickly by reducing manual annotation costs that can run $5-$15 per minute of video.
Valmis Muuttamaan Liiketoimintaasi?
Keskustellaan siitä, miten voimme soveltaa vastaavia ratkaisuja haasteisiisi.