Programmatisk Rammeværk for Videoannotation til ML & Indholdsproduktion
ML-forskere og videoproducenter havde brug for et fleksibelt, kodedrevet videoannotationsværktøj, der kunne producere annoterede videoer i stor skala, fra forberedelse af træningsdata til uddannelsesoverlays.
Diskuter Dit Projekt
Udfordringen
Eksisterende videoannotationsværktøjer var enten GUI-tunge uden programmatisk API eller kommandolinjeværktøjer med dårlig visualisering:
- ML-teams havde brug for bounding boxes, polygons og labels til træningsdata i stor skala
- Pædagoger havde brug for animerede overlays (pile, spotlights, tekst) til instruktionsvideoer
- Traditionelle annotationsværktøjer kunne ikke håndtere keyframe-interpolation eller easing-animationer
- Ingen desktop-native løsning kombinerede OpenCV-behandling med professionel videoudgang
Vores Løsning
Vi udviklede et React/Remotion-baseret rammeværk for videoannotation med et type-sikkert annotationssystem, keyframe-interpolation og en Tauri desktop-editor.
Arkitektur
- Videoengine: Remotion 4.0 til programmatisk frame-for-frame rendering
- Frontend: React 18 + TypeScript med Vite
- Desktop App: Tauri 2 med OpenCV.js og ONNX Runtime
- Eksport: FFmpeg til videoudgang i høj kvalitet
Annotationstyper
- Bounding Boxes - Rektangulære områder med labels og confidence scores
- Cirkler - Punktannotationer med konfigurerbar radius
- Polygons - Komplekse områdeomrids for uregelmæssige former
- Tekstlabels - Stiliserede tekstoverlays med positionering
- Pile - Retningsindikatorer for flow eller opmærksomhed
- Frihånds-stier - Brugerdefinerede tegnet annotationer
- Spotlights - Fremhævningsområder med nedtonet baggrund
Animationssystem
- Keyframe-interpolation - Glatte overgange mellem annotationstilstande
- Easing Functions - Spring, ease-in-out, bounce og brugerdefinerede kurver
- Scenekomposition - Intro, annotationslag, kombineret tidslinje, outro
- Fade-effekter - Fade-ind/ud med konfigurerbar varighed
Nøglefunktioner
- Type-sikkert API - Omfattende TypeScript-typer for alle annotationsprimitiver
- Scenesystem - Sammensæt komplekse videoer fra scenebyggeblokke
- Keyframe-animation - Animer enhver annotationsegenskab over tid
- Desktop-editor - Tauri-baseret GUI med realtidsvisning
- Batch-eksport - Render annoterede videoer via FFmpeg
- OpenCV-integration - Computer vision-behandling i desktop-appen
Resultater
Teknologistak
caseStudyDetail.more Casestudier
Udforsk flere af vores tekniske implementeringer
AI-drevet pipeline til generering af spillefilm
Et ambitiøst indholdsskabelseprojekt, der sigter mod at demokratisere produktionen af spillefilm ved at bygge en ende-til-ende AI-pipeline, der omdanner en simpel tekstprompt til en film på 15-90 minutter.
AI-drevet fakturabehandling med OCR og QuickBooks-integration
En mellemstor virksomhed, der månedligt behandler hundredvis af leverandørfakturaer, havde brug for at eliminere manuel dataindtastning ved automatisk at udtrække fakturadata ved hjælp af AI/OCR og synkronisere dem direkte til QuickBooks for bogføring og sporing af betalinger.
Ofte stillede spørgsmål
MicrocosmWorks built this framework for teams that need to generate annotations at scale using code-driven rules rather than human clicking. It supports writing annotation pipelines as Python scripts that apply pre-trained detectors, temporal logic, and spatial rules to automatically generate training data, then exports in COCO, Pascal VOC, or YOLO formats.
Yes, MicrocosmWorks implemented a temporal annotation model that supports frame ranges, keyframe interpolation, and event-based labels with start/end timestamps. Annotators can define temporal rules like 'label as running when pose estimation detects both feet off ground for more than 3 consecutive frames' to automate action labeling.
MicrocosmWorks built a validation pipeline that computes agreement scores between programmatic annotations and a human-reviewed golden set, flagging any annotations that fall below a configurable IoU or temporal overlap threshold. The framework also supports active learning workflows that route low-confidence annotations to human reviewers.
MicrocosmWorks built the framework on top of FFmpeg and OpenCV, supporting all major container formats including MP4, MKV, AVI, and MOV, with codecs from H.264 to ProRes. The framework processes videos at their native resolution but supports configurable downscaling for the annotation pass to accelerate throughput on large datasets.
MicrocosmWorks delivers ML infrastructure projects at rates of $25-$45/hr, with a programmatic video annotation framework including the rule engine, format exporters, and quality validation pipeline typically requiring 300-500 development hours. The framework pays for itself quickly by reducing manual annotation costs that can run $5-$15 per minute of video.
Klar til at Transformere Din Virksomhed?
Lad os drøfte, hvordan vi kan anvende lignende løsninger til dine udfordringer.