Programmatisches Video-Annotations-Framework fĂĽr ML & Inhaltserstellung
ML-Forschende und Video-Content-Ersteller benötigten ein flexibles, codebasiertes Video-Annotations-Tool, das annotierte Videos im großen Maßstab produzieren konnte, von der Vorbereitung der Trainingsdaten bis zu edukativen Overlays.
Ihr Projekt besprechen
Die Herausforderung
Bestehende Video-Annotations-Tools waren entweder GUI-lastig ohne programmatische API oder Kommandozeilen-Tools mit schlechter Visualisierung:
- ML-Teams benötigten Bounding Boxes, Polygone und Labels für Trainingsdaten im großen Maßstab
- Pädagogen benötigten animierte Overlays (Pfeile, Spotlights, Text) für Lehrvideos
- Herkömmliche Annotations-Tools konnten Keyframe-Interpolation oder Easing-Animationen nicht handhaben
- Keine Desktop-native Lösung kombinierte OpenCV-Verarbeitung mit professioneller Videoausgabe
Unsere Lösung
Wir entwickelten ein React/Remotion-basiertes Video-Annotations-Framework mit einem typensicheren Annotationssystem, Keyframe-Interpolation und einem Tauri Desktop Editor.
Architektur
- Video-Engine: Remotion 4.0 fĂĽr programmatisches Frame-fĂĽr-Frame-Rendering
- Frontend: React 18 + TypeScript mit Vite
- Desktop-App: Tauri 2 mit OpenCV.js und ONNX Runtime
- Export: FFmpeg fĂĽr hochwertige Videoausgabe
Annotationstypen
- Bounding Boxes – Rechteckige Bereiche mit Labels und Konfidenzwerten
- Kreise – Punkt-Annotationen mit konfigurierbarem Radius
- Polygone – Komplexe Umrisse von Regionen für unregelmäßige Formen
- Text-Labels – Gestaltete Text-Overlays mit Positionierung
- Pfeile – Richtungsindikatoren für Fluss oder Aufmerksamkeit
- Freihandpfade – Benutzerdefinierte gezeichnete Annotationen
- Spotlights – Hervorgehobene Bereiche mit gedimmtem Hintergrund
Animationssystem
- Keyframe-Interpolation – Sanfte Übergänge zwischen Annotationszuständen
- Easing Functions – Spring, ease-in-out, bounce und benutzerdefinierte Kurven
- Szenenkomposition – Intro, Annotations-Layer, kombinierte Timeline, Outro
- Überblendungseffekte – Ein-/Ausblenden mit konfigurierbarer Dauer
Hauptmerkmale
- Type-Safe API – Umfassende TypeScript-Typen für alle Annotations-Primitive
- Szenensystem – Erstellen komplexer Videos aus Szenenbausteinen
- Keyframe-Animation – Animieren beliebiger Annotationseigenschaften über die Zeit
- Desktop-Editor – Tauri-basierte GUI mit Echtzeit-Vorschau
- Batch-Export – Rendern annotierter Videos via FFmpeg
- OpenCV-Integration – Computer-Vision-Verarbeitung in der Desktop-App
Ergebnisse
Technologie-Stack
caseStudyDetail.more Fallstudien
Entdecken Sie mehr unserer technischen Implementierungen
KI-gestĂĽtzte Pipeline zur Generierung von Spielfilmen
Ein ambitioniertes Projekt zur Inhaltserstellung, das darauf abzielt, die Spielfilmproduktion zu demokratisieren, indem eine End-to-End-AI-Pipeline aufgebaut wird, die eine einfache Texteingabeaufforderung in einen 15-90-minĂĽtigen Film verwandelt.
KI-gestĂĽtzte Rechnungsverarbeitung mit OCR und QuickBooks-Integration
Ein mittelständisches Unternehmen, das monatlich Hunderte von Lieferantenrechnungen verarbeitete, musste die manuelle Dateneingabe eliminieren, indem es Rechnungsdaten automatisch mithilfe von AI/OCR extrahierte und diese direkt mit QuickBooks für die Buchhaltung und Zahlungsverfolgung synchronisierte.
Häufig gestellte Fragen
MicrocosmWorks built this framework for teams that need to generate annotations at scale using code-driven rules rather than human clicking. It supports writing annotation pipelines as Python scripts that apply pre-trained detectors, temporal logic, and spatial rules to automatically generate training data, then exports in COCO, Pascal VOC, or YOLO formats.
Yes, MicrocosmWorks implemented a temporal annotation model that supports frame ranges, keyframe interpolation, and event-based labels with start/end timestamps. Annotators can define temporal rules like 'label as running when pose estimation detects both feet off ground for more than 3 consecutive frames' to automate action labeling.
MicrocosmWorks built a validation pipeline that computes agreement scores between programmatic annotations and a human-reviewed golden set, flagging any annotations that fall below a configurable IoU or temporal overlap threshold. The framework also supports active learning workflows that route low-confidence annotations to human reviewers.
MicrocosmWorks built the framework on top of FFmpeg and OpenCV, supporting all major container formats including MP4, MKV, AVI, and MOV, with codecs from H.264 to ProRes. The framework processes videos at their native resolution but supports configurable downscaling for the annotation pass to accelerate throughput on large datasets.
MicrocosmWorks delivers ML infrastructure projects at rates of $25-$45/hr, with a programmatic video annotation framework including the rule engine, format exporters, and quality validation pipeline typically requiring 300-500 development hours. The framework pays for itself quickly by reducing manual annotation costs that can run $5-$15 per minute of video.
Bereit, Ihr Unternehmen zu transformieren?
Lassen Sie uns besprechen, wie wir ähnliche Lösungen für Ihre Herausforderungen anwenden können.