מסגרת לביאור וידאו מבוסס תכנות עבור ML ויצירת תוכן

חברת MicrocosmWorks בנתה מסגרת זו עבור צוותים הזקוקים לייצר annotations בהיקף נרחב באמצעות כללים מונעי קוד במקום הקלקה אנושית. היא תומכת בכתיבת pipelines ל-annotation כ-Python scripts המיישמים detectors מאומנים מראש, temporal logic, ו-spatial rules כדי לייצר אוטומטית נתוני אימון, ולאחר מכן מייצאת בפורמטים COCO, Pascal VOC, או YOLO.

כן, MicrocosmWorks הטמיעה מודל אנוטציות זמניות התומך בטווחי פריימים, אינטרפולציית קי-פריימים, ותוויות מבוססות אירועים עם חותמות זמן של התחלה/סיום. מבצעי האנוטציות יכולים להגדיר כללים זמניים כגון 'לתייג כריצה כאשר pose estimation מזהה את שתי הרגליים באוויר במשך יותר מ-3 פריימים רצופים' כדי להפוך את תיוג הפעולות לאוטומטי.

MicrocosmWorks בנתה צינור אימות (validation pipeline) שמחשב ציוני הסכמה בין אנוטציות תכנותיות לבין סט זהב (golden set) שנבדק על ידי אדם, ומסמן כל אנוטציה שנופלת מתחת לסף IoU או חפיפה זמנית הניתנים להגדרה. המסגרת גם תומכת בתהליכי עבודה של active learning המנתבים אנוטציות בעלות ביטחון נמוך לבודקים אנושיים.

MicrocosmWorks בנתה את מסגרת העבודה על גבי FFmpeg ו-OpenCV, התומכת בכל פורמטי הקונטיינר העיקריים כולל MP4, MKV, AVI ו-MOV, עם קודקים מ-H.264 ועד ProRes. מסגרת העבודה מעבדת סרטונים ברזולוציה הטבעית שלהם אך תומכת ב-downscaling הניתן להגדרה עבור שלב האנוטציה כדי להאיץ את התפוקה על מערכי נתונים גדולים.

MicrocosmWorks מספקת פרויקטי תשתית ML בשיעורים של 25-45$ לשעה, כאשר programmatic video annotation framework הכולל את ה-rule engine, format exporters, ו-quality validation pipeline דורש בדרך כלל 300-500 development hours. ה-framework מחזיר את עצמו במהירות על ידי הפחתת manual annotation costs שיכולים להגיע ל-5-15$ לדקת וידאו.