Програмний фреймворк для анотації відео для ML та створення контенту

MicrocosmWorks створив цей фреймворк для команд, яким потрібно генерувати анотації у великих масштабах, використовуючи правила, керовані кодом, замість ручного натискання. Він підтримує написання конвеєрів анотацій як Python-скриптів, які застосовують попередньо навчені детектори, темпоральну логіку та просторові правила для автоматичної генерації навчальних даних, а потім експортує у форматах COCO, Pascal VOC або YOLO.

Так, MicrocosmWorks реалізувала модель часових анотацій, що підтримує діапазони кадрів, інтерполяцію ключових кадрів і мітки на основі подій з мітками часу початку/кінця. Анотатори можуть визначати часові правила, як-от 'позначати як біг, коли оцінка пози виявляє обидві ноги відірваними від землі протягом більш ніж 3 послідовних кадрів', для автоматизації маркування дій.

MicrocosmWorks побудував конвеєр валідації, який обчислює показники згоди між програмними анотаціями та перевіреним людиною золотим набором, позначаючи будь-які анотації, що опускаються нижче настроюваного IoU або порогу часового перекриття. Фреймворк також підтримує робочі процеси активного навчання, які направляють анотації з низькою впевненістю рецензентам-людям.

MicrocosmWorks побудував фреймворк на базі FFmpeg та OpenCV, підтримуючи всі основні формати контейнерів, включаючи MP4, MKV, AVI та MOV, з кодеками від H.264 до ProRes. Фреймворк обробляє відео в їхній нативній роздільній здатності, але підтримує конфігуроване зменшення масштабу для проходу анотації, щоб прискорити пропускну здатність на великих наборах даних.

MicrocosmWorks реалізує проєкти ML-інфраструктури за ставками від $25 до $45 за годину, причому програмний фреймворк анотування відео, що включає рушій правил, експортери форматів та конвеєр перевірки якості, зазвичай вимагає 300-500 годин розробки. Фреймворк швидко окупається завдяки зменшенню витрат на ручне анотування, які можуть становити від $5 до $15 за хвилину відео.