ML ve İçerik Oluşturma için Programatik Video Açıklama Çerçevesi

MicrocosmWorks bu çerçeveyi, insan tıklaması yerine kod tabanlı kurallar kullanarak büyük ölçekte açıklamalar üretmesi gereken ekipler için geliştirdi. Önceden eğitilmiş dedektörleri, zamansal mantığı ve uzamsal kuralları uygulayarak eğitim verilerini otomatik olarak oluşturan açıklama işlem hatlarını Python betikleri olarak yazmayı destekler ve daha sonra COCO, Pascal VOC veya YOLO formatlarında dışa aktarır.

Evet, MicrocosmWorks; kare aralıklarını, anahtar kare interpolasyonunu ve başlangıç/bitiş zaman damgalarına sahip olay tabanlı etiketleri destekleyen bir zamansal ek açıklama modeli uyguladı. Ek açıklamacılar, 'poz tahmini 3 ardışık kareden fazla süreyle iki ayağın da yerden kesildiğini algıladığında koşuyor olarak etiketle' gibi zamansal kurallar tanımlayarak eylem etiketlemeyi otomatikleştirebilirler.

MicrocosmWorks, programatik annotasyonlar ile insan tarafından incelenmiş bir golden set arasındaki uyum skorlarını hesaplayan ve yapılandırılabilir bir IoU veya zamansal çakışma eşiğinin altına düşen tüm annotasyonları işaretleyen bir doğrulama hattı inşa etti. Çerçeve ayrıca, düşük güvenilirlikli annotasyonları insan denetçilere yönlendiren aktif öğrenme iş akışlarını da desteklemektedir.

MicrocosmWorks, çerçeveyi FFmpeg ve OpenCV üzerine kurdu ve MP4, MKV, AVI ve MOV dahil tüm ana kapsayıcı formatlarını H.264'ten ProRes'e kadar kodeklerle desteklemektedir. Çerçeve, videoları kendi doğal çözünürlüklerinde işler ancak büyük veri kümelerinde işlem hacmini hızlandırmak amacıyla ek açıklama geçişi için yapılandırılabilir küçültmeyi destekler.

MicrocosmWorks, ML altyapı projelerini saatlik 25-45 dolar oranlarında sunar. rule engine, format exporters ve quality validation pipeline'ı içeren programatik bir video açıklama çerçevesi, genellikle 300-500 geliştirme saati gerektirir. Bu çerçeve, video başına dakikada 5-15 dolar tutarında olabilen manuel açıklama maliyetlerini azaltarak kendini hızla amorti eder.