ניתוח וידאו מרובה זרמים בזמן אמת עם AI מואץ GPU
ספק אבטחה ארגוני נזקק לעבד מספר זרמי וידאו חיים בו-זמנית עם זיהוי מבוסס AI, לספק התראות בזמן אמת עם סנכרון מדויק של חותמות זמן על פני תשתית מבוזרת.
דון בפרויקט שלך
האתגר
עיבוד מספר זרמי RTSP עם AI דרש פתרון מספר בעיות מורכבות:
- מגבלות זיכרון GPU הגבילו עיבוד זרמים בו-זמני
- סטיית שעון בין מכונות הקלטה למכונות היסק גרמה לסחף חותמת זמן
- מודלי זיהוי מסורתיים היו איטיים מדי עבור תרחישי ריבוי זרמים בזמן אמת
- אירועים נדרשו למפות במדויק למיקומי השמעת וידאו לצורך סקירה
הפתרון שלנו
תכננו פלטפורמת היסק AI מבוזרת הממוטבת לעיבוד בזמן אמת של ריבוי זרמים עם סנכרון חותמות זמן מבוסס PTS.
ארכיטקטורה
- מנוע היסק: YOLO11 עם האצת TensorRT על NVIDIA RTX 4000 Ada
- מעקב: ByteTrack מעקב רב-אובייקטים עם הקצאת מזהה עקבי
- הזרמה: MediaMTX להמרת פרוטוקולי RTSP/HLS/RTMP
- תקשורת: ערוצי WebSocket כפולים (שכבת-על של זיהויים חיים + התראות אירועים)
- תשתית: DigitalOcean (הקלטה) + RunPod (היסק GPU)
טכניקות אופטימיזציה
- האצת TensorRT - קומפילציית מודל ל-TensorRT עבור היסק אצווה של כ-15 אלפיות השנייה
- מיקרו-אצווה - פריימים מזרמים מרובים נארזו לאצווה ליעילות GPU
- ניהול זיכרון - שימוש ב-VRAM של 4-6GB עבור 10-12 זרמים בו-זמניים
- סנכרון חותמות זמן PTS - סנכרון מבוסס חותמת זמן הצגה המתקן הטיית שעון בין מכונות
- תיקון היסט בין מכונות - חישוב אוטומטי של היסט זמן בין צמתים מבוזרים
צינור זיהוי
- זיהוי אדם/רכב עם ניקוד ביטחון
- זיהוי לוחיות רישוי וחילוץ טקסט באמצעות EasyOCR
- זיהוי אש ועשן עם רגישות ניתנת להגדרה
- ניתוח התנהגותי (משך שהייה חשודה, אזורי חדירה, ספי תפוסה)
תכונות עיקריות
- ערוצי WebSocket כפולים - זרמים נפרדים לנתוני שכבת-על של וידאו ולאירועי התראה
- סנכרון PTS - חותמות זמן של אירועים תואמות מיקומי השמעת וידאו מדויקים
- מעקב אובייקטים עקבי - ByteTrack שומר על מזהים על פני פריימים למעקב עקבי
- אזורי זיהוי ניתנים להגדרה - הגדר אזורי חדירה/שהייה חשודה לכל מצלמה
- קנה מידה אוטומטי - הקצאת זרם דינמית בהתבסס על זמינות GPU
תוצאות
מחסנית טכנולוגית
caseStudyDetail.more מקרי בוחן
גלה עוד מהיישומים הטכניים שלנו
עיבוד חשבוניות מבוסס AI עם OCR ושילוב QuickBooks
עסק בגודל בינוני שעיבד מאות חשבוניות ספק בחודש נזקק לביטול הזנת נתונים ידנית על ידי חילוץ אוטומטי של נתוני חשבוניות באמצעות AI/OCR וסנכרונם ישירות ל-QuickBooks לצורך הנהלת חשבונות ומעקב תשלומים.
הזרקת פרסומות בצד הלקוח (CSAI) עם ניתוח סמני SCTE-35 ושילוב נגן מרובה פלטפורמות
פלטפורמת הזרמת וידאו נזקקה ליישם הזרקת פרסומות בצד הלקוח (CSAI) על פני יישומי אינטרנט, מובייל וטלוויזיות חכמות — המאפשרת חוויות פרסום מותאמות אישית ברמת המכשיר עם תמיכה מלאה באינטראקציה עם פרסומות (שכבות-על ניתנות ללחיצה, באנרים נלווים, כפתורי דילוג) שאותן הזרקה בצד השרת אינה יכולה לספק.
שאלות נפוצות
MicrocosmWorks ביצעה אופטימיזציה ל-pipeline על ידי batching של frames ממספר streams לתוך single GPU inference calls באמצעות NVIDIA TensorRT, מה שממקסם את GPU utilization ומשיג latency של פחות מ-100ms לכל frame, גם בעת processing של 20+ concurrent streams לכל node. הארכיטקטורה משתמשת ב-CUDA-accelerated video decoding כדי offload את frame extraction מ-CPU, ובכך מונעת את decode bottleneck שבדרך כלל מגביל multi-stream performance.
MicrocosmWorks בנתה stream handlers סבילי-תקלות שמתחזקים state machines לכל מצלמה בנפרד, מחברים מחדש אוטומטית streamים מנותקים עם exponential backoff תוך המשך עיבוד כל הפידים התקינים ללא הפרעה. פריימים פגומים מזוהים באמצעות אימות checksum ומדלגים עליהם בצורה חלקה, והמערכת עוקבת אחר מדדי תקינות stream שמפעילים התראות כאשר האמינות של מצלמה יורדת מתחת לספים הניתנים להגדרה.
כן, MicrocosmWorks מספקת custom model training pipeline שבו אתם מספקים דוגמאות מתויגות של יעדי הזיהוי הספציפיים שלכם, והצוות מבצע fine-tuning למודלי זיהוי בסיסיים כדי לזהות אובייקטים, התנהגויות או חריגות ספציפיות לתעשייה. הפלטפורמה תומכת ב-hot-swapping models ב-production ללא downtime, כך שתוכלו לשפר באופן איטרטיבי את detection accuracy ככל שתאספו יותר training data מהמצלמות הפרוסות שלכם.
MicrocosmWorks תכננה את פלטפורמת הניתוח על ארכיטקטורה מבוססת Kubernetes, שבה GPU worker pods מתרחבים אופקית בהתבסס על ספירת זרמים ועומס עיבוד. הוספת קיבולת פשוטה כמו אספקת GPU nodes נוספים, ושכבת ה-orchestration מפיצה מחדש אוטומטית זרמים בין ה-workers הזמינים, ושומרת על latency ו-detection accuracy עקביים ללא קשר לגודל הפריסה הכולל.
MicrocosmWorks יישמה אפשרויות edge-preprocessing שבהן שליפת פריימים ראשונית והסקה (inference) קלה ואופציונלית מתרחשות קרוב למצלמות, מה שמפחית את רוחב הפס הנדרש לאשכול האנליטיקה המרכזי על ידי שידור key frames בלבד או קטעי וידאו (clips) המופעלים על ידי אירועים. עבור פריסות מרוכזות לחלוטין, הפלטפורמה תומכת בזרמי H.265 ברזולוציות הניתנות להגדרה, ורוחב הפס הטיפוסי הוא 2-4 Mbps לכל זרם 1080p בקצב דגימת אנליטיקה של 15fps.
מוכן לשנות את העסק שלך?
בואו נדון כיצד נוכל ליישם פתרונות דומים לאתגרים שלך.