Reaaliaikainen monivirta-videoanalytiikka GPU-kiihdytetyllä AI:lla
Yritysturvallisuuden tarjoaja tarvitsi käsitellä useita reaaliaikaisia videovirtoja samanaikaisesti AI-pohjaisella tunnistuksella, toimittaen reaaliaikaisia hälytyksiä tarkalla aikaleiman synkronoinnilla hajautetussa infrastruktuurissa.
Keskustele Projektistasi
Haaste
Useiden RTSP-virtojen käsittely AI:lla edellytti useiden monimutkaisten ongelmien ratkaisemista:
- GPU-muistirajoitukset rajoittivat samanaikaista virtojen käsittelyä
- Kellon heitto tallennuskoneiden ja inferenssikoneiden välillä aiheutti aikaleiman siirtymistä
- Perinteiset tunnistusmallit olivat liian hitaita reaaliaikaisiin monivirta-skenaarioihin
- Tapahtumien piti vastata tarkasti videotoiston kohtiin tarkistusta varten
Meidän Ratkaisumme
Kehitimme hajautetun AI-inferenssialustan, joka on optimoitu monivirtaiseen reaaliaikaiseen käsittelyyn PTS-pohjaisella aikaleiman synkronoinnilla.
Arkkitehtuuri
- Inferenssimoottori: YOLO11 TensorRT-kiihdytyksellä NVIDIA RTX 4000 Ada:lla
- Seuranta: ByteTrack moniobjektin seuranta pysyvällä ID-määrityksellä
- Striimaus: MediaMTX RTSP/HLS/RTMP-protokollamuunnokseen
- Kommunikaatio: Kaksi WebSocket-kanavaa (reaaliaikaisten tunnistusten peittokuva + tapahtumahälytykset)
- Infrastruktuuri: DigitalOcean (tallennus) + RunPod (GPU-inferenssi)
Optimointitekniikat
- TensorRT-kiihdytys - Mallin kokoaminen TensorRT:ksi ~15ms eräinferenssiä varten
- Mikro-eräily - Ruudut useista virroista eräkäsiteltiin GPU-tehokkuuden vuoksi
- Muistinhallinta - 4-6GB VRAM-käyttö 10-12 samanaikaista virtaa varten
- PTS Timestamp Sync - Esitysaikaleimaan perustuva synkronointi, joka korjaa koneiden välisen kellon heiton
- Koneiden välinen siirtymäkorjaus - Automaattinen aikasitrymän laskenta hajautettujen solmujen välillä
Tunnistusputki
- Henkilö/ajoneuvotunnistus luottamusarvioinnilla
- Rekisterikilven tunnistus ja tekstin poiminta EasyOCR:n kautta
- Palon ja savun tunnistus konfiguroitavalla herkkyydellä
- Käyttäytymisanalytiikka (viipyilykesto, tunkeutumisalueet, käyttöasteen kynnysarvot)
Pääominaisuudet
- Kaksi WebSocket-kanavaa - Erilliset virrat videon peittokuva-datalle ja hälytystapahtumille
- PTS-synkronointi - Tapahtumien aikaleimat vastaavat tarkkoja videotoiston kohtia
- Pysyvä objektin seuranta - ByteTrack ylläpitää ID:tä ruutujen välillä johdonmukaista seurantaa varten
- Konfiguroitavat tunnistusalueet - Määritä tunkeutumis-/viipyilyalueet per kamera
- Automaattinen skaalaus - Dynaaminen virtojen allokointi GPU:n saatavuuden perusteella
Tulokset
Teknologiapino
caseStudyDetail.more Tapaustutkimukset
Tutustu lisää teknisiin toteutuksiimme
AI-pohjainen laskujen käsittely OCR:n ja QuickBooks-integraation avulla
Keskisuuri yritys, joka käsitteli satoja toimittajalaskuja kuukausittain, halusi poistaa manuaalisen tiedonsyötön poimimalla laskutiedot automaattisesti AI/OCR:n avulla ja synkronoimalla ne suoraan QuickBooks-järjestelmään kirjanpitoa ja maksujen seurantaa varten.
Asiakaspuolen mainosten upotus (CSAI) SCTE-35-merkkien jäsennyksellä ja monialustaisen soittimen integroinnilla
Videoiden suoratoistoalustan piti toteuttaa Client-Side Ad Insertion (CSAI) verkko-, mobiili- ja Connected TV -sovellusten yli — mahdollistaen personoidut, laitekohtaiset mainoskokemukset täydellä mainosinteraktion tuella (klikkaavat peittokuvat, kumppanibannerit, ohituspainikkeet), joita server-side insertion ei voi tarjota.
Valmis Muuttamaan Liiketoimintaasi?
Keskustellaan siitä, miten voimme soveltaa vastaavia ratkaisuja haasteisiisi.