KI-gestützte Erkennung aktiver Sprecher für Mehrkamera-Videoproduktion
Ein Medienproduktionsunternehmen, das Mehrkamera-Aufnahmen von Interviews und Podiumsdiskussionen durchführt, benötigte eine automatisierte Methode, um jederzeit zu identifizieren, wer in komplexem Videomaterial spricht.
Ihr Projekt besprechen
Die Herausforderung
Die Produktion von Mehrkamera-Inhalten (Interviews, Podcasts, Podiumsdiskussionen) erforderte von Redakteuren, Stunden von Material manuell zu durchsuchen, um aktive Sprecher zu identifizieren und Schnitte zu erstellen. Dieser Prozess war:
- Extrem zeitaufwendig (10-15-fache Echtzeit für die manuelle Überprüfung)
- Anfällig für menschliche Fehler bei der Sprecherzuweisung
- Ein Engpass, der eine schnelle Inhaltslieferung verhinderte
Unsere Lösung
Wir haben eine KI-gestützte Videoanalyseplattform mit einer Deep-Learning-Pipeline entwickelt, die aktive Sprecher automatisch durch die Fusion von Audio- und visuellen Signalen erkennt.
Architektur
- Backend: Python/Flask REST API mit MongoDB und Redis
- ML Pipeline: TalkNet Audio-visuelles Fusionsmodell, YOLOv8 Nano für Gesichtserkennung, OpenAI Whisper für Transkription
- GPU-Optimierung: PyTorch mit CUDA, Frame-Dezimierung für eine 3-fache Beschleunigung, Stapelverarbeitung
- Infrastruktur: Mehrinstanzen-Bereitstellung mit verteilter MongoDB-basierter Sperrung
Verarbeitungspipeline
- Medienextraktion – Video-Download und Audio-/Video-Trennung
- Szenenerkennung – Inhaltsbasierte Grenzenerkennung mittels PySceneDetect
- Gesichtserkennung – YOLOv8 Nano Gesichtserkennung mit Frame-Dezimierung
- Gesichtsverfolgung – IoU-basierte Verknüpfung über Frames hinweg
- TalkNet-Inferenz – Audio-visuelle Fusion mit Multi-Dauer-Scoring (1s-, 2s-, 4s-, 6s-Fenster)
- Transkription – Whisper-basierte Spracherkennung mit Zeitstempeln auf Wortebene
Hauptmerkmale
- Erkennung aktiver Sprecher mit kreuzmodaler Aufmerksamkeit (Lippenbewegungen + Audio)
- Multi-Dauer-Konfidenzbewertung für eine robuste Sprecheridentifikation
- Automatische Transkription mit Zeitstempeln auf Wortebene
- Hintergrundjob-Planung mit Abbruchunterstützung
- Leistungsüberwachung und GPU-Speicherverwaltung
Ergebnisse
Technologie-Stack
caseStudyDetail.more Fallstudien
Entdecken Sie mehr unserer technischen Implementierungen
Echtzeit-Video-Objektverfolgung mit automatischer Zentrierung & Wiederherstellung
Ein Videoproduktionsteam benötigte ein Tool, das ein ausgewähltes Objekt in Videomaterial verfolgen und es bei Bewegung automatisch in der Bildmitte halten konnte – mit weichen Übergängen, mehreren Optionen für Tracking-Algorithmen und automatischer Wiederherstellung, wenn der Tracker das Ziel verlor.
Plattformübergreifende mobile Videobearbeitung mit AI-gestützter Analyse
Content Creators und Medienprofis benötigten eine Mobile-First-Videobearbeitungslösung, die AI-gesteuerte Analyseergebnisse für intelligentere Bearbeitungsworkflows unterwegs nutzen konnte.
Häufig gestellte Fragen
MicrocosmWorks entwickelte ein multimodales Fusionsmodell, das visuelle Merkmale der Lippenbewegung, die aus jedem Kamerabild extrahiert werden, mittels Cross-Attention-Layern mit dem Audiosignal korreliert. Das Modell gibt Sprecher-Wahrscheinlichkeitspunkte pro Bild für jedes sichtbare Gesicht aus und erreicht eine Genauigkeit von 94 %, selbst wenn mehrere Teilnehmer gleichzeitig sprechen.
MicrocosmWorks optimierte die Inferenz-Pipeline für den Betrieb auf NVIDIA T4 GPUs mit TensorRT-Beschleunigung und erreichte eine End-to-End-Latenz von unter 150ms von der Bilderfassung bis zur Sprecheridentifikation. Diese Latenz liegt gut innerhalb des akzeptablen Bereichs für die Live-Produktionsumschaltung, wo typische Schnittverzögerungen 300-500ms betragen.
MicrocosmWorks trainierte das Modell anhand verschiedener Okklusionsszenarien und implementierte einen temporalen Glättungsalgorithmus, der die Sprecherverfolgung durch kurze Verdeckungen unter Verwendung von reinen Audiokonfidenzwerten aufrechterhält. Wenn die visuelle Konfidenz unter einen Schwellenwert fällt, greift das System auf die Audioquellenlokalisierung unter Verwendung von Beamforming-Daten von Multi-Mikrofon-Arrays zurück.
MicrocosmWorks hat ein begleitendes Steuermodul entwickelt, das Sprechererkennungsausgaben in standardmäßige Tally-/Steuerungssignale übersetzt, die mit Blackmagic ATEM über das ATEM SDK und NewTek NDI für TriCaster-Systeme kompatibel sind. Produktionsleiter können das System auf den Auto-Umschaltmodus oder Beratungsmodus einstellen, in dem es Schnitte vorschlägt, ohne sie auszuführen.
MicrocosmWorks entwickelt maßgeschneiderte AI-Videoanalysesysteme zu Preisen von 30-50 $/Std., wobei ein Multikamera-System zur Erkennung aktiver Sprecher, einschließlich Modelltraining, TensorRT-Optimierung und Switcher-Integration, typischerweise 500-750 Entwicklungsstunden erfordert. Die Phase des Modelltrainings erfordert GPU-Rechenressourcen, die die Projektkosten üblicherweise um 2.000-5.000 $ erhöhen.
Bereit, Ihr Unternehmen zu transformieren?
Lassen Sie uns besprechen, wie wir ähnliche Lösungen für Ihre Herausforderungen anwenden können.