KI-Gesichtsverfolgung & Intelligentes Re-Framing für die Konvertierung von vertikalen Videos
Eine Content-Repurposing-Plattform benötigte eine automatische Konvertierung von horizontalen (16:9) Langform-Videos in vertikale (9:16) Kurzform-Clips, wobei Sprecher und Motive perfekt zentriert bleiben sollten — ohne manuelles Zuschneiden oder Keyframing.
Ihr Projekt besprechen
Die Herausforderung
Die Konvertierung von horizontalen Videos in das vertikale Format war einer der mühsamsten Schritte bei der Produktion von Kurzform-Inhalten:
- Das manuelle Zuschneiden und Neupositionieren des Rahmens für jeden Clip war zeitaufwendig
- Gespräche mit mehreren Personen erforderten ein dynamisches Re-Framing, wenn sich die Sprecher änderten
- Ein statischer Center-Crop schnitt Sprecher ab, die sich bewegten oder außermittig saßen
- Herkömmliche Gesichtserkennung war zu langsam für Echtzeit-Re-Framing-Entscheidungen bei Tausenden von Clips
- Verschiedene Inhaltstypen (Interviews, Solo-Vlogs, Präsentationen) erforderten unterschiedliche Framing-Strategien
Unsere Lösung
Wir haben eine KI-gestützte Gesichtserkennungs- und intelligente Re-Framing-Engine entwickelt, die Gesichter in Videobildern erkennt, ihre Bewegung verfolgt und den vertikalen Zuschneidebereich dynamisch anpasst, um das aktive Motiv zentriert zu halten.
Architektur
- Gesichtserkennung: YOLO-basiertes Gesichtserkennungsmodell, optimiert für Geschwindigkeit
- Gesichtsverfolgung: IoU-basiertes Frame-zu-Frame-Tracking mit persistenten Subjekt-IDs
- Re-Framing-Engine: Dynamische Berechnung des Zuschneidebereichs basierend auf Gesichtspositionen und -bewegungen
- Kopplung aktiver Sprecher: Integration mit Sprechererkennung, um die sprechende Person zu priorisieren
- Rendering: FFmpeg-Zuschneidefilterkette mit sanften Schwenkübergängen
Re-Framing-Pipeline
- Gesichtserkennung – Führen Sie die YOLO-Gesichtserkennung über abgetastete Frames aus
- Subjekt-Tracking – Verknüpfen Sie Gesichtserkennungen über Frames hinweg mithilfe von IoU-basiertem Tracking
- Sprecherpriorität – Bei Kopplung mit aktiver Sprechererkennung wird das sprechende Subjekt priorisiert
- Zuschneideberechnung – Bestimmen Sie den optimalen 9:16-Zuschneidebereich basierend auf der Position des primären Subjekts
- Glättung – Wenden Sie Easing auf die Zuschneidebewegung an, um ruckartige Sprünge zu vermeiden
- Rendering – FFmpeg wendet den dynamischen Zuschnitt mit sanften Schwenkübergängen an
Hauptfunktionen
- Multi-Subjekt-Verarbeitung – Verfolgt mehrere Gesichter und bestimmt das primäre Subjekt pro Segment
- Sprecherbewusstes Framing – Priorisiert den aktiven Sprecher bei Integration mit Sprechererkennung
- Sanfte Übergänge – Eased Panning zwischen Subjekten eliminiert ruckartige Schnitte
- Anpassung an Inhaltstypen – Verschiedene Framing-Strategien für Solo-, Interview- und Gruppeninhalte
- Stapelverarbeitung – Re-Framing hunderter Clips aus einem einzigen Langform-Video
- Keine manuelle Intervention – Vollautomatisch von der Erkennung bis zum finalen Render
Ergebnisse
Technologie-Stack
caseStudyDetail.more Fallstudien
Entdecken Sie mehr unserer technischen Implementierungen
Plattformübergreifende Social-Media-Planung & Performance-Analyse
Content-Ersteller, die wöchentlich Dutzende von Kurzclips produzierten, benötigten ein einheitliches Planungs- und Analysesystem, um Inhalte über TikTok, YouTube Shorts und Instagram Reels von einem einzigen Dashboard aus zu verbreiten — mit Einblicken zur Optimierung der Posting-Strategie.
Mehrsprachige Untertitel-Übersetzung für die globale Inhaltsverteilung
Content-Ersteller mit internationalem Publikum mussten ihre Reichweite erweitern, indem sie Video-Untertitel in über 30 Sprachen übersetzten, während das Original-Audio erhalten blieb, sodass Zuschauer weltweit Inhalte in ihrer Muttersprache konsumieren konnten.
Bereit, Ihr Unternehmen zu transformieren?
Lassen Sie uns besprechen, wie wir ähnliche Lösungen für Ihre Herausforderungen anwenden können.