Die Videokreation ist ein datenintensiver Workflow. Ein Adstacker-Projekt kann Quellclips, Miniaturansichten, normalisierte Videos, extrahierte Audiodaten, wiederverwendbare Overlays und fertige Variationen umfassen. Wir benötigen Uploads, die den Anwendungsserver nicht überlasten, eine zuverlässige Validierung, vorhersehbare Ausgabespeicherorte und eine Bereinigung für abgebrochene Arbeiten.
Amazon S3 ist die persistente Asset-Schicht hinter diesem Workflow. Adstacker verwendet es, um große Dateien direkt von den Erstellern in den Speicher zu verschieben, jede Phase eines Projekts zu organisieren und fertige Videos zum Download bereitzustellen.
Die Herausforderung: Video-Assets vervielfachen sich schnell
Kreativtests ermöglichen es, dass eine kleine Auswahl von Clips viele Variationen erzeugt – und schafft ein Asset-Management-Problem. Ein Projekt kann mit Hook-, Body- und CTA-Footage beginnen und dann normalisierte Kopien, Audiodaten, Overlay mit Untertiteln, Miniaturansichten und finale MP4- oder MOV-Ausgaben produzieren.
Jedes Byte über die API zu bewegen würde Uploads verlangsamen und Serverbandbreite verbrauchen. Unpräzise Dateinamen würden Wiederholungsversuche erschweren und verwaiste Assets hinterlassen, wenn ein Ersteller einen Tab während des Uploads schließt.
Die Speicherung muss ein bewusster Teil der Produktionspipeline sein.
Unser Ansatz: S3 über den gesamten Asset-Lebenszyklus hinweg
S3 ist von der Projekterstellung bis zum finalen Download involviert. Das Backend übernimmt die Autorisierung, Manifeste, Validierung und den Jobstatus; S3 kümmert sich um die großen Objekte.
Architektur
Diese Aufteilung gibt Mediendateien einen direkten, persistenten Pfad zum Speicher.
1. Große Videos direkt aus dem Browser hochladen
Wenn ein Ersteller ein Projekt startet, erstellt Adstacker ein Quellvideo-Manifest und gibt ein vorab signiertes S3 POST für jede Datei zurück. Der Browser sendet die Datei direkt an S3, anstatt sie über das Backend zu proxieren.
S3 setzt die signierten Upload-Beschränkungen durch: einen festgelegten Inhaltstyp und einen zulässigen Größenbereich. Diese stoppen leere oder übergroße Uploads, bevor sie ankommen, während die kurzlebige Anfrage begrenzt, was der Browser hochladen kann.
Wenn eine Sitzung unterbrochen wird, stellt Adstacker neue URLs für ausstehende Videos aus. Es prüft auch S3 während der Wiederaufnahme, so dass ein Objekt, das den Abschluss-Callback verpasst hat, dennoch abgeglichen und validiert werden kann.
2. Überprüfen, was angekommen ist, bevor es verarbeitet wird
Ein im Browser abgeschlossener Upload reicht nicht aus, um mit dem Rendering zu beginnen. Das Backend verwendet S3 HEAD, um das Objekt zu bestätigen, dessen Größe und ETag zu lesen und dieses ETag mit dem validierten Video zu speichern.
Als Nächstes lädt Adstacker das Objekt temporär zur FFprobe-Validierung herunter. Wir bestätigen, dass es lesbar ist und dass Dauer und effektive Auflösung den Projektanforderungen entsprechen. Ungültige Dateien erhalten einen nützlichen Ablehnungsgrund und werden gelöscht; vorübergehende Lesefehler lassen das Objekt für einen erneuten Versuch an Ort und Stelle.
Jedes Video durchläuft einen klaren Lebenszyklus: ausstehend, wird hochgeladen, hochgeladen, wird validiert, validiert oder abgelehnt. Ein Projekt schreitet erst voran, nachdem jedes erwartete Asset validiert wurde, und atomare Updates verhindern, dass doppelte Callbacks ein Video doppelt zählen.
3. Jede Ausgabe vorhersehbar und wiederverwendbar machen
Adstacker verwendet deterministische S3-Pfade basierend auf Projekt, Asset-Typ, Kategorie und Variation. Normalisierte Medien und extrahierte Audiodaten sind getrennt von gerenderten Overlays und finalen Kombinationen gespeichert.
Diese Organisation hilft der Pipeline auf dreifache Weise:
- Direkter Abruf: Worker können genau die Eingabe oder Ausgabe finden, die einem Projekt und einer Variation zugeordnet ist.
- Effiziente Wiederverwendung: Wiederverwendbare Overlays werden einmal gespeichert und können mehr als eine finale Kombination unterstützen.
- Idempotente Wiederholungsversuche: Ein Wiederholungsversuch schreibt auf denselben erwarteten Key, wodurch eine wachsende Spur doppelter Exporte vermieden wird.
Finale Videoaufzeichnungen halten die S3-Keys und URLs für Ausgabe, Thumbnail und – falls relevant – MOV-Variante vor. Die Anwendung kann dann das bereite Format bereitstellen.
4. Sicherer Zugriff und Bereinigung unvollständiger Arbeiten
Der S3-Bucket ist privat. Adstacker stellt zeitlich begrenzte, signierte Download-URLs aus, optional mit einem Download-Dateinamen, so dass Assets keine öffentliche Zugänglichkeit benötigen.
Nicht jeder Upload wird zu einem abgeschlossenen Projekt. Eine geplante Bereinigung identifiziert veraltete unvollständige Projekte und löscht ihre verbleibenden S3-Quellobjekte. Abgelehnte Uploads werden sofort nach Fehlschlagen der Validierung gelöscht.
Diese Lebenszyklusregeln begrenzen verlassenen Speicherplatz, während die Projekthistorie erhalten bleibt.
Praxisbeispiel: Ein unterbrochener Upload bedeutet keinen Neustart
Stellen Sie sich vor, ein Vermarkter lädt sechs Clips hoch und schließt dann den Browser, nachdem vier S3 erreicht haben. Bei der Rückkehr stellt Adstacker die Upload-Sitzung wieder her und stellt neue vorab signierte Anfragen für unfertige Clips bereit. Es prüft auch, ob eine Datei S3 erreicht hat, selbst wenn der Abschluss-Callback verloren ging.
Sobald alle sechs Dateien verifiziert und validiert sind, geht das Projekt in die Verarbeitung über. Quellen, vorbereitete Medien, Overlays, Miniaturansichten und finale Variationen bleiben für jeden späteren Schritt unter bekannten Keys organisiert.
Speicherung, konzipiert für kreative Geschwindigkeit
Amazon S3 ermöglicht es Adstacker, Video-Assets als einen verwalteten Lebenszyklus zu behandeln: direkt hochladen, das Objekt verifizieren, die Medien validieren, vorhersehbare Ausgaben erstellen, Downloads autorisieren und unvollständige Arbeiten bereinigen. Das ermöglicht es der kreativen Pipeline, sich darauf zu konzentrieren, Clips in testbare Variationen umzuwandeln.
Laden Sie Ihre Assets in Adstacker hoch, erstellen Sie die Kombinationen, die Sie testen möchten, und lassen Sie die Plattform den Speicher-Workflow hinter jedem Rendering verwalten.
Technologie-Stack: Amazon S3 · AWS SDK for JavaScript · Presigned S3 POSTs · NestJS · FFprobe · AWS ECS Fargate · MongoDB
Lesen Sie mehr von unserem Team
1. Export Service vs. Video Editor Pipeline
