Ssemble

MicrocosmWorks は FFmpeg と Node.js を使用してサーバーサイドの動画エクスポートを構築しました。これは、複数の動画トラック、エフェクト、トランジション、キャプションを処理する高品質なレンダリングパイプラインを扱います。このシステムは、設定可能なビットレートとコーデック設定を備え、720p から 4K 解像度までのエクスポートをサポートし、1日数ひゃん件のエクスポートリクエストを処理しています。アーキテクチャは、ブロックせずに並行レンダリングを処理するためにキューベースのジョブ管理を使用しています。

MicrocosmWorksは、動画フレーム全体で話者の顔を検出・追跡し、被写体をフレーム内に保つように動画のクロップを自動的にセンタリングおよび位置調整するPythonベースのAIアプリケーションを開発しました。これは、9:16の縦長フォーマットでインテリジェントなフレーミング決定が必要となるYouTube Shortsにとって特に重要です。このシステムは顔の位置をリアルタイムで処理し、検出された顔の間でスムーズなパンニングトランジションを生成します。

MicrocosmWorksはSsembleにおいて、拡張可能なプラグインアーキテクチャを構築しました。これにより、コアプラットフォームコードを変更することなく、サードパーティの統合やカスタム機能を追加できます。プラグインは、新しいエフェクト、トランジション、AI機能、エクスポート形式、および外部サービスとの統合を追加できます。プラグイン API は、ドキュメント化されたインターフェースを通じて、ビデオ編集キャンバス、タイムライン、レンダリングパイプラインへのサンドボックス化されたアクセスを提供します。

MicrocosmWorksは、アップロードされた動画に対し、同期されたキャプションを自動生成するAI搭載の音声テキスト変換機能を統合しています。このシステムは、複数の言語をサポートする言語モデルを介してオーディオトラックを処理し、その後、フレーム単位で正確に同期されたスタイル付きキャプションを動画のタイムラインに重ねます。ユーザーは生成されたキャプションを編集し、複数のキャプションスタイルから選択し、エクスポートする前に位置を調整できます。

MicrocosmWorks は、Ssemble のクラウドデプロイメントを Azure DevOps 上で、自動化されたテストとデプロイメントのための GitLab ベースの CI/CD パイプラインと共に管理しています。このインフラストラクチャは、FFmpeg レンダリング用のオートスケーリングワーカーノード、プロジェクトデータ用の MongoDB、およびエクスポートされた動画用の CDN 配信により、コンピューティング集約型の動画処理ワークロードに対応しています。このプラットフォームは、増加する有料ユーザーベースからの1日あたりの数百のリクエストを信頼性高く処理します。