グローバルコンテンツ配信のための多言語キャプション翻訳

私たちは、AIが生成した英語キャプションを取り込み、タイミング、スタイル、および元のオーディオトラックを保持しながら30以上の言語に翻訳する多言語キャプション翻訳パイプラインを構築しました。

アーキテクチャ

• 文字起こし: OpenAI Whisperによる、単語レベルのタイムスタンプ付きソース言語の音声認識（speech-to-text）
• 翻訳エンジン: 30以上のターゲット言語をサポートするAIパワード翻訳API
• タイミング維持: 翻訳されたテキストの長さの違いに対応するためのタイムスタンプ再マッピング
• スタイル保持: キャプションのスタイル（フォント、色、アニメーション）をすべての言語で一貫して適用
• レンダリング: 言語固有の字幕トラックを備えたFFmpeg

翻訳パイプライン

1. ソースの文字起こし - Whisperがオリジナル言語で単語レベルのタイムスタンプを生成
2. セグメントのアラインメント - 単語を自然な字幕セグメントにグループ化
3. AI翻訳 - 各セグメントを文脈と自然な言い回しを保持して翻訳
4. タイムスタンプの再マッピング - 長い/短い翻訳に対応するためにセグメントのタイミングを調整
5. スタイルの適用 - 翻訳されたテキストに同じキャプションスタイル（カラオケ、ボックス型など）を適用
6. マルチトラックレンダリング - 言語ごとに個別のビデオバージョンを生成、または埋め込み字幕トラックを生成

対応言語

ヒンディー語、スペイン語、フランス語、ポルトガル語、ドイツ語、日本語、韓国語、中国語、アラビア語、イタリア語、オランダ語、トルコ語、ロシア語、ポーランド語、その他15以上の言語。

主要機能

1. 30以上の言語 - グローバルコンテンツ配信のための幅広い言語カバレッジ
2. オリジナル音声を保持 - 翻訳はオリジナルの音声の上にキャプションとして表示
3. スタイル付き翻訳 - すべての14以上のキャプションスタイルがすべての言語で機能
4. 文脈認識翻訳 - AIは単語ごとの翻訳だけでなく、意味と自然な言い回しを維持
5. バッチ翻訳 - クリップライブラリ全体を複数の言語に同時に翻訳
6. タイムスタンプインテリジェンス - テキストの長さが異なる言語のための自動タイミング調整