AI搭載のショートフォーム動画作成プラットフォーム

当社は、ショートフォームコンテンツを大規模に自動でクリップ、キャプション付与、配信するフルスタックのAI搭載動画作成プラットフォームを構築しました。

アーキテクチャ

• フロントエンド: React 18 + Vite + TypeScript (Chakra UI および Tailwind CSS を使用)
• バックエンド: Node.js/Express (MongoDB および Redis を使用)
• 動画レンダリング: FFmpeg (Advanced SubStation Alpha (ASS) キャプションを使用)
• 話者検出: Python/Flask (TalkNet、YOLO 顔検出、Whisper 転写を使用)
• YouTubeダウンローダー: Node.js (yt-dlp および IPローテーション用の Mullvad VPN を使用)
• AI/LLM: Claude 3 (プライマリ)、Gemini 2.0 Flash、GPT-4o (フォールバックチェーン)
• インフラストラクチャ: ハイブリッドオンプレミス + Azure クラウド (Cloudflare R2/CDN を使用)

AIパイプライン

1. コンテンツ取り込み - YouTube URLまたはファイルアップロード
2. AIクリッピング - LLMを活用した魅力的なセグメントの特定
3. 転写 - OpenAI Whisper (単語レベルのタイムスタンプ付き)
4. 話者検出 - 複数人コンテンツのためのTalkNetによる視聴覚融合
5. キャプションスタイリング - 14種類以上の動的スタイル (MrBeast、Hormozi、Ali Abdaal、Karaokeなど)
6. レンダリング - FFmpeg (ASS字幕レンダリングとバッチ処理)
7. 配信 - YouTube、TikTok、Instagramへの直接アップロード

主要機能

1. AIクリップ検出 - バイラルに値するセグメントを自動で検出
2. 14種類以上のキャプションスタイル - さまざまなプラットフォーム向けに最適化されたプロフェッショナルテンプレート
3. アクティブスピーカー検出 - 複数人動画で誰が話しているかを特定
4. マルチプラットフォーム公開 - YouTube、TikTok、Instagramへの投稿とスケジュール設定
5. テンプレートシステム - 事前構築済みテンプレート (Baby Podcast、App Explainer、Supplement Doctor)
6. クレジットベース課金 - サブスクリプションティアとStripe連携