Media Connects

MicrocosmWorksは、Media ConnectsにPineconeとChromaDBをデュアルベクトルストアとして統合しました。スクレイピングされたブログコンテンツは意味的な検索のために埋め込まれ、インデックス化されるため、新しい記事を生成する際にChatGPT APIは既存のブログコーパスから文脈上関連性の高い箇所を受け取ります。このRAGアプローチにより、生成されたコンテンツはトピックの一貫性を保ち、既存記事の繰り返しを避け、関連する以前のコンテンツを正確に参照することが保証されます。

MicrocosmWorksはMedia Connectsにインテリジェントなスクレイピングシステムを構築しました。このシステムは、ブログ URL を受け取り、サイト構造をクロールし、記事のテキスト、メタデータ、カテゴリを抽出し、その後、vector embedding のためにコンテンツを正規化します。このスクレイパーは、様々なブログプラットフォームや HTML 構造に対応し、rate limiting や anti-bot measures のためのエラー処理も備えています。スクレイピングされたコンテンツは、keyword search と semantic search の両方のために、その vector embeddings と共に MongoDB に保存されます。

MicrocosmWorksは、コンテンツ生成パイプラインの主要機能としてSEO最適化を実装しました。Media Connectsは記事を生成する際に、ターゲットキーワード、競合コンテンツ構造、および検索意図パターンを分析します。その出力には、SEOに配慮したタイトル、メタディスクリプション、ヘッダー階層、内部リンクの提案、キーワード密度最適化が含まれており、手作業によるSEO作業が必要な生の下書きではなく、公開準備の整ったコンテンツを生成します。

MicrocosmWorksは、Media Connects内にログイン、サインアップ、セッション管理機能を備えたJWTベースの認証システムを構築しました。ユーザーは、生成された記事の編集機能を備えた個別のコンテンツライブラリを保持します。このアーキテクチャは、複数のユーザーが共有組織アカウントの下でコンテンツパイプラインで共同作業できるチームベースのアクセスをサポートしており、誰がコンテンツを生成、編集、公開できるかはロールベースの権限によって制御されます。

MicrocosmWorksは、LLMのトレーニングデータのみに依存するのではなく、スクレイピングされたブログコーパスからの実際のソース資料にすべての生成コンテンツを根拠づけることで、Media ConnectsのRAGパイプラインを設計し、事実の正確性を最大化しました。この検索拡張アプローチは、バニラのChatGPTの出力と比較して、幻覚（ハルシネーション）を大幅に削減します。ユーザーはソース引用を確認し、内蔵エディタで生成されたコンテンツを編集し、反復的な品質改善のためにプロンプトを洗練させることができます。