ファインチューニングまたはRAG: 最適なアプローチは何か

Retrieval Augmented Generation (RAG)

RAGは、外部データをオンデマンドで取得し、実行時にプロンプトにコンテキストを注入することで、LLMの精度を向上させます。このデータは、顧客ドキュメント、ウェブページ、CRMやGoogle Driveなどのサードパーティアプリケーションなど、さまざまなソースから取得できます。

RAGの主要コンポーネント

1. データの取り込みとストレージ:

   • : 初期にすべての関連顧客データを取得します。最初にすべての関連顧客データをプルします。
   • : バックグラウンドジョブを使用して、リアルタイムでデータを更新します。バックグラウンドジョブを使用して、データをリアルタイムで更新します。
   • 埋め込みとストレージ: データをベクトルデータベースに保存して取得する。

2. プロンプトインジェクション:

   • 実行時: ベクトルデータベースから関連するテキストチャンクを取得し、それを初期プロンプト/クエリに注入してLLMが最終応答を生成する。

ファインチューニング

ファインチューニングは、特定のタスクのパフォーマンスを向上させるために、ドメイン特化型データセットで事前トレーニングされたLLMをさらにトレーニングすることを含みます。例えば、AI営業エージェントを構築するために、セールスメールに基づいてモデルをファインチューニングすることです。

ファインチューニングの課題

• データ準備: クリーンで構造化されたトレーニングデータセットが必要です。
• 予測可能な結果より予測可能な結果を生み出しますが、時間がかかります。