Promptのコンテキスト管理とフィルタリング

背景

ファイル解析用のChatAgentを開発する際に、多ターン対話のシナリオでユーザーがファイルをアップロードして解析し、LLMがそのファイル解析結果に基づいてユーザーの質問に回答します。 しかしユーザーの2回目、3回目、4回目…の質問では、質問がファイルと全く関係ない場合があります。この場合、プロンプトのコンテキストに常にファイルの解析結果を含めるのは適切ではなくなります。なぜならトークン入力が多すぎてコストが高くなるためです。プロンプトコンテキストの管理とフィルタリングが非常に重要になります。

分析

1. 最終的な結果品質は、ユーザーの各質問に応じてプロンプトコンテキストの構造と長さを動的に管理することに依存します。

1. ユーザーの各質問に応じてプロンプトコンテキストの構造と長さを動的に管理するには、ユーザーの質問の意図を解析し、ファイルを再度解析するかどうかを判断する必要があります。

1. 意図解析の結果、ユーザーの質問がファイルと全く関係ない場合、ファイル解析結果を含まないように動的にプロンプトコンテキストを構成できます。

1. 意図解析の結果、ユーザーの質問が初回のファイル解析時の質問とほぼ同じであれば、前回のファイル解析結果を直接用いて回答すればよいです。ここでは「質問<=>結果」の関連度スコアが関係します。

1. 意図解析の結果、ユーザーの質問は初回のファイル解析時の質問とは異なるが、ファイル内容をもとに回答する必要がある場合は、LLMを使って再度ファイルを解析します。

フローチャート

• Previous
  Context Management and Filtering in Prompts
• Next
  Prompt之上下文管理和过滤