ファイナル確認応用

Azure OpenAI ServiceでRAG(Retrieval-Augmented Generation)を実装し、社内ナレッジベースから最関連性の高いドキュメントを取得して回答生成を行うシステムがあります。ユーザーの質問に対して不正確な回答が返される場合、最初に調査すべき項目はどれか。

A.GPT-4のモデルバージョンを最新にアップグレードすれば、自動的に精度が向上する
✗ モデルアップグレードは有効な場合もありますが、RAGシステムの不正確さの原因は多くの場合、検索品質にあります。
B.検索ロジック(埋め込みモデル、スコアリング、取得ドキュメント数など)と、実際に取得されているドキュメントの関連性を確認する← 正解
✓ 正解です。RAGでは検索ステップが回答品質を大きく左右するため、埋め込みモデルや取得ドキュメントの関連性を最初に検証すべきです。
C.プロンプトを複雑にして、より詳細な指示を加えれば、精度が向上する
✗ 不正確な情報源を検索している場合、プロンプト調整だけでは問題を解決できません。
D.ナレッジベース全体を削除し、新しい内容で完全に置き換える必要がある
✗ ナレッジベースの完全置換は、既存の有効なドキュメントを失う危険があり、段階的改善が推奨されます。

この問題のポイント

RAGでは検索ステップが回答品質を大きく左右するため、埋め込みモデルや取得ドキュメントの関連性を最初に検証すべきです。

AI-900:Microsoft Azure AI Fundamentals の問題一覧