生成AI応用応用
法律事務所がAzure OpenAI ServiceでRAG基盤の判例検索システムを4ヶ月運用しています。最近『検索結果の関連性が初月と比較して30%低下した』という報告が上がりました。この劣化の最も可能性が高い原因はどれか？
A.LLMが経年使用により自動的に性能低下する仕様である
✗ LLMの推論性能は使用回数では劣化せず、これは技術的根拠がない説明です。
B.新規判例をベクトルデータベースに追加した際、埋め込みモデルのバージョン不統一により、類似度計算が不正確になった← 正解
✓ 正解です。埋め込みモデルのバージョン変更やアップデート時に、既存データの埋め込みベクトルとクエリベクトルの空間が不一致になり、類似度計算精度が大きく低下します。
C.ユーザーが同じクエリを繰り返し入力することで、LLMが過学習した
✗ RAGシステムではLLMが実際に新データを学習しないため、過学習は発生しません。
D.Azure OpenAI Serviceのネットワーク遅延が増加し、タイムアウトエラーが増えている
✗ ネットワーク遅延はタイムアウトを招きますが、返却された結果の『関連性』を直接低下させません。
この問題のポイント
埋め込みモデルのバージョン変更やアップデート時に、既存データの埋め込みベクトルとクエリベクトルの空間が不一致になり、類似度計算精度が大きく低下します。
「生成AI応用」の他の問題
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。