模擬試験応用
ある企業がAzure OpenAI Serviceを使用して顧客サポートチャットボットを本番運用開始しました。数日後、ユーザーからの質問に対して、存在しない製品仕様や根拠のない回答を生成していることが報告されました。この問題の最も直接的な原因と改善策の組み合わせはどれか？
A.LLMが訓練データに存在しない情報を生成する『ハルシネーション』。RAG（検索拡張生成）で信頼できるナレッジベースを接続する。← 正解
✓ 正解です。LLMのハルシネーションは固有の課題で、RAGにより企業の正確なドキュメントから回答を抽出することで根拠のある応答が実現できます。
B.Azure OpenAI APIのバージョンが古い。最新バージョンにアップグレードする。
✗ APIバージョンアップグレードだけでハルシネーション問題は解決しません。
C.チャットボットのセッションタイムアウト時間が短すぎる。タイムアウトを延長する。
✗ セッションタイムアウトは回答の信頼性とは無関係です。
D.ユーザーが不適切なプロンプトを入力している。ユーザー教育の実施のみが必要。
✗ ユーザー教育だけでは根拠のない回答の生成自体は止められません。
この問題のポイント
LLMのハルシネーションは固有の課題で、RAGにより企業の正確なドキュメントから回答を抽出することで根拠のある応答が実現できます。
「模擬試験」の他の問題
ある保険会社が「過去の請求データから詐欺請求かどうかを予測するモデル」を構築したい。最適なMLタスクはどれか？電力会社が「スマートメーターのデータから需要急増の1時間前に警告を出したい」に最適なアプローチはどれか？小売業者が「商品説明テキストを50言語に翻訳してECサイトに表示したい」に最適なAzureサービスはどれか？病院が「X線画像のPDFレポートから患者名・検査日・所見のテキストを構造化して抽出したい」に最適なAzureサービスはど…航空会社が「問い合わせの音声通話を自動でテキスト化し、感情スコアと要約を付けてCRMに記録するシステム」を構築したい。必…「会社のSlackに投稿されたメッセージから、メンション・日時・プロジェクト名を自動で抽出して課題管理ツールに連携したい…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。