模擬試験応用
ある金融機関が、申請者の信用スコアを予測するMLモデルをAzure MLで構築しました。本番運用開始6ヶ月後、特定の年齢層で予測精度が大幅に低下していることが発覚しました。この状況の主な原因として最も考えられるのはどれか？
A.訓練データで十分に表現されていなかった年齢層の統計分布が、本番データで変化したため← 正解
✓ 正解です。本番環境でのデータドリフト（データ分布の変化）により、訓練時に学習していない条件で精度低下が起きます。定期的なモニタリングと再訓練が必要です。
B.Azure ML Studioのコンピュート容量がスケールダウンされたため
✗ コンピュート容量の変化は推論速度に影響しますが、予測精度の低下には直結しません。
C.モデルの予測確度を決めるしきい値の設定が不正確だったため
✗ しきい値の不正確さはROC曲線調整時に見つかり、6ヶ月後の急激な低下の説明になりません。
D.金融規制当局がモデルの更新を禁止したため
✗ 規制当局が更新を禁止しても、既にデプロイされたモデルの精度自体は変わりません。
この問題のポイント
本番環境でのデータドリフト（データ分布の変化）により、訓練時に学習していない条件で精度低下が起きます。定期的なモニタリングと再訓練が必要です。
「模擬試験」の他の問題
ある保険会社が「過去の請求データから詐欺請求かどうかを予測するモデル」を構築したい。最適なMLタスクはどれか？電力会社が「スマートメーターのデータから需要急増の1時間前に警告を出したい」に最適なアプローチはどれか？小売業者が「商品説明テキストを50言語に翻訳してECサイトに表示したい」に最適なAzureサービスはどれか？病院が「X線画像のPDFレポートから患者名・検査日・所見のテキストを構造化して抽出したい」に最適なAzureサービスはど…航空会社が「問い合わせの音声通話を自動でテキスト化し、感情スコアと要約を付けてCRMに記録するシステム」を構築したい。必…「会社のSlackに投稿されたメッセージから、メンション・日時・プロジェクト名を自動で抽出して課題管理ツールに連携したい…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。