AIソリューションの実装とユースケース応用問題
Amazon SageMakerでトレーニングしたレコメンデーションモデルを本番環境にデプロイし、リアルタイム推論エンドポイントを運用開始から3ヶ月が経過しました。最初の1ヶ月は高い精度を維持していましたが、2ヶ月目から推論精度が徐々に低下し始め、ユーザーの満足度が低下していることが報告されました。トレーニングに使用したデータは過去12ヶ月のユーザー行動データで、本番環境では継続的に新しいユーザー行動データが蓄積されています。この状況で精度低下が起きている最も可能性の高い原因と、それに対する最適な対処方法の組み合わせはどれですか？
A.データドリフト（Data Drift）が発生しており、トレーニングデータと本番データの分布に乖離が生まれている。定期的にモデルの精度を監視し、精度が一定値以下に低下した際にはモデル再トレーニングを実施する必要がある。← 正解
✓ 正解です。3ヶ月間のユーザー行動の変化によりデータドリフトが発生し、トレーニングデータ（過去12ヶ月）と現在の本番データ分布が乖離した典型的なケースです。定期的な監視と再トレーニングが最適な対処です。
B.推論エンドポイントのインスタンスリソースが不足しており、レイテンシが増加してタイムアウトエラーが増えている。エンドポイントのインスタンスタイプをより高性能なものにアップグレードすべきである。
✗ インスタンスリソース不足は一般的にはレイテンシ増加やタイムアウトエラーとして顕在化しますが、精度低下の直接的な原因ではなく、ここでの精度低下との因果関係が薄弱です。
C.本番環境でのユーザー数が急増したため、バッチ推論ではなくリアルタイム推論を使用しているモデルではスケーリングが追いつかない。Amazon SageMakerのオートスケーリング機能を無効にして、固定インスタンス数を大幅に増加させるべきである。
✗ ユーザー数増加はスループットやレイテンシの問題を引き起こしますが、推論精度そのものの低下とは無関係です。また、オートスケーリング機能を無効化する提案は不適切です。
D.トレーニングデータに含まれる異常値（Outlier）がモデルの汎化能力を低下させている。本番環境でのすべての推論結果に対して外れ値検出を実施し、閾値外の結果は出力しないようにすべきである。
✗ 本番環境での外れ値検出によって一部の推論を非出力にすることは、精度低下そのものの根本的な解決にはなりません。データドリフトが主原因である場合、モデル再トレーニングが必須です。