機械学習の評価応用
画像分類モデルのテストセットでの精度が92%、訓練セットでの精度が98%の場合、どのような対策が最も効果的ですか？
A.モデルの複雑性を増して、訓練精度をさらに高める
✗ 訓練精度をさらに高めることは、訓練データへのさらなる適応（過学習悪化）を招き、テスト精度の低下につながります。
B.過学習を疑い、正則化の強度を上げたり訓練データを増加させたりする← 正解
✓ 正解です。訓練精度98%とテスト精度92%の6ポイント差は過学習を示唆しています。正則化強度の増加や訓練データの増加により、汎化性能を改善できます。
C.テストセットが不適切と判断し、別のテストセットで評価をやり直す
✗ テストセットが不適切な理由がありません。訓練・テスト精度の乖離パターンは過学習を示す典型的な兆候です。
D.精度92%は十分に高いため、現在のモデルをそのまま本番環境に導入する
✗ 精度の絶対値ではなく、訓練とテストの乖離が問題です。このまま本番導入すると、未知データで性能低下を招きます。
この問題のポイント
訓練精度98%とテスト精度92%の6ポイント差は過学習を示唆しています。正則化強度の増加や訓練データの増加により、汎化性能を改善できます。
「機械学習の評価」の他の問題
スパムフィルターで「正常メールを誤ってスパムと判定する（誤検知）」を極力防ぎたい場合に最優先すべき指標はどれか？AUC-ROCスコアが0.5のモデルはどのような状態を示すか？回帰モデルの評価指標として「予測値と実際値の差の二乗の平均の平方根」を計算するものはどれか？不均衡データ（陽性99%・陰性1%）において「精度（Accuracy）だけが高い（99%）」モデルの問題点はどれか？分類モデルの評価において、適合率（Precision）と再現率（Recall）の違いとして最も正確なものはどれか？医療診断モデルで「疾患有りと予測したが実際は無い（偽陽性）」を減らしたい場合と、「疾患有りを見落とす（偽陰性）」を減らし…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。