機械学習の評価定義
不均衡データ(陽性99%・陰性1%)において「精度(Accuracy)だけが高い(99%)」モデルの問題点はどれか?
A.計算コストが高い
✗ 精度の高さは計算コストとは無関係。
B.常に多数クラスを予測するだけでも99%の精度になり、少数クラスを検出できていない← 正解
✓ 正解。全件を陽性と予測するだけで99%の精度になる。少数クラスの検出にはF1・Recall・AUCを確認すべき。
C.訓練データが多すぎる
✗ データ量は不均衡問題とは別の問題。
D.モデルが複雑すぎる
✗ モデルの複雑さの問題ではなく、評価指標の選択の問題。
この問題のポイント
全件を陽性と予測するだけで99%の精度になる。少数クラスの検出にはF1・Recall・AUCを確認すべき。
「機械学習の評価」の他の問題
スパムフィルターで「正常メールを誤ってスパムと判定する(誤検知)」を極力防ぎたい場合に最優先すべき指標はどれか?AUC-ROCスコアが0.5のモデルはどのような状態を示すか?回帰モデルの評価指標として「予測値と実際値の差の二乗の平均の平方根」を計算するものはどれか?分類モデルの評価において、適合率(Precision)と再現率(Recall)の違いとして最も正確なものはどれか?医療診断モデルで「疾患有りと予測したが実際は無い(偽陽性)」を減らしたい場合と、「疾患有りを見落とす(偽陰性)」を減らし…混同行列(Confusion Matrix)における「真陽性(TP)」と「真陰性(TN)」の違いは何か?
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。