機械学習の基礎応用問題
クラス不均衡なデータセット（正例1000件、負例50000件）で、精度が99%に達したモデルについて、実際の予測性能をどのように評価すべきですか？
A.精度が99%なので、モデルは高性能であり、そのまま本番運用できる
✗ クラス不均衡では、全て負例と予測しても精度99%以上になるため、精度だけでは性能が判定できません。
B.精度のみでは不十分で、適合率・再現率・F1スコアなど複数の指標で評価すべき← 正解
✓ 正解です。不均衡データでは適合率・再現率・F1スコア・混同行列などで、少数派クラスの予測性能を詳しく確認必須です。
C.クラス不均衡では精度は信頼できないため、AUCのみで判定する
✗ AUCは有用な指標ですが、実務では適合率・再現率も重要であり、AUCだけでは不十分です。
D.負例が大多数のため、すべてを負例と予測するダミーモデルを基準に比較する
✗ ダミーモデルとの比較は有用ですが、複数指標の確認がより重要です。精度比較よりも他の指標が優先されます。