Azure ML発展応用

Azure MLの自動機械学習(AutoML)で、分類問題のデータセットに極端なクラス不均衡がある場合、モデル評価メトリクスとして最も信頼性が高いものはどれか?

A.精度(Accuracy)をそのまま使用する
✗ 極端なクラス不均衡では、精度は多数派クラスを予測するだけで高くなる可能性があり、少数派クラスの検出性能を見落とします。
B.AUC-ROC曲線を評価指標とする← 正解
✓ 正解です。AUC-ROC曲線はクラス不均衡の影響を受けにくく、閾値変更時の真陽性率と偽陽性率のトレードオフを適切に評価します。不均衡データセットの評価に最適です。
C.クラス比率を無視して適合率のみ参照する
✗ 適合率のみでは、モデルがどの程度少数派クラスを見逃しているか(再現率)が不明となり、不完全な評価になります。
D.多数派クラスの再現率のみを監視する
✗ 多数派クラスの再現率だけでは、実務で重要となる少数派クラスの検出能力を評価できません。

この問題のポイント

AUC-ROC曲線はクラス不均衡の影響を受けにくく、閾値変更時の真陽性率と偽陽性率のトレードオフを適切に評価します。不均衡データセットの評価に最適です。

AI-900:Microsoft Azure AI Fundamentals の問題一覧