MLの概念応用

不正取引検出モデルで、正常取引(99%)と不正取引(1%)のクラス不均衡が存在する場合、精度指標だけを基準にモデルを評価すると、どのような問題が発生するか?

A.すべての取引を正常と予測するモデルであっても、高い精度(99%以上)が得られるため、実際には不正検出ができていない状態を見落とす可能性がある← 正解
✓ 正解です。クラス不均衡下では、すべてを多数派と予測するベースラインモデルでも高精度が得られるため、精度は適切な評価指標ではありません。適合率、再現率、F1スコアが必要です。
B.精度指標はクラス不均衡に自動的に調整されるため、問題は発生しない
✗ 精度指標は不均衡に対して自動調整されません。手動で適切な指標を選択する必要があります。
C.不正取引を見落とすモデルが低い精度スコアを示すため、問題は発生しない
✗ 精度指標は多数派クラスに偏るため、不正検出の失敗を見落とすリスクがあります。
D.正常取引と不正取引の判別がより困難になり、モデルの訓練自体が失敗する
✗ クラス不均衡は訓練を失敗させるのではなく、適切な評価指標の選択が必要な課題です。

この問題のポイント

クラス不均衡下では、すべてを多数派と予測するベースラインモデルでも高精度が得られるため、精度は適切な評価指標ではありません。適合率、再現率、F1スコアが必要です。

AI-900:Microsoft Azure AI Fundamentals の問題一覧