MLの概念応用
不正取引検出モデルで、正常取引(99%)と不正取引(1%)のクラス不均衡が存在する場合、精度指標だけを基準にモデルを評価すると、どのような問題が発生するか?
A.すべての取引を正常と予測するモデルであっても、高い精度(99%以上)が得られるため、実際には不正検出ができていない状態を見落とす可能性がある← 正解
✓ 正解です。クラス不均衡下では、すべてを多数派と予測するベースラインモデルでも高精度が得られるため、精度は適切な評価指標ではありません。適合率、再現率、F1スコアが必要です。
B.精度指標はクラス不均衡に自動的に調整されるため、問題は発生しない
✗ 精度指標は不均衡に対して自動調整されません。手動で適切な指標を選択する必要があります。
C.不正取引を見落とすモデルが低い精度スコアを示すため、問題は発生しない
✗ 精度指標は多数派クラスに偏るため、不正検出の失敗を見落とすリスクがあります。
D.正常取引と不正取引の判別がより困難になり、モデルの訓練自体が失敗する
✗ クラス不均衡は訓練を失敗させるのではなく、適切な評価指標の選択が必要な課題です。
この問題のポイント
クラス不均衡下では、すべてを多数派と予測するベースラインモデルでも高精度が得られるため、精度は適切な評価指標ではありません。適合率、再現率、F1スコアが必要です。
「MLの概念」の他の問題
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。