Azure MLOps応用

Azure MLの自動機械学習(AutoML)で学習データの不均衡が極めて大きい(少数クラスが全体の2%)場合、検証指標として何を重視すべきか?その理由は?

A.精度(Accuracy)を重視する。全体の98%を占める多数クラスをきちんと分類できているため、精度が高いモデルは信頼できる
✗ 不均衡データでは精度はミスリーディングです。すべて多数クラスと予測するだけで98%の精度が得られ、少数クラスは完全に見落とされる可能性があります。
B.F1スコアやAUC-ROCを重視する。少数クラスの検出率(リコール)と適合率のバランスを評価できるため、不均衡データに適切← 正解
✓ 正解です。F1スコアはPrecisionとRecallの調和平均で、AUC-ROCは閾値に依存しない性能評価が可能。不均衡データにおいて両クラスのバランスを正しく評価できます。
C.適合率(Precision)のみを重視する。少数クラスの予測精度を最大化することがビジネス目標だから
✗ 適合率のみでは、少数クラスの検出漏れ(リコール低下)が見過ごされます。実際のビジネスでは検出漏れが大きな損失になることが多いです。
D.再現率(Recall)が100%のモデルを選ぶ。すべての少数クラスを検出することが絶対要件だから
✗ リコール100%にするとFP(誤検知)が増加し、実用性が低下します。また、AutoMLで自動選択されるわけではなく、手動でハイパーパラメータ調整が必要です。

この問題のポイント

F1スコアはPrecisionとRecallの調和平均で、AUC-ROCは閾値に依存しない性能評価が可能。不均衡データにおいて両クラスのバランスを正しく評価できます。

AI-900:Microsoft Azure AI Fundamentals の問題一覧