Azure MLOps応用
Azure MLの自動機械学習(AutoML)で学習データの不均衡が極めて大きい(少数クラスが全体の2%)場合、検証指標として何を重視すべきか?その理由は?
A.精度(Accuracy)を重視する。全体の98%を占める多数クラスをきちんと分類できているため、精度が高いモデルは信頼できる
✗ 不均衡データでは精度はミスリーディングです。すべて多数クラスと予測するだけで98%の精度が得られ、少数クラスは完全に見落とされる可能性があります。
B.F1スコアやAUC-ROCを重視する。少数クラスの検出率(リコール)と適合率のバランスを評価できるため、不均衡データに適切← 正解
✓ 正解です。F1スコアはPrecisionとRecallの調和平均で、AUC-ROCは閾値に依存しない性能評価が可能。不均衡データにおいて両クラスのバランスを正しく評価できます。
C.適合率(Precision)のみを重視する。少数クラスの予測精度を最大化することがビジネス目標だから
✗ 適合率のみでは、少数クラスの検出漏れ(リコール低下)が見過ごされます。実際のビジネスでは検出漏れが大きな損失になることが多いです。
D.再現率(Recall)が100%のモデルを選ぶ。すべての少数クラスを検出することが絶対要件だから
✗ リコール100%にするとFP(誤検知)が増加し、実用性が低下します。また、AutoMLで自動選択されるわけではなく、手動でハイパーパラメータ調整が必要です。
この問題のポイント
F1スコアはPrecisionとRecallの調和平均で、AUC-ROCは閾値に依存しない性能評価が可能。不均衡データにおいて両クラスのバランスを正しく評価できます。
「Azure MLOps」の他の問題
Azure MLで「本番モデルのデータドリフトを定期的に検出して、精度低下前に再訓練アラートを出す」ために使う機能はどれ…Azure MLの「マネージドオンラインエンドポイント」でブルーグリーンデプロイを実現する機能はどれか?Azure MLにおける「バッチ推論パイプライン」と「リアルタイム推論エンドポイント」の主な違いは何か?Azure MLパイプラインの「Published Pipeline」と「Draft Pipeline」の主な使い分けの…Azure MLの「自動機械学習(AutoML)」と「ハイパーパラメータチューニング」の主な目的の違いは?Azure MLの「モデルレジストリ」と「モデルエンドポイント」の主な役割の違いは?
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。