Azure ML応用
Azure AutoML で分類モデルを作成するとき、不均衡データセット(陰性サンプル85%:陽性サンプル15%)に対して正解率(Accuracy)を主要評価指標に設定してモデルを自動生成した場合、どのような問題が起きやすいか?
A.生成されたモデルは陽性サンプルをほぼすべて陽性と誤判定し、偽陽性率(False Positive Rate)が非常に高くなる
✗ この現象(偽陽性率の上昇)は発生しません。むしろ陽性クラスの検出能力が失われるのが問題です。
B.生成されたモデルはすべてのサンプルを陰性と予測する単純な戦略を採用し、正解率は高いが陽性検出能力が失われる← 正解
✓ 正解です。不均衡データで正解率を最適化すると、すべてを陰性と予測するだけで正解率85%を達成でき、モデルが陽性クラスを識別する意欲を失います。
C.生成されたモデルの訓練時間が極端に長くなり、タイムアウトエラーが頻繁に発生する
✗ データの不均衡はAutoMLの訓練時間に直接は影響しません。むしろデータ特性に起因する問題です。
D.生成されたモデルは陽性サンプルを過度に重視するため、逆に陰性サンプルの誤分類が増加する
✗ 正解率最適化では陰性クラスを優先するため、逆の現象(陽性誤分類増加)が起こります。
この問題のポイント
不均衡データで正解率を最適化すると、すべてを陰性と予測するだけで正解率85%を達成でき、モデルが陽性クラスを識別する意欲を失います。
「Azure ML」の他の問題
Azure Machine Learning DesignerとAutomated MLの違いとして正しいものはどれか?Azure MLで「注文ごとに即時で詐欺判定を返すAPI」と「月末に100万件を一括処理するAPI」に対してそれぞれ適切…Azure MLのモデルレジストリの主な目的はどれか?Azure MLのResponsible AI ダッシュボードで確認できる分析として含まれないものはどれか?Azure MLのAutoMLが複数のモデルを試した後、最終的に最良モデルを選ぶ基準として使われる指標の例として正しいの…Azure Machine Learningで複数のアルゴリズムとパラメータを自動試行し、特定データに最適なモデルを特定…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。