機械学習の評価定義
AUC-ROCスコアが0.5のモデルはどのような状態を示すか?
A.完璧な分類性能
✗ AUC=1.0が完璧な分類。0.5は最悪のケース(ランダム以下もある)。
B.ランダム予測と同等で実用的な識別能力がない← 正解
✓ 正解。AUC=0.5はROC曲線が対角線上にあるランダム予測と同等の状態。モデルの見直しが必要。
C.高い適合率(Precision)を持つ
✗ AUCはPrecisionを直接示す指標ではなく、TP率とFP率のトレードオフ全体を評価する。
D.大量のデータで訓練された証拠
✗ データ量と性能は直接関係しない。適切なデータで学習できていないと0.5になりうる。
この問題のポイント
AUC=0.5はROC曲線が対角線上にあるランダム予測と同等の状態。モデルの見直しが必要。
「機械学習の評価」の他の問題
スパムフィルターで「正常メールを誤ってスパムと判定する(誤検知)」を極力防ぎたい場合に最優先すべき指標はどれか?回帰モデルの評価指標として「予測値と実際値の差の二乗の平均の平方根」を計算するものはどれか?不均衡データ(陽性99%・陰性1%)において「精度(Accuracy)だけが高い(99%)」モデルの問題点はどれか?分類モデルの評価において、適合率(Precision)と再現率(Recall)の違いとして最も正確なものはどれか?医療診断モデルで「疾患有りと予測したが実際は無い(偽陽性)」を減らしたい場合と、「疾患有りを見落とす(偽陰性)」を減らし…混同行列(Confusion Matrix)における「真陽性(TP)」と「真陰性(TN)」の違いは何か?
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。