機械学習の評価誤り発見
機械学習の評価メトリクスと実装上の考慮事項に関する以下の記述で、誤っているものはどれか？
A.多クラス分類問題では、マクロ平均（Macro Average）により全クラスを平等に扱い、ミクロ平均（Micro Average）により全体的な性能を評価することができる。
✓ この記述は正しい。マクロ平均とミクロ平均は異なる視点から多クラス問題を評価する方法である。
B.AUC-ROCスコアが0.8の場合、モデルはランダム分類器（AUC=0.5）より確実に優れており、0.9以上が優秀な性能の目安とされる。← 正解
✓ 正解です。この記述が誤りで、正しくは「AUC=0.8はランダム分類器より高いが、『確実に優れている』とは言い切れない」である。AUC値の評価はドメインや用途によって異なり、一般的には0.7以上で良好、0.9以上で優秀とされるが、絶対的な基準はなく、またAUC=0.8が実用上必ずしも十分とは限らない。
C.ロジスティック回帰モデルにおいて、予測値が0.5以上なら陽性、0.5未満なら陰性と分類する場合、この0.5を「閾値」と呼ぶ。
✓ この記述は正しい。閾値の設定はモデルの予測値の解釈において重要である。
D.適合率と再現率の関係は相互に排他的で、一方を高めると必ずもう一方が低下する傾向がある。
✓ この記述は正しい。適合率と再現率はトレードオフの関係にあり、一般的に一方を高めると他方が低下する傾向がある。
この問題のポイント
この記述が誤りで、正しくは「AUC=0.8はランダム分類器より高いが、『確実に優れている』とは言い切れない」である。AUC値の評価はドメインや用途によって異なり、一般的には0.7以上で良好、0.9以上で優秀とされるが、絶対的な基準はなく、またAUC=0.8が実用上必ずしも十分とは限らない。
「機械学習の評価」の他の問題
スパムフィルターで「正常メールを誤ってスパムと判定する（誤検知）」を極力防ぎたい場合に最優先すべき指標はどれか？AUC-ROCスコアが0.5のモデルはどのような状態を示すか？回帰モデルの評価指標として「予測値と実際値の差の二乗の平均の平方根」を計算するものはどれか？不均衡データ（陽性99%・陰性1%）において「精度（Accuracy）だけが高い（99%）」モデルの問題点はどれか？分類モデルの評価において、適合率（Precision）と再現率（Recall）の違いとして最も正確なものはどれか？医療診断モデルで「疾患有りと予測したが実際は無い（偽陽性）」を減らしたい場合と、「疾患有りを見落とす（偽陰性）」を減らし…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。