機械学習の評価応用
ローン審査モデルで、陽性（ローン承認）と陰性（ローン拒否）の件数が10:1の不均衡データを使用しています。F1スコアが0.75、精度が0.92の場合、これらの指標からどのような推測が最も合理的ですか？
A.F1スコア0.75は精度0.92より低いため、このモデルは信頼できない
✗ 数値の大小だけでは判断できません。不均衡データでは、F1スコアが精度より低く出ることは正常な現象です。
B.精度92%と高いため、モデルは十分に優良で本番導入に適している
✗ 精度92%でも不均衡データではすべてを陰性と判定するだけで高精度が得られます。不均衡データではF1スコアなど複合指標を優先すべきです。
C.不均衡データでF1スコアが精度より相対的に低いのは正常で、不均衡データの評価ではF1スコアを重視すべき← 正解
✓ 正解です。10:1の不均衡では、精度は陰性側に偏ります。一方F1スコアは適合率と再現率の調和平均であり、少数派（陽性）の検出性能を反映するため、不均衡データ評価ではF1スコアを重視すべきです。
D.陽性と陰性の比率を均衡させることで、精度とF1スコアの差を解消すべき
✗ アプローチとしてはありますが、実際のローン承認比率を人為的に変更することは非現実的で、評価指標の選択で対応すべきです。
この問題のポイント
10:1の不均衡では、精度は陰性側に偏ります。一方F1スコアは適合率と再現率の調和平均であり、少数派（陽性）の検出性能を反映するため、不均衡データ評価ではF1スコアを重視すべきです。
「機械学習の評価」の他の問題
スパムフィルターで「正常メールを誤ってスパムと判定する（誤検知）」を極力防ぎたい場合に最優先すべき指標はどれか？AUC-ROCスコアが0.5のモデルはどのような状態を示すか？回帰モデルの評価指標として「予測値と実際値の差の二乗の平均の平方根」を計算するものはどれか？不均衡データ（陽性99%・陰性1%）において「精度（Accuracy）だけが高い（99%）」モデルの問題点はどれか？分類モデルの評価において、適合率（Precision）と再現率（Recall）の違いとして最も正確なものはどれか？医療診断モデルで「疾患有りと予測したが実際は無い（偽陽性）」を減らしたい場合と、「疾患有りを見落とす（偽陰性）」を減らし…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。