模擬試験誤り発見
以下の記述で誤っているものはどれか?
A.機械学習パイプラインのモデル評価では、訓練データで検証した精度値をそのまま本番環境での性能と見なせる。← 正解
✓ 正解です。この記述が誤りで、訓練データでの精度は過学習(Overfitting)により本番パフォーマンスを過大評価します。必ずテストデータやホールドアウト検証セットで独立評価する必要があります。
B.交差検証(Cross-Validation)を用いることで、限定的な訓練データから安定性の高いモデル性能評価が可能になる。
✓ この記述は正しい。交差検証はデータサイズが限定されたとき特に有効である。
C.混同行列(Confusion Matrix)から計算できる精度、再現率、F1スコアはそれぞれ異なる観点からモデルの予測性能を評価する指標である。
✓ この記述は正しい。精度・再現率・F1 は異なる側面を測定する相補的指標である。
D.ビジネス要件によって、モデルの「偽陽性」と「偽陰性」のコストが異なるため、評価指標も最適化の目標も変わる場合がある。
✓ この記述は正しい。医療診断では偽陰性コストが高く、スパム検知では偽陽性コストが高いなど、業務によって最適化の重点が変わる。
この問題のポイント
この記述が誤りで、訓練データでの精度は過学習(Overfitting)により本番パフォーマンスを過大評価します。必ずテストデータやホールドアウト検証セットで独立評価する必要があります。
「模擬試験」の他の問題
ある保険会社が「過去の請求データから詐欺請求かどうかを予測するモデル」を構築したい。最適なMLタスクはどれか?電力会社が「スマートメーターのデータから需要急増の1時間前に警告を出したい」に最適なアプローチはどれか?小売業者が「商品説明テキストを50言語に翻訳してECサイトに表示したい」に最適なAzureサービスはどれか?病院が「X線画像のPDFレポートから患者名・検査日・所見のテキストを構造化して抽出したい」に最適なAzureサービスはど…航空会社が「問い合わせの音声通話を自動でテキスト化し、感情スコアと要約を付けてCRMに記録するシステム」を構築したい。必…「会社のSlackに投稿されたメッセージから、メンション・日時・プロジェクト名を自動で抽出して課題管理ツールに連携したい…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。