Azure ML発展応用

Azure MLで訓練中のモデルが、学習率を0.01に設定した場合と0.001に設定した場合で、以下のような現象が観察されたとき、最も可能性の高い原因として適切なものはどれか? 【0.01】訓練ステップ400で最適値に到達、その後精度が振動 【0.001】訓練ステップ2000以上必要、最適値に安定的に到達

A.学習率0.001が最適値であり、0.01は常に劣っている
✗ 学習率の優劣は問題とモデル、データによって異なります。0.01が劣っているわけではなく、トレードオフの関係にあります。
B.学習率0.01は収束が速いが振動しやすく、0.001は収束が遅いが安定する。適切な学習率は問題に応じて調整が必要← 正解
✓ 正解です。学習率が高い(0.01)とパラメータ更新幅が大きく収束が速いが、最適値周辺で振動しやすくなります。学習率が低い(0.001)と更新が小さく、安定的ですが収束に時間がかかります。最適学習率の選択は重要なハイパーパラメータチューニングです。
C.学習率の違いは訓練時間にしか影響しない
✗ 学習率はただ訓練時間だけでなく、最終的なモデル精度と安定性にも大きく影響します。
D.学習率が低いほど常に最終的な精度が向上する
✗ 学習率が低すぎるとかえって局所最適値に陥りやすく、精度が向上しない可能性があります。

この問題のポイント

学習率が高い(0.01)とパラメータ更新幅が大きく収束が速いが、最適値周辺で振動しやすくなります。学習率が低い(0.001)と更新が小さく、安定的ですが収束に時間がかかります。最適学習率の選択は重要なハイパーパラメータチューニングです。

AI-900:Microsoft Azure AI Fundamentals の問題一覧