深層学習誤り発見

以下の最適化アルゴリズムと勾配降下法に関する記述のうち、誤っているものはどれか?

A.確率的勾配降下法(SGD)はミニバッチから計算した勾配で重みを更新するため、バッチ勾配降下法より計算効率が良い
✓ この記述は正しい。SGDはミニバッチ処理により、バッチ勾配降下法より計算効率が良く、より頻繁に重み更新ができる。
B.モメンタムは過去の勾配方向を蓄積して加算することで、方向転換が少ない安定した訓練を実現する
✓ この記述は正しい。モメンタムは勾配の蓄積により、ノイズに強い安定した訓練軌跡を実現する。
C.AdamオプティマイザはRMSpropとモメンタムを組み合わせており、適応的な学習率と勾配の方向性を活用する
✓ この記述は正しい。Adamは適応的な学習率(RMSprop)と勾配蓄積(モメンタム)を組み合わせた高性能な最適化アルゴリズムである。
D.学習率は大きいほど訓練が高速化するため、常に大きな値に設定すべきである← 正解
✓ 正解です。この記述が誤りです。学習率が大きすぎるとパラメータが発散し、訓練が不安定になります。適切な学習率の選定が重要です。

この問題のポイント

この記述が誤りです。学習率が大きすぎるとパラメータが発散し、訓練が不安定になります。適切な学習率の選定が重要です。

AI-900:Microsoft Azure AI Fundamentals の問題一覧