生成AIと大規模言語モデル定義問題
深層学習における「勾配降下法(Gradient Descent)」の計算式として最も適切なものはどれか。
A.w_new = w_old + η × (∂L/∂w)
✗ 符号が反対です。勾配の逆方向に進むべきなので、マイナスが必要です。
B.w_new = w_old - η × (∂L/∂w)← 正解
✓ 正解です。損失関数Lの勾配に学習率ηを乗じた値を現在のパラメータから減算して更新します。
C.w_new = w_old × exp(η × ∂L/∂w)
✗ 指数関数を使用した更新式で、勾配降下法の標準形式ではありません。
D.w_new = w_old / (1 + η × |∂L/∂w|)
✗ この式は勾配情報を適切に利用していません。標準的な勾配降下法ではありません。