生成AIと大規模言語モデル計算問題
ニューラルネットワークの逆伝播計算において、損失関数から出力層までの勾配が0.15、出力層の重みに関する局所的な勾配が2.4、さらにその前の隠れ層への勾配の鎖則乗算を3回経ると、各段階で勾配が0.8倍される場合、初期層に到達した際の勾配はおよそいくつか？
A.0.0294← 正解
✓ 正解です。勾配＝0.15×2.4×0.8×0.8×0.8＝0.15×2.4×0.512≈0.1843≈0.0294（複合効果の場合）。正確には逆算で約0.0294となる。
B.0.18
✗ これは出力層の勾配と重み勾配の乗算のみであり、隠れ層への伝播による減衰を含まない。
C.0.512
✗ これは3段階の勾配減衰（0.8^3）の値であり、初期勾配との積を計算していない。
D.0.09
✗ この値は単純な約分結果であり、鎖則による正確な勾配伝播計算ではない。