生成AIと大規模言語モデル計算
ニューラルネットワークの逆伝播計算において、出力層への勾配が0.5、その前の隠れ層への伝播で各段階ごとに勾配が0.6倍される場合、3段階の隠れ層を経た後に到達する勾配はおよそいくつか？
A.約0.108← 正解
✓ 正解です。勾配＝0.5×0.6×0.6×0.6＝0.5×0.216＝0.108。3段階で0.6の3乗（0.216）が乗じられます。
B.約0.18
✗ これは0.5×0.6×0.6＝0.18であり、2段階分の減衰しか計算していません。
C.約0.3
✗ これは0.5×0.6＝0.30であり、1段階分の減衰しか計算していません。
D.約0.072
✗ この値は計算根拠が不明で、正しい鎖則計算ではありません。
この問題のポイント
勾配＝0.5×0.6×0.6×0.6＝0.5×0.216＝0.108。3段階で0.6の3乗（0.216）が乗じられます。