深層学習（ディープラーニング）計算
ニューラルネットワークで勾配消失問題を考える際、5層の隠れ層を通じてバックプロパゲーションする場合、各層での勾配が0.9倍ずつ減少するとき、最初の層までの勾配減衰率はどの程度か？（小数第3位まで）
A.0.531
✗ 0.531は0.9^6≈0.531であり、6層を通じた場合の値です。5層では誤りです。
B.0.659
✗ 0.659は0.9^4≈0.6561に近い値であり、4層を通じた場合の近似値です。5層では誤りです。
C.0.590← 正解
✓ 正解です。0.9^5=0.59049≈0.590となります。5層を通じた勾配減衰率は約59%です。
D.0.450
✗ 0.450は0.9^8≈0.430に近い値であり、5層を通じた正しい計算結果ではありません。
この問題のポイント
0.9^5=0.59049≈0.590となります。5層を通じた勾配減衰率は約59%です。
「深層学習（ディープラーニング）」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか？CNN（畳み込みニューラルネットワーク）で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか？RNN（再帰型ニューラルネットワーク）で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡（あるクラスが極端に少ない）な場合、モデルの性能を改善するために講じるべき…転移学習（Transfer Learning）で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か？