深層学習(ディープラーニング)計算問題
ニューラルネットワークで勾配消失問題を考える際、5層の隠れ層を通じてバックプロパゲーションする場合、各層での勾配が0.9倍ずつ減少するとき、最初の層までの勾配減衰率はどの程度か?(小数第3位まで)
A.0.531← 正解
✓ 正解です。0.9の5乗=0.9^5=0.59049≈0.590です。最初の層までの勾配減衰率は約59%となります。
B.0.659
✗ これは0.9の3乗=0.729の値に近いですが、5層を通じた場合ではありません。誤りです。
C.0.590
✗ これはほぼ正しい計算結果(0.59049)ですが、丸め方が異なります。0.590が正確な小数第3位までです。
D.0.450
✗ これは0.9の4乗より小さい値です。5層を通じた減衰率として計算が誤っています。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?