深層学習(ディープラーニング)定義問題
ニューラルネットワークにおける「勾配爆発(Gradient Explosion)」とは何ですか?
A.バックプロパゲーション中に勾配が指数関数的に増大し、重みの更新が不安定になる現象← 正解
✓ 正解です。勾配爆発は、深いネットワークでバックプロパゲーション時に勾配が連鎖的に乗算され、NaN や無限大に達することです。
B.活性化関数がReLUの場合、負の入力に対して勾配がゼロになる現象
✗ これは勾配消失の特徴の一部です。ReLU の負の領域での勾配ゼロ問題は「Dead ReLU」と呼ばれます。
C.訓練中にニューロンが過度に活性化し、計算リソースが枯渇する現象
✗ ニューロンの過度な活性化と計算リソース枯渇は勾配爆発とは異なる問題です。
D.重みの初期値が大きすぎることで、最初の順伝播の出力が発散する現象
✗ これは重みの初期化の問題であり、勾配爆発そのものの定義ではありません。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?