深層学習(ディープラーニング)応用問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?
A.バッチサイズを大幅に増加させる
✗ バッチサイズの増加は勾配消失そのものの原因ではなく、学習の安定性には別の影響を与えます。
B.活性化関数をReLUなどの勾配を保持しやすいものに変更する← 正解
✓ 正解です。ReLUやその派生関数は飽和領域が少なく、勾配が逆伝播時に消失しにくい特性を持ちます。
C.データセットのサンプル数を削減する
✗ サンプル数の削減は勾配消失問題と無関係であり、かえって学習効果を悪化させます。
D.学習率を10倍に上げる
✗ 学習率の上昇は勾配消失の根本原因を解決せず、むしろ発散を招く可能性があります。
「深層学習(ディープラーニング)」の他の問題
CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?CNNとRNNの最も重要な違いはどれか。