深層学習(ディープラーニング)応用問題
RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGRUを採用する理由は何か?
A.計算コストが大幅に削減されるため
✗ LSTMやGRUは標準的なRNNよりもゲート機構を持つため、計算コストはむしろ増加します。
B.勾配消失・爆発問題を軽減し、長期の情報伝播を可能にするため← 正解
✓ 正解です。LSTMのセルステートとゲート機構、またはGRUの更新ゲートは、勾配の流れを制御し、長期依存を学習可能にします。
C.活性化関数がより多くの非線形性を獲得するため
✗ 非線形性の増加が長期依存性の解決につながるわけではなく、むしろゲート機構による勾配制御が重要です。
D.モデルのパラメータ総数が確実に減少するため
✗ LSTMやGRUはゲートユニットにより標準的なRNNより多くのパラメータを持つため、この説明は誤りです。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?CNNとRNNの最も重要な違いはどれか。