深層学習(ディープラーニング)比較問題
活性化関数のReLUとSigmoidの主な違いは何か。
A.ReLUは勾配消失問題を緩和し出力範囲が無制限だが、Sigmoidは出力範囲が0〜1に制限される← 正解
✓ 正解です。ReLUは勾配消失を軽減し、出力は0以上の値です。Sigmoidは0〜1に出力を圧縮し、勾配消失の影響を受けやすいです。
B.Sigmoidは隠れ層に適し、ReLUは出力層にのみ適している
✗ 誤りです。ReLUが隠れ層に適し、Sigmoidは出力層(特に二値分類)に適しています。逆です。
C.ReLUは確率的な活性化だがSigmoidは決定的である
✗ 誤りです。両者とも決定的な関数で、確率性はありません。
D.Sigmoidは勾配爆発を防ぐが、ReLUは勾配爆発を引き起こす
✗ 誤りです。Sigmoidも勾配爆発の影響を受ける可能性があります。勾配爆発対策はgradient clippingなどの手法です。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?