深層学習（ディープラーニング）誤り発見
以下のニューラルネットワークの基本的な特性に関する記述について、誤っているものはどれか？
A.活性化関数Sigmoidは出力を0から1の範囲に圧縮するため、勾配消失問題が生じにくく、深いネットワークの隠れ層に最適とされている← 正解
✓ 正解です。この記述が誤りで、正しくはSigmoidは出力が0〜1に圧縮されるため両端で勾配がほぼゼロになり、深いネットワークでは勾配消失問題を引き起こしやすい。深い隠れ層には一般的にReLUなどが推奨される。
B.ReLU活性化関数は負の値を0に、正の値をそのまま出力する非線形関数であり、勾配消失問題を軽減できる
✓ この記述は正しい。ReLU（f(x)=max(0,x)）は計算効率が高く、正の値に対して勾配が1となるため勾配消失問題を緩和する重要な活性化関数です。
C.活性化関数を使用しない線形ニューラルネットワークは、多層構造であっても単一の線形変換と数学的に等価である
✓ この記述は正しい。活性化関数がない場合、多層ネットワークは行列積の結合法則により単一の線形変換に帰着します。
D.Softmax関数は多クラス分類の出力層で使用され、各クラスの確率の和が必ず1となるように正規化する
✓ この記述は正しい。Softmaxは各出力を指数関数に変換し合計で除算することで、全クラスの出力の和が1となる確率分布を得ます。
この問題のポイント
この記述が誤りで、正しくはSigmoidは出力が0〜1に圧縮されるため両端で勾配がほぼゼロになり、深いネットワークでは勾配消失問題を引き起こしやすい。深い隠れ層には一般的にReLUなどが推奨される。
「深層学習（ディープラーニング）」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか？CNN（畳み込みニューラルネットワーク）で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか？RNN（再帰型ニューラルネットワーク）で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡（あるクラスが極端に少ない）な場合、モデルの性能を改善するために講じるべき…転移学習（Transfer Learning）で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か？