深層学習誤り発見

以下のニューラルネットワークの活性化関数に関する記述のうち、誤っているものはどれか?

A.ReLU(正規化線形単位)は計算効率が高く、深いネットワークの訓練に広く使用されている
✓ この記述は正しい。ReLUは計算が単純で、深いネットワークでシグモイドやtanhよりも勾配流を良好に保つため広く採用されている。
B.シグモイド関数は出力が0~1の範囲に限定されるため、勾配消失が発生しやすい
✓ この記述は正しい。シグモイド関数は出力が飽和する領域で勾配が非常に小さくなり、深層ネットワークでの勾配消失問題を引き起こしやすい。
C.Tanh関数の出力範囲は-1~1であり、シグモイドよりも勾配消失の影響が大きい← 正解
✓ 正解です。この記述が誤りです。Tanh関数の出力範囲は-1~1で、シグモイドよりも**勾配消失の影響が小さい**(原点付近で勾配がより急勾配)です。
D.Softmax関数は多クラス分類タスクの出力層でしばしば使用される確率分布を生成する
✓ この記述は正しい。Softmaxは複数クラスの確率分布を生成し、多クラス分類の標準的な出力層の活性化関数である。

この問題のポイント

この記述が誤りです。Tanh関数の出力範囲は-1~1で、シグモイドよりも**勾配消失の影響が小さい**(原点付近で勾配がより急勾配)です。

AI-900:Microsoft Azure AI Fundamentals の問題一覧