深層学習誤り発見
以下のニューラルネットワークの活性化関数に関する記述のうち、誤っているものはどれか?
A.ReLU(正規化線形単位)は計算効率が高く、深いネットワークの訓練に広く使用されている
✓ この記述は正しい。ReLUは計算が単純で、深いネットワークでシグモイドやtanhよりも勾配流を良好に保つため広く採用されている。
B.シグモイド関数は出力が0~1の範囲に限定されるため、勾配消失が発生しやすい
✓ この記述は正しい。シグモイド関数は出力が飽和する領域で勾配が非常に小さくなり、深層ネットワークでの勾配消失問題を引き起こしやすい。
C.Tanh関数の出力範囲は-1~1であり、シグモイドよりも勾配消失の影響が大きい← 正解
✓ 正解です。この記述が誤りです。Tanh関数の出力範囲は-1~1で、シグモイドよりも**勾配消失の影響が小さい**(原点付近で勾配がより急勾配)です。
D.Softmax関数は多クラス分類タスクの出力層でしばしば使用される確率分布を生成する
✓ この記述は正しい。Softmaxは複数クラスの確率分布を生成し、多クラス分類の標準的な出力層の活性化関数である。
この問題のポイント
この記述が誤りです。Tanh関数の出力範囲は-1~1で、シグモイドよりも**勾配消失の影響が小さい**(原点付近で勾配がより急勾配)です。
「深層学習」の他の問題
CNN(畳み込みニューラルネットワーク)が画像認識に適している主な理由はどれか?長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか?ニューラルネットワークの訓練中、勾配消失問題(Vanishing Gradient Problem)が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的(200枚程度…リカレントニューラルネットワーク(RNN)を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。