深層学習(ディープラーニング)誤り発見
以下の正規化手法とその特性に関する記述について、誤っているものはどれか?
A.バッチ正規化(Batch Normalization)はバッチ単位で活性化を正規化し、訓練中はバッチの統計量を使用し、推論時は学習済み統計量を使用する
✓ この記述は正しい。Batch Normalizationは訓練と推論で異なる統計量を使用する二面的な手法です。
B.レイヤー正規化(Layer Normalization)はミニバッチのサイズに依存せず、各サンプルの特徴次元全体に対して正規化を行う
✓ この記述は正しい。Layer Normalizationはバッチサイズに不依存であり、RNNやTransformerで活躍します。
C.インスタンス正規化(Instance Normalization)は、バッチ内の各サンプルと特徴チャネルごとに独立して正規化し、スタイル転移タスクで有効である
✓ この記述は正しい。Instance Normalizationはスタイル情報を除去し、画像スタイル転移で特に有効です。
D.グループ正規化(Group Normalization)は入力をグループに分割して正規化し、小さなバッチサイズでもバッチ正規化と同等の性能を必ず達成できる← 正解
✓ 正解です。この記述が誤りで、正しくは「グループ正規化は小さなバッチサイズで有効だが、性能は状況や超パラメータ設定に依存し、必ずしもバッチ正規化と同等とは限らない」です。万能ではありません。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?