深層学習(ディープラーニング)比較問題
バッチ正規化(Batch Normalization)とレイヤー正規化(Layer Normalization)の主な違いは何か。
A.バッチ正規化はミニバッチ全体で正規化し、レイヤー正規化は各サンプルの特徴次元全体で正規化する← 正解
✓ 正解です。バッチ正規化は複数サンプルのバッチ次元で統計量を計算し、レイヤー正規化は各サンプル内の特徴次元で計算します。
B.バッチ正規化はRNNに、レイヤー正規化はCNNに最適化されている
✗ 誤りです。バッチ正規化はCNNに、レイヤー正規化はTransformerなどのRNNに向いています。逆です。
C.レイヤー正規化はバッチサイズに依存せず安定しているため、常にバッチ正規化より優れている
✗ 誤りです。それぞれに利点・欠点があり、タスクやモデル構造によって使い分けます。
D.バッチ正規化は訓練時と推論時で同じ処理を行うが、レイヤー正規化は異なる処理を行う
✗ 誤りです。バッチ正規化は訓練と推論で異なる処理(統計量の計算方法が違う)を行いますが、レイヤー正規化は同じです。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?