深層学習比較
バッチ正規化(Batch Normalization)とレイヤー正規化(Layer Normalization)の主な違いは何か?
A.バッチ正規化はバッチ内のサンプル間で正規化し、レイヤー正規化はフィーチャー間で正規化する← 正解
✓ 正解です。バッチ正規化はバッチ内の複数サンプルで正規化し、レイヤー正規化は単一サンプルの全フィーチャーで正規化するため、バッチサイズに依存しません。
B.バッチ正規化はCNNのみに使用され、レイヤー正規化はRNNのみに使用される
✗ 使用可能なアーキテクチャに制限はありません。どちらもCNN、RNN、Transformerなど様々に応用されます。
C.バッチ正規化は訓練時のみに機能し、レイヤー正規化は推論時のみに機能する
✗ 両者とも訓練と推論の両段階で機能します。異なる正規化方法ですが、用途は同じです。
D.バッチ正規化とレイヤー正規化は全く同じ効果をもたらす
✗ 正規化の対象範囲が異なるため、バッチサイズの依存性や計算効率が異なります。
この問題のポイント
バッチ正規化はバッチ内の複数サンプルで正規化し、レイヤー正規化は単一サンプルの全フィーチャーで正規化するため、バッチサイズに依存しません。
「深層学習」の他の問題
CNN(畳み込みニューラルネットワーク)が画像認識に適している主な理由はどれか?長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか?ニューラルネットワークの訓練中、勾配消失問題(Vanishing Gradient Problem)が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的(200枚程度…リカレントニューラルネットワーク(RNN)を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。