深層学習応用

バッチ正規化(Batch Normalization)を訓練中に適用したが、訓練セットでの精度は高いのにテストセットでの精度が著しく低い場合、最も可能性の高い原因はどれか?

A.バッチ正規化が訓練データに過度に適応し、推論時に統計情報を異なる分布に適用している← 正解
✓ 正解です。バッチ正規化は訓練時のミニバッチ統計を使用し、推論時には移動平均を使うため、訓練・テスト分布が異なる場合(データシフト)に性能低下が生じます。
B.正規化により全層の出力が同一分布に強制されるため、モデルの表現力が失われている
✗ バッチ正規化は表現力を失わせるのではなく、スケール・シフト変数により柔軟性を保ち、むしろ訓練を安定化させる。
C.バッチ正規化レイヤーがランダムノイズを付加し、推論時の予測を不安定にしている
✗ バッチ正規化は確定的な正規化を行い、ランダムノイズは意図的に付加されない。ドロップアウトと混同している。
D.ハイパーパラメータの学習率が不適切で、勾配更新が発散している
✗ 学習率の不適切さは訓練精度にも影響するため、訓練精度が高い状況では主原因ではない。

この問題のポイント

バッチ正規化は訓練時のミニバッチ統計を使用し、推論時には移動平均を使うため、訓練・テスト分布が異なる場合(データシフト)に性能低下が生じます。

AI-900:Microsoft Azure AI Fundamentals の問題一覧