深層学習応用
バッチ正規化(Batch Normalization)を訓練中に適用したが、訓練セットでの精度は高いのにテストセットでの精度が著しく低い場合、最も可能性の高い原因はどれか?
A.バッチ正規化が訓練データに過度に適応し、推論時に統計情報を異なる分布に適用している← 正解
✓ 正解です。バッチ正規化は訓練時のミニバッチ統計を使用し、推論時には移動平均を使うため、訓練・テスト分布が異なる場合(データシフト)に性能低下が生じます。
B.正規化により全層の出力が同一分布に強制されるため、モデルの表現力が失われている
✗ バッチ正規化は表現力を失わせるのではなく、スケール・シフト変数により柔軟性を保ち、むしろ訓練を安定化させる。
C.バッチ正規化レイヤーがランダムノイズを付加し、推論時の予測を不安定にしている
✗ バッチ正規化は確定的な正規化を行い、ランダムノイズは意図的に付加されない。ドロップアウトと混同している。
D.ハイパーパラメータの学習率が不適切で、勾配更新が発散している
✗ 学習率の不適切さは訓練精度にも影響するため、訓練精度が高い状況では主原因ではない。
この問題のポイント
バッチ正規化は訓練時のミニバッチ統計を使用し、推論時には移動平均を使うため、訓練・テスト分布が異なる場合(データシフト)に性能低下が生じます。
「深層学習」の他の問題
CNN(畳み込みニューラルネットワーク)が画像認識に適している主な理由はどれか?長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか?ニューラルネットワークの訓練中、勾配消失問題(Vanishing Gradient Problem)が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的(200枚程度…リカレントニューラルネットワーク(RNN)を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。