機械学習の基礎応用問題
訓練データに対する損失は減少し続けているのに、検証データの損失が増加し始めた場合、モデルの状態はどのようになっていると考えられますか?
A.モデルが十分に学習できておらず、より多くのエポックが必要である
✗ 訓練損失が減少し続けているため、むしろ学習は進んでいます。問題は学習のしすぎです。
B.過学習(オーバーフィッティング)が発生し、訓練データへの適合が進み過ぎている← 正解
✓ 正解です。訓練損失の減少と検証損失の増加は過学習の典型的な兆候です。モデルが訓練データのノイズまで学習しています。
C.学習率が高すぎて、最適解の周辺を振動している
✗ 学習率が高い場合、訓練損失自体が安定して減少しない傾向があります。ここでは訓練損失は正常に減少しています。
D.バッチサイズが小さすぎて、勾配が不安定になっている
✗ バッチサイズが小さい場合、勾配ノイズにより訓練曲線は不安定になりますが、検証損失が特に増加する理由にはなりません。