深層学習(ディープラーニング)応用問題

転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない場合、どのような訓練戦略が最適か?

A.事前訓練済みの全層を再度フルで訓練し、重みをゼロから初期化する
✗ 小規模データでゼロから全層を訓練すると、事前訓練の知見を失い、過学習のリスクが極めて高くなります。
B.事前訓練済みの浅い層は凍結(固定)し、深い層のみ微調整する
✗ 浅い層は汎用的な低レベル特徴を学んでおり、凍結すべきはむしろ深い層です。
C.目的タスク用の分類層のみを訓練し、他は凍結する← 正解
✓ 正解です。小規模データでは事前訓練済みの特徴抽出能力をそのまま活用し、最上位の分類層のみを目的タスクに適応させるのが効果的です。
D.事前訓練済みのパラメータを完全に破棄し、ランダム初期化で訓練する
✗ 事前訓練の知見を完全に捨てることは、転移学習の利点を全く生かせません。

G検定(深層学習・ジェネラリスト検定) の問題一覧