深層学習(ディープラーニング)応用問題
転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない場合、どのような訓練戦略が最適か?
A.事前訓練済みの全層を再度フルで訓練し、重みをゼロから初期化する
✗ 小規模データでゼロから全層を訓練すると、事前訓練の知見を失い、過学習のリスクが極めて高くなります。
B.事前訓練済みの浅い層は凍結(固定)し、深い層のみ微調整する
✗ 浅い層は汎用的な低レベル特徴を学んでおり、凍結すべきはむしろ深い層です。
C.目的タスク用の分類層のみを訓練し、他は凍結する← 正解
✓ 正解です。小規模データでは事前訓練済みの特徴抽出能力をそのまま活用し、最上位の分類層のみを目的タスクに適応させるのが効果的です。
D.事前訓練済みのパラメータを完全に破棄し、ランダム初期化で訓練する
✗ 事前訓練の知見を完全に捨てることは、転移学習の利点を全く生かせません。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?CNNとRNNの最も重要な違いはどれか。