深層学習(ディープラーニング)比較問題
勾配降下法(Gradient Descent)とその変種であるAdam オプティマイザーの主な違いは何か。
A.勾配降下法は一定の学習率を使用し、Adamは過去の勾配情報を利用して適応的に学習率を調整する← 正解
✓ 正解です。勾配降下法は固定学習率を使用しますが、Adamはモーメント推定(一次・二次)を利用してパラメータごとに学習率を動的に調整します。
B.勾配降下法は確率的、Adamはバッチで処理する決定的なアルゴリズムである
✗ 誤りです。勾配降下法にはSGD(確率的)やバッチ版もあります。Adamもミニバッチ処理が可能で、確率的です。
C.Adamは勾配消失問題を完全に解決するが、勾配降下法は解決できない
✗ 誤りです。Adamも勾配消失問題を完全には解決しません。活性化関数の工夫など他の対策も必要です。
D.勾配降下法はニューラルネットワークのみに使用でき、Adamはあらゆる機械学習モデルに適用できる
✗ 誤りです。両者ともニューラルネットワークで広く使用され、他の機械学習手法にも応用できます。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?