機械学習の基礎比較問題
勾配降下法と確率的勾配降下法（SGD）の主な違いは何か。
A.勾配降下法は全データを使用してパラメータを更新し、SGDはランダムに選んだデータのミニバッチで更新する← 正解
✓ 正解です。勾配降下法は全訓練データで勾配を計算するため計算量が多く、SGDはミニバッチで更新して計算効率と収束性を改善します。
B.勾配降下法はより高速で、SGDはより正確な最適解を常に見つける
✗ 勾配降下法は計算量が大きく低速で、SGDは高速ですが収束が不安定になる場合があります。
C.勾配降下法はニューラルネットワークに対応し、SGDは線形回帰のみに対応する
✗ どちらのアルゴリズムも様々な機械学習タスクに広く適用可能です。
D.勾配降下法は凸関数に対してのみ機能し、SGDは非凸関数にも対応できる
✗ 勾配降下法もSGDも凸・非凸両方の関数で使用でき、違いはあくまでデータ処理方式です。