深層学習誤り発見
以下の最適化アルゴリズムと勾配降下法に関する記述のうち、誤っているものはどれか?
A.確率的勾配降下法(SGD)はミニバッチから計算した勾配で重みを更新するため、バッチ勾配降下法より計算効率が良い
✓ この記述は正しい。SGDはミニバッチ処理により、バッチ勾配降下法より計算効率が良く、より頻繁に重み更新ができる。
B.モメンタムは過去の勾配方向を蓄積して加算することで、方向転換が少ない安定した訓練を実現する
✓ この記述は正しい。モメンタムは勾配の蓄積により、ノイズに強い安定した訓練軌跡を実現する。
C.AdamオプティマイザはRMSpropとモメンタムを組み合わせており、適応的な学習率と勾配の方向性を活用する
✓ この記述は正しい。Adamは適応的な学習率(RMSprop)と勾配蓄積(モメンタム)を組み合わせた高性能な最適化アルゴリズムである。
D.学習率は大きいほど訓練が高速化するため、常に大きな値に設定すべきである← 正解
✓ 正解です。この記述が誤りです。学習率が大きすぎるとパラメータが発散し、訓練が不安定になります。適切な学習率の選定が重要です。
この問題のポイント
この記述が誤りです。学習率が大きすぎるとパラメータが発散し、訓練が不安定になります。適切な学習率の選定が重要です。
「深層学習」の他の問題
CNN(畳み込みニューラルネットワーク)が画像認識に適している主な理由はどれか?長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか?ニューラルネットワークの訓練中、勾配消失問題(Vanishing Gradient Problem)が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的(200枚程度…リカレントニューラルネットワーク(RNN)を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。