深層学習定義
RNNの主な制限事項として知られる「勾配消失問題」とはどのような現象か？
A.訓練時間が長くなるにつれて、モデルの処理速度が指数関数的に低下する
✗ これはハードウェアまたはデータ量の問題です。勾配消失とは関連がありません。
B.逆伝播時に勾配が連鎖的に乗算され、深い層では勾配がほぼ0に近づき、重みの更新が停止する← 正解
✓ 正解です。特にRNNで深い時系列を処理時、逆伝播で勾配が減衰し、初期層の重み更新ができなくなる現象です。
C.ネットワークの層数を増やすと、各層の出力が同じ値に収束してしまう
✗ これはニューロンの出力飽和による別の問題です。勾配消失とは異なります。
D.訓練データの標準偏差が大きいと、勾配計算が不安定になり、ランダム値になる
✗ 入力データの標準偏差は勾配消失の直接的な原因ではありません。
この問題のポイント
特にRNNで深い時系列を処理時、逆伝播で勾配が減衰し、初期層の重み更新ができなくなる現象です。
「深層学習」の他の問題
CNN（畳み込みニューラルネットワーク）が画像認識に適している主な理由はどれか？長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか？ニューラルネットワークの訓練中、勾配消失問題（Vanishing Gradient Problem）が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的（200枚程度…リカレントニューラルネットワーク（RNN）を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。