深層学習計算
RNNの学習で、勾配が各タイムステップで0.8倍になる場合、10タイムステップ前の勾配は元の勾配のおよそ何倍になるか？
A.0.107← 正解
✓ 正解です。勾配=0.8^10≈0.107となります。これは勾配消失問題の具体例で、深い時間ステップでの学習が困難になります。
B.0.8
✗ これは1ステップのみの減衰率です。10ステップの累積効果を考慮する必要があり、0.8^10で計算します。
C.8.0
✗ これは勾配が増加する場合です。0.8倍の減衰では勾配消失が起こり、増加ではなく減少します。
D.0.001
✗ これは0.1の累乗計算です。正確には0.8^10≈0.107であり、0.001ではありません。
この問題のポイント
勾配=0.8^10≈0.107となります。これは勾配消失問題の具体例で、深い時間ステップでの学習が困難になります。
「深層学習」の他の問題
CNN（畳み込みニューラルネットワーク）が画像認識に適している主な理由はどれか？長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか？ニューラルネットワークの訓練中、勾配消失問題（Vanishing Gradient Problem）が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的（200枚程度…リカレントニューラルネットワーク（RNN）を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。