深層学習誤り発見
以下の深層学習に関する記述のうち、誤っているものはどれか?
A.RNN(再帰型ニューラルネットワーク)は勾配消失問題により、長い系列データの学習が困難になることがある
✓ この記述は正しい。RNNは逆伝播時に勾配が指数関数的に減少する勾配消失問題により、長距離依存の学習が困難である。
B.トランスフォーマーの自己注意機構は、系列全体のトークン間の関係を並列に処理できるため、RNNより計算効率が良い
✓ この記述は正しい。トランスフォーマーは自己注意機構で全トークン間の関係を並列処理でき、RNNの順序処理より効率的である。
C.ドロップアウトは訓練時に全てのニューロンを確率的に無効化し、テスト時には全ニューロンを使用して予測する
✓ この記述は正しい。ドロップアウトは訓練時のみニューロンを確率的に無効化し、過学習を防ぐ正則化技法である。
D.バッチ正規化は各層の入力分布を固定することで、より大きな学習率を使用でき、訓練が不安定になる← 正解
✓ 正解です。この記述が誤りです。バッチ正規化は入力分布を安定化させることで、訓練が**安定**になり、より大きな学習率を使用できます。「不安定になる」が誤りです。
この問題のポイント
この記述が誤りです。バッチ正規化は入力分布を安定化させることで、訓練が**安定**になり、より大きな学習率を使用できます。「不安定になる」が誤りです。
「深層学習」の他の問題
CNN(畳み込みニューラルネットワーク)が画像認識に適している主な理由はどれか?長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか?ニューラルネットワークの訓練中、勾配消失問題(Vanishing Gradient Problem)が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的(200枚程度…リカレントニューラルネットワーク(RNN)を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。