深層学習(ディープラーニング)誤り発見
以下のRecurrent Neural Network(RNN)と関連手法に関する記述について、誤っているものはどれか?
A.標準的なRNNは、前のタイムステップの隠れ状態と現在の入力を組み合わせることで、シーケンス情報を処理する
✓ この記述は正しい。隠れ状態 h_t = f(h_{t-1}, x_t) というカタチでシーケンシャル依存性をモデル化します。
B.LSTMはメモリセル、入力ゲート、出力ゲート、忘却ゲートで構成され、長期的な依存関係を学習できる
✓ この記述は正しい。LSTMのゲート機構は勾配消失を緩和し、長距離依存を保持できます。
C.Bidirectional RNNは過去のみならず未来の情報も利用するため、翻訳や自然言語処理タスクで有効である
✓ この記述は正しい。双方向RNNは未来の文脈を見ることで、多くのNLPタスクで精度が向上します。
D.Attention機構は入力シーケンスのすべての要素に対して、タイムステップごとに同じ重みを割り当てることで、計算効率を向上させる← 正解
✓ 正解です。この記述が誤りで、正しくは「Attention機構は各タイムステップで入力シーケンスのどの部分に注目すべきかを動的に学習し、異なる重みを割り当てる」です。同じ重みではなく、適応的な重みが本質です。
「深層学習(ディープラーニング)」の他の問題
ニューラルネットワークの訓練中に勾配消失問題が発生した場合、以下の対策のうち最も直接的な解決策はどれか?CNN(畳み込みニューラルネットワーク)で過学習が顕著に発生した場合、以下の対策のうち最も効果的なのはどれか?RNN(再帰型ニューラルネットワーク)で長期の依存関係をモデル化する必要がある場合、標準的なRNNではなくLSTMやGR…画像分類タスクで訓練データセットが著しく不均衡(あるクラスが極端に少ない)な場合、モデルの性能を改善するために講じるべき…転移学習(Transfer Learning)で大規模な事前訓練済みモデルを利用する際、目的タスクのデータが非常に少ない…自然言語処理でAttention機構を導入した結果、以前のRNNモデルと比べて並列処理性能が向上した理由は何か?