AIの基礎概念と歴史応用問題

時系列予測タスクで、長期的な依存関係を捉える際に通常のLSTMが困難を示した場合、改善策として最も適切なのはどれですか?

A.LSTM層の隠れ状態のサイズを5倍に拡大し、より多くの情報を保持させる
✗ 隠れ状態サイズの拡大は計算コストを増やすだけで、長期依存問題を根本的には解決しません。
B.Attention機構やTransformerを導入し、遠く離れた時系列上の点間の関係を直接的に捉える← 正解
✓ 正解です。Attention機構とTransformerは任意の距離の依存関係を並列的に学習でき、長期依存問題に特に効果的です。
C.訓練データを元の時間スケールの10倍に拡張し、より細かい時間粒度で学習させる
✗ 時系列データの時間粒度を変更しても、モデルが長期パターンを認識する能力は向上しません。
D.LSTMを多層化(8層以上)し、深いネットワークにすることで長期依存を自動的に学習させる
✗ 層を深くしすぎると勾配消失や訓練の困難さが増し、かえって悪化する可能性が高いです。

G検定(深層学習・ジェネラリスト検定) の問題一覧