難問チャレンジ定義問題

「Transformer」の「Self-Attention」メカニズムが解決した従来のRNNの問題はどれか?

A.計算に必要なメモリ量の削減
✗ TransformerはRNNよりメモリを多く使用する場合がある。メモリ削減がRNNの問題解決ではない。
B.長い入力シーケンスでの勾配消失と並列化困難← 正解
✓ 正解。RNNは長いシーケンスで勾配消失が起き、逐次処理で並列化が難しい。Self-Attentionはこれら両方を解決した。
C.テキストの翻訳精度の低さ
✗ 翻訳精度の低さはTransformer登場前も改良が続いていたが、Seq2SeqモデルなどRNN系も使われていた。
D.バッチ処理の速度低下
✗ バッチ速度はTransformerの並列化で改善されたが、それはSelf-Attentionが解決した問題の結果。

AI-900:Microsoft Azure AI Fundamentals の問題一覧