生成AIと大規模言語モデル定義問題
Transformerモデルにおける「注意機構(Attention)」の主な役割として最も適切なものはどれか。
A.入力データのノイズを除去し、信号成分のみを抽出する処理
✗ これはノイズ除去オートエンコーダ(Denoising Autoencoder)の説明です。注意機構とは異なります。
B.入力シーケンスの各トークンが他のトークンとどの程度関連しているかを学習・計算する仕組み← 正解
✓ 正解です。注意機構は各トークン間の関連性を動的に重み付けし、重要なトークンに高い注意を払う機構です。
C.勾配消失問題を防ぐために活性化関数の出力を正規化する処理
✗ これはバッチ正規化やレイヤー正規化に関する説明で、注意機構の役割ではありません。
D.複数のニューラルネットワークを並列に実行して予測精度を向上させる手法
✗ これはアンサンブル学習の説明です。注意機構は単一モデル内の計算メカニズムです。