生成AI定義問題

LLMのTransformerアーキテクチャにおいて文中の各単語が他の単語との文脈的関係を計算する仕組みはどれか?

A.確率的勾配降下法
✗ 確率的勾配降下法は学習時に使われる最適化手法。Transformerの特徴的な構造ではない。
B.自己注意機構(Self-Attention)← 正解
✓ 正解。Self-Attentionは全トークン間の関係を同時に計算し、長距離の文脈依存を効率的に学習する。
C.畳み込みフィルター
✗ 畳み込みフィルターはCNNの特徴。TransformerはCNNではなくAttentionを使う。
D.サポートベクターマシン
✗ SVMは別の機械学習アルゴリズム。Transformerのアーキテクチャとは全く異なる。

AI-900:Microsoft Azure AI Fundamentals の問題一覧