生成AIの基礎誤り発見
大規模言語モデル（LLM）のアーキテクチャに関する以下の記述のうち、誤っているものはどれですか？
A.Transformerアーキテクチャは「Self-Attention（自己注意）」機構を採用しており、入力シーケンス内の各トークン間の関係を計算する。
✓ この記述は正しい。Self-Attentionはトークン間の依存関係を並列に計算するTransformerの核心的な機構です。
B.GPTシリーズはEncoder-Decoderの両方を持つアーキテクチャを採用しており、翻訳タスクに特化して設計されている。← 正解
✓ 正解です。この記述が誤りで、正しくはGPTシリーズはDecoderのみのアーキテクチャを採用しており、テキスト生成に特化しています。翻訳特化のEncoder-Decoderモデルの代表例はT5などです。
C.BERTは双方向のTransformerエンコーダを使用しており、文脈を左右両方向から理解するよう学習される。
✓ この記述は正しい。BERTはMasked Language Modelingにより双方向の文脈理解を学習するエンコーダ専用モデルです。
D.Transformerのアテンション機構では、Query・Key・Valueの3つの行列を用いてアテンションスコアを計算する。
✓ この記述は正しい。Transformerのアテンション計算ではQ・K・Vの内積を用いてスコアを算出し、Softmaxで正規化します。