生成AIの基礎比較問題
「トランスフォーマー（Transformer）」アーキテクチャにおける「エンコーダー（Encoder）」と「デコーダー（Decoder）」の違いとして最も適切なものはどれですか？
A.エンコーダーは入力テキストを処理して文脈表現に変換し、デコーダーはエンコーダーの出力を受け取って出力テキストを生成する。← 正解
✓ 正解です。エンコーダーは自己注意機構で入力全体から文脈を抽出し、デコーダーはクロス注意でエンコーダー出力を参照しながら逐次的にトークンを生成します。
B.エンコーダーは出力テキストを生成し、デコーダーは入力テキストの意味を理解する段階である。
✗ 役割が逆です。エンコーダーが入力、デコーダーが出力生成という関係性です。
C.エンコーダーと デコーダーは同じ役割を果たすが、異なるパラメータセットで動作する。
✗ エンコーダーとデコーダーは異なる役割を持つため、単にパラメータが異なるだけではありません。
D.エンコーダーは双方向処理を行い、デコーダーは単方向処理のみを行うため、デコーダーは過去のトークンのみを参照できる。
✗ 両者とも双方向注意を使用できる場合もあります。デコーダーは自己注意では因果的マスクを使用しますが、クロス注意では双方向性があります。