生成AIと大規模言語モデル比較問題
Transformer のEncoder-DecoderアーキテクチャとEncoder-onlyアーキテクチャの違いはどれか。
A.Encoder-Decoderはテキスト分類、Encoder-onlyは翻訳に最適で、計算量はEncoder-onlyが多い
✗ 用途が逆です。Encoder-Decoderは翻訳・要約等、Encoder-onlyはテキスト分類向け。計算量もEncoder-Decoderが一般に多いです。
B.Encoder-onlyは次トークンを予測し、Encoder-Decoderは入力全体の理解に特化している
✗ Encoder-onlyは次トークン予測ではなく、入力全体から文脈を理解します。予測はEncoder-Decoderが行います。
C.Encoder-Decoderはシーケンス間タスク向けで、Encoder-onlyはテキスト理解・抽出タスク向け← 正解
✓ 正解です。Encoder-Decoderは翻訳・要約等、Encoder-onlyはテキスト分類・固有表現抽出に適した構成です。
D.Encoder-onlyはBERTやRoBERTaに使用され、Encoder-Decoderはシンプルで扱いやすい
✗ 前半は正しいが、Encoder-Decoderはむしろ複雑で、Encoder-onlyの方が実装・活用が相対的にシンプルです。