生成AIと大規模言語モデル比較問題
GPTとBERTの主な違いとして、最も適切なものはどれか。
A.GPTは自己回帰モデル、BERTは双方向コンテキストを利用したマスク言語モデル← 正解
✓ 正解です。GPTは左から右へ次トークンを予測する自己回帰モデル、BERTはマスクされたトークンを両側の文脈から予測します。
B.GPTは双方向処理、BERTは単方向処理で、BERTの方がテキスト生成に優れている
✗ GPTは単方向処理で自己回帰、BERTは双方向処理です。また、GPTは生成タスク、BERTは分類・抽出に優れています。
C.GPTは教師あり学習、BERTは教師なし学習で、BERTは生成タスクに特化している
✗ どちらも教師なし学習ですが、GPTはより生成タスク向き、BERTはテキスト理解タスク向けに設計されています。
D.GPTはRNNベース、BERTはTransformerベースで、BERTは古い技術である
✗ GPTはAutoregressive、BERTはMasked言語モデルですが、どちらもTransformerベースで、BERTは新しい技術です。