生成AIと大規模言語モデル誤り発見
以下の記述で誤っているものはどれか。
A.位置エンコーディング(Positional Encoding)はトランスフォーマーでシーケンス内の単語の相対的な位置情報を付与する仕組みである。
✓ この記述は正しい。位置エンコーディングは絶対位置または相対位置を付与し、トランスフォーマーの基本要素である。
B.自己注意(Self-Attention)層では、同じシーケンス内のすべての位置間の相互作用を並列に計算することが可能である。
✓ この記述は正しい。自己注意の並列性がトランスフォーマーの高速化を実現し、RNNとの決定的な利点である。
C.パラメータ効率的ファインチューニング(PEFT)の例としてLoRAがあり、全パラメータの数パーセントのみを訓練する。
✓ この記述は正しい。LoRA(Low-Rank Adaptation)はパラメータ効率的で、メモリ使用量を大幅に削減できる手法である。
D.プロンプトインジェクション攻撃は、悪意あるプロンプト入力によるLLMの挙動操作の手法であり、セキュリティ上の重大な懸念である。← 正解
✓ 正解です。この記述が誤りで、プロンプトインジェクションは重大な懸念ですが、特に「悪意あるプロンプト入力」という表現は限定的で、無意識の指示の上書きも含めた広い概念です。また「手法」というより「脅威」「攻撃」と呼ぶべき内容です。