生成AIの基礎応用問題
生成AIモデルに対して「プロンプトインジェクション攻撃」が成功した場合、どのような状況が発生する可能性が最も高いですか？
A.モデルのパラメータが書き換えられ、永続的にモデルの挙動が変化する
✗ プロンプトインジェクションは推論時の入力操作であり、モデルのパラメータを変更することはできません。
B.悪意ある指示をプロンプトに埋め込むことで、モデルが開発者の設定した制約やシステムプロンプトを無視した動作をする← 正解
✓ 正解です。プロンプトインジェクションでは悪意ある指示をユーザー入力に混入させ、システムプロンプトの制約を回避させたり意図しない出力を引き起こしたりします。
C.モデルへのAPI接続が切断され、サービス全体が停止する
✗ プロンプトインジェクションはAPI接続を切断する攻撃ではなく、出力内容の操作を目的とします。
D.モデルの学習データが外部に漏洩し、プライバシー侵害が発生する
✗ 学習データ漏洩はモデル反転攻撃や訓練データ抽出攻撃の問題であり、プロンプトインジェクションの主な影響ではありません。