生成AI定義

悪意のあるユーザーが巧妙な入力文を通じてLLMのシステムプロンプトを無視させたり、意図しない動作を引き起こしたりするセキュリティ上の脅威を何というか?

A.ハルシネーション(Hallucination)
✗ ハルシネーションはモデルが誤情報を生成する現象。悪意ある攻撃とは発生機序が異なる。
B.プロンプトインジェクション(Prompt Injection)← 正解
✓ 正解。プロンプトインジェクションは攻撃者が細工した入力でAIの制約を突破し、機密情報の漏洩や不正な指示の実行を試みるセキュリティ攻撃。
C.データドリフト(Data Drift)
✗ データドリフトは時間経過によりデータの分布が変化する現象。セキュリティ攻撃ではない。
D.コンテキスト汚染(Context Pollution)
✗ コンテキスト汚染は信頼できない外部情報がプロンプトに混入する問題であり、プロンプトインジェクションと発生機序が異なる。

この問題のポイント

プロンプトインジェクションは攻撃者が細工した入力でAIの制約を突破し、機密情報の漏洩や不正な指示の実行を試みるセキュリティ攻撃。

AI-900:Microsoft Azure AI Fundamentals の問題一覧