生成AI定義
悪意のあるユーザーが巧妙な入力文を通じてLLMのシステムプロンプトを無視させたり、意図しない動作を引き起こしたりするセキュリティ上の脅威を何というか?
A.ハルシネーション(Hallucination)
✗ ハルシネーションはモデルが誤情報を生成する現象。悪意ある攻撃とは発生機序が異なる。
B.プロンプトインジェクション(Prompt Injection)← 正解
✓ 正解。プロンプトインジェクションは攻撃者が細工した入力でAIの制約を突破し、機密情報の漏洩や不正な指示の実行を試みるセキュリティ攻撃。
C.データドリフト(Data Drift)
✗ データドリフトは時間経過によりデータの分布が変化する現象。セキュリティ攻撃ではない。
D.コンテキスト汚染(Context Pollution)
✗ コンテキスト汚染は信頼できない外部情報がプロンプトに混入する問題であり、プロンプトインジェクションと発生機序が異なる。
この問題のポイント
プロンプトインジェクションは攻撃者が細工した入力でAIの制約を突破し、機密情報の漏洩や不正な指示の実行を試みるセキュリティ攻撃。
「生成AI」の他の問題
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。