ロシアのセキュリティ企業Kasperskyによると、プロンプトインジェクション攻撃は、AIを騙して機密情報を漏らしたり、破壊的な行動をさせる手法ですが、実際には求職者が履歴書を人事担当の自動スクリーナーに通過させるためや、AIに対する抗議活動の手段として使用されることが多いです。
“無視して”というフレーズが特に人気を集めています。
プロンプトインジェクションは、ユーザーがAIモデルに特定の入力を行い、モデルが先行する命令を無視してしまうことを引き起こします。Kasperskyの研究チームは、悪意を持ってプロンプトインジェクションを利用する事例を調査しましたが、攻撃者がまだその段階に至っていないと結論付けています。
しかし、人事分野での積極的な使用が見られ、求人募集において、応募者が自らの履歴書に目立つよう誘導するコマンドを隠す工夫がされていました。
この脅威は、現在のところは理論的なものであり、実際のAIシステムに限られた能力があるため、未だ実際的な問題ではありませんが、AIの進歩とともに注意が必要です。
出典 : Who uses LLM prompt injection attacks? Job seekers, trolls https://www.theregister.com/2024/08/13/who_uses_llm_prompt_injection/