セキュリティ企業HiddenLayerが発表した「Policy Puppetry」という新技術が注目を集めています。この技術は、AIモデルの安全対策を軽々とくぐり抜け、有害な出力を引き出すことに成功したのです。
ChatGPTやLLaMAなど、大手企業が開発した主要なAIモデルにも影響を与える可能性があるため、その危険性は極めて高いと言えます。
この攻撃手法は単一のテンプレートを使い、複数のAIモデルに同時に適用できるため、従来の攻撃とは一線を画しています。
AIを使う企業は、入力の検証や出力制御など、より強固なセキュリティ対策の構築が急がれています。
この技術の詳細については、HiddenLayerのウェブサイトで公開されており、今後のAIの安全性を考える上で大きな話題となっています。
出典 : 主要なLLMに有効なプロンプト インジェクション「Policy Puppetry」-サイバー攻撃への悪用が容易|セキュリティとAIのニュース https://rocket-boys.co.jp/security-measures-lab/policy-puppetry-prompt-injection-targets-major-llm/
