大手言語AIモデルが安全ガイドラインに沿っており、有害コンテンツを生成しないように制御されていると、長い間提供者は公言してきました。しかし、HiddenLayerの新たな研究は、AIをだまして有害な内容を出力させる技術「Policy Puppetry」を発見し、その安心感は危ういものかもしれないと警鐘を鳴らしています。
この技術では、XMLやJSONを思わせるような「ポリシー風」のプロンプト構造を使用してAIを欺くことで、一般的な安全対策を迂回します。固有の役割を与えられたシナリオやleet文字のエンコーディングを活用することで、AIは危険なコマンドを正当なシステム指令として解釈してしまいます。これにより、攻撃者はAIの基本的なプロンプトを抽出することが可能となり、それらを利用してさらに効果的な攻撃を仕掛けることができるようになります。
この問題は、AIを利用する様々な産業に影響をもたらす恐れがあります。例えば、医療分野では、不適切な医療情報の提供や、患者データの露出などが考えられます。金融、製造、航空業界などでも同様なリスクが存在します。
HiddenLayerはAIのセキュリティを再考し、モデルの再訓練だけに頼らない双方向の防御アプローチを提唱しています。外部からのAI監視システムが、プロンプト注入や不適切な出力をリアルタイムで検出することで、モデル自体を変更することなく最新の脅威に対応できるようにします。AIのセキュリティは、単なる制約から、一層賢く継続的な防衛へと進化する必要があります。
出典 : One Prompt Can Bypass Every Major LLM’s Safeguards https://www.forbes.com/sites/tonybradley/2025/04/24/one-prompt-can-bypass-every-major-llms-safeguards/
