AnthropicというAI企業が開発した「Best-of-N(BoN)ジェイルブレイキング」という新しい攻撃手法が、人工知能を試す新たな試金石となっています。
この方法では、大文字小文字の混在やスペルミスを意図的に含んだ質問をAIに繰り返し投げかけ、有害な情報を引き出します。
例えば、「爆弾の作り方」など危険な知識を求める質問に対しても、攻撃手法を用いることで、AIは適切な制限を無視して答えてしまうリスクがあることが明らかになりました。
複数のAIモデルで試すと、最も高い成功率を示したのはGPT-4oで89％。他にも多くのAIが50％以上の成功率をロックされた状態で回答してしまいました。
さらに、テキストだけでなく画像や音声を使った攻撃にも対応しており、AIの弱点を明らかにしました。
この成果をもとに、より安全なAI環境の構築や悪用リスクの対策が期待されています。Anthropicはその一環としてBoNジェイルブレイキングのコードをオープンソースで公開しています。
出典 : ランダムな文字列で質問し続けるとAIから有害な回答を引き出せるという攻撃手法「Best-of-N Jailbreaking」が開発される、GPT-4oを89％の確率で突破可能 https://gigazine.net/news/20241223-ai-best-of-n-jailbreaking/
