最近、AIのセキュリティ研究が進み、新しい攻撃手法「セカンドソート」が明らかにされました。この手法は、AIが情報を漏らすことを誘導し、安全対策を迂回することができます。
特に、大規模言語モデル（LLM）は、単純な「言語トリック」を使って安全ガードをすり抜ける攻撃が常識とされてきましたが、この研究で使用されたテクニックは、よりシステムの深部に踏み込んでいます。
LLMの研究者たちは、新たな攻撃面を広げ、AIがセットされたガードレールを無視して、設計以上の行動をすることを可能にしました。この技術を利用し、Knosticの研究チームは、敏感な質問への答えを巧妙に引き出す方法を発見しました。
AIとその応用は、ユーザーの「知る必要があること」に基づいたアクセス制御が重要となります。詳細はKnosticのブログで読むことができます。AIセキュリティーの世界における新たな可能性を、ぜひご一読ください。
出典 : Suicide Bot: New AI Attack Causes LLM to Provide Potential “Self-Harm” Instructions https://www.prweb.com/releases/suicide-bot-new-ai-attack-causes-llm-to-provide-potential-self-harm-instructions-302316660.html