マイクロソフトは、科学技術のオーストラリア研究所、ETHチューリッヒと共同で「LLMail-Inject Challenge」という競技会を開催することを発表しました。
この競技会では、参加者が攻撃者となり、メールを通じてユーザーのメールクライアント内に組み込まれた言語モデルを誤動作させることを目指します。攻撃者は、プロンプト挿入攻撃と呼ばれる手法を用いて、ユーザーが望んでいないアクションを引き起こさせるようなメールを作成する必要があります。
競技会には40の異なるシナリオが用意されており、最も厳しいレベルでは、すべての防御を同時に突破しなければなりません。研究者やチームはGitHubアカウントを使って公式ウェブサイトで登録し、攻撃を行うことができます。
賞金総額は1万ドルで、2024年12月9日から2025年1月20日までの競技期間中に優勝することができれば、最大4,000ドルを獲得することができます。また、優勝者には2025年に開催されるIEEEのセキュアかつ信頼性のある機械学習に関する会議で、発見を発表する機会も与えられます。
マイクロソフトは、この競技で開発された技術が実際のシステムにも応用され得るとし、参加者に対してより積極的な参加を促しています。
出典 : Microsoft: “Hack” this LLM-powered service and get paid https://www.helpnetsecurity.com/2024/12/09/llm-prompt-injection-attacks-challenge/