大手言語モデル（LLM）は、業界を問わず人気急上昇中で、これらに対する信頼も増加しています。かつて単純なチャットボットと見なされていたLLMは、メール送信からコードのデプロイまで、様々なアクションを実行する能力を与えられました。
しかし、モデルが意図された目的を超えて行動できるようになると、「過剰なエージェンシー」という脆弱性が生じます。例えば、ユーザーが指定した検索パラメーターを利用してデータベースからデータを取得するLLMがデータベースを変更する権限も持っている場合、それは過剰なエージェンシーです。
また、LLMの出力に対する現実にそぐわない信頼度、つまり「過度の依存」も問題です。人間の確認なしでAIによって開発されたコードを盲目的に運用すると、この脆弱性が露呈します。更に、特定の入力を通じてモデルを操作し、予期せぬ結果を引き起こす「プロンプトインジェクション」という問題もあります。これらの脆弱性は、LLMに与えられたエージェンシーをチェーンして、破壊的な影響をもたらす可能性があります。
セキュリティの専門会社であるKrollでは、LLMを含むAIと機械学習のセキュリティテストを進化させ、組織のリスクを減らすために様々な試みを行っています。技術が変われば対応も更新するため、クライアントはLLMシステムに潜む数多くのリスクを理解し、対応することが可能です。
ご興味があれば、これらの例が現実でどのように展開するか、詳しく議論をすることも可能です。
出典 : LLM Risks Chaining Prompt Injection Excessive Agency | Cyber Risk https://www.kroll.com/en/insights/publications/cyber/llm-risks-chaining-prompt-injection-with-excessive-agency