大規模言語モデル（LLM）が企業のビジネスツールとして注目されています。
これらのモデルは自動化されたタスク処理や戦略的機能の提供で社員をサポートし、競争力の向上に貢献していますが、
その高度な能力は同時にリスクも負っています。LLMは操作されやすく、想定外の方法で動作させることが可能で、
統合システム内の敏感な財務情報などのセキュリティに影響を及ぼすこともあります。
LLMは重大なセキュリティリスクを持ち、例えば安全策を迂回し不正な操作を可能にする「ジェイルブレーク」という手法が存在します。
また、LLMによってリモートコード実行（RCE）の脆弱性が明るみに出たケースもあります。
これらのリスクは理論上だけの話ではなく、実際にLangChainフレームワークで脆弱性が見つかっています。
現在、これらの問題に対応するためのセキュリティ対策は不十分です。
たとえば、メタが提供するLlama GuardがLLMのジェイルブレークを特定する訓練を行っていますが、
問題の根本原因を解決するには至っていません。LLMベンダーはセキュリティ強化に力を入れていますが、
機能の追加に重点を置いて市場シェアを争っており、その優先度はまだ高くありません。
企業自身でできるセキュリティ対策もありますが、リスクの緩和に追いつくためには、
産業全体が初期段階の研究を深めていく必要があります。それまでは、企業は内部の脅威としてLLMを見なし、
適切な保護策を講じる必要があるでしょう。
出典 : LLMs Are a New Type of Insider Adversary https://www.darkreading.com/vulnerabilities-threats/llms-are-new-type-insider-adversary