かつてウェブの始まりの頃、SQLインジェクションという問題が発生し、データの漏洩や破壊が引き起こされました。しかし、現代では更に深刻な「LLMプロンプトインジェクション」という問題があります。これは大規模言語モデル（LLM）が不正に操られた場合、企業にとって壊滅的な影響を及ぼす可能性があります。
さらに企業レベルでは、LLMのセキュリティ対策のための「プリペアードステートメント」のようなものが必要であり、個々のソリューションごとではなく企業全体で考慮すべき対策があるとされています。例えば、特定言語のみ許可されるべきアプリケーションの場合、その言語以外のリクエストは許可されないようにすべきです。
そして企業は、モデルに与えられたプロンプトをユーザーが入力した通りに処理させるべきではありません。ユーザーコミュニティへのコントロールを強化し、セキュリティを真剣に考えることで、LLMのリスクを大幅に軽減できると説明されています。
出典 : LLM Prompt Injection: Never send the request to the model https://medium.com/@jones.steveg/llm-prompt-injection-never-send-the-request-to-the-model-e8017269b96a
