AI技術の進歩に伴い、特に大規模言語モデル（LLM）に対するプロンプトインジェクション工学が台頭しています。これは、意図せずAIが企業組織に与える重大なリスクとなる可能性があり、セキュリティ担当幹部が議論したテーマです。
プロンプトインジェクションによるコード挿入は避けられない事態と見られていて、セキュリティ対策が求められています。
また、悪意を持って訓練されたLLMは、社会工学に基づいたテキストアラートを頻繁に送ることが可能で、使用者がこれに反応すれば、不正なデータ共有などの悪質な行動を引き起こす可能性があります。
そのため、プロンプト工学は企業が真剣に考慮し、投資すべき分野であり、基本を理解し適切に使用するためのトレーニングが推奨されています。
AIは、顧客サービスやマーケティングなどの業務に取り入れている企業が多くありますが、AIの禁止や使用を公言していない企業でも、実際には意識せずに使用している「シャドウAI」が存在しています。
重要なのは、「いいえ」と言うのではなく、「はい」と言いながらも利用の境界を設定することです。
AIは、インシデントレスポンスや脅威分析にも積極的に取り入れられており、セキュリティ情報とイベント管理の分野で変革をもたらしています。
企業はどこで失敗しているのかを追跡し、トレーニングによって強化する必要があり、セキュリティ上のリスクと能力に基づいたコーディングサポートやテストの重要性を認識するべきです。
出典 : https://www.darkreading.com/application-security/llms-malicious-code-injections-we-have-to-assume-its-coming-