AI技術の競争が激化する中、企業は機密データを使ってAIモデルのトレーニングを進めていますが、攻撃者によって操作されたAIモデルが組織内に導入される危険性があります。パロアルトネットワークスの研究者が、GoogleのVertex AIプラットフォームにおける2つの脆弱性を発見しました。これらの脆弱性を悪用されれば、攻撃者による権限昇格やモデルの外部流出が可能となり得ます。
研究者たちは、AIパイプラインを悪用してリソースに不正にアクセスしたり、公開されたモデルリポジトリに毒を盛ったモデルをアップロードすることで、組織内の機密情報を抜き取る方法を突き止めました。
一例としての攻撃手法では、悪意のあるモデルをデプロイすることで、他のAIモデルが環境内での情報流出を許してしまう恐れがあるというシナリオが提示されました。特に配慮すべきは、MLモデルやLLMアダプターといった機密情報が組み込まれたファインチューンされた製品です。
このようなリスクから身を守るためには、AIモデルのデプロイに対する厳格な管理が求められます。開発やテスト環境を本番環境と分け、サードパーティのリポジトリからのモデルや、社内の未検証モデルを導入する前に十分な検証を行うことが必要です。万が一のリスクに対処するためには、AIパイプラインを徹底的に監視するPrisma Cloud AIセキュリティポスチャーマネジメント（AI-SPM）が不可欠であると、記事は強調しています。
出典 : ModeLeak: Privilege Escalation to LLM Model Exfiltration in Vertex AI https://unit42.paloaltonetworks.com/privilege-escalation-llm-model-exfil-vertex-ai/