セキュリティ担当者必見！生成AI悪用手口の実態

生成AI（人工知能の一種）は、文章や画像、音声、動画を自動生成できる強力な道具です。業務効率化や自動化に役立つ一方で、攻撃者の悪用により、詐欺やなりすまし、誤情報の拡散など新しい脅威が急増しています。本記事では、生成AIの悪用手口に的を絞り、具体例と対策を整理します。

フィッシングに潜む手口と巧妙化

海外では、グーグルのディープマインドとジグソーが、生成AIの悪用事例200件超を分析し、約3割が世論操作目的で、選挙介入や偽情報拡散、捏造アカウントの運用が目立つと報告しました。

低品質コンテンツの大量生産による収益化や、著名人になりすました暗号資産詐欺も増え、社会の現実理解を歪める規模のリスクが指摘されています。欧州連合は2024年に包括的なAI規制法を制定し、誤情報やなりすましの抑制へ動いています（参考*1）。

同じく海外では、オープンAIが、生成AIが不正プログラム（マルウェア）の作成や段階的な改良、影響工作、偽装リモートワーカー、詐欺に使われている事例を公表しました。ロシア語圏の攻撃者が使い捨てアカウントでWindows防御の回避機能を備えた手口を洗練させ、中国発の影響工作が社会分断をあおる投稿を広げるなど、複数国の関与が確認されています。日本もSNS（交流サイト）型の投資詐欺や影響工作の標的となっており、悪用の大規模化と低コスト化が進んでいます（参考*2）。

日本国内では、県警がAIの専門家を技術顧問に委嘱し、警察官のサイバー教育や企業連携による啓発を強化する動きが出ています。検挙件数が増加し、生成AIを使った詐欺の巧妙化が確認されるなか、官民でのリテラシー向上と統治体制の整備が急がれています（参考*3）。

最近のフィッシングは、生成AI（人工知能）が作る自然な日本語の文面や画像で信用を装い、短時間で大量にばらまかれます。宅配便の不在通知、会員登録の更新、偽の請求明細、偽アプリケーションの更新案内など、実在企業そっくりの誘導が増え、見抜くのが難しくなりました。
調査では、生成AIを悪用した迷惑メールの受信件数が5年前の約2.5倍に増加し、週に100件以上受け取る人が約半数にのぼる実態が示されています。業務負荷の増大と誤検知のストレスから、AIによる自動検出と社員教育の両立が求められています（参考*4）。

経営者の名前や役職を騙る指示メールや、請求書そっくりの偽PDF（電子文書形式）で支払い先を差し替える手口は、音声や映像の偽装と組み合わされ、判断を急がせます。
アカマイ・テクノロジーズは、経営者の声や映像を偽装して経理担当者に多額送金を迫る詐欺の増加を指摘し、防御側もAIを用いた対策導入が有効と論じています。自然な日本語生成が攻撃の成功率を高めるため、単純な文面チェックだけでは足りません（参考*5）。

加えて、攻撃者は偽の生成AIサービスに見せかけた誘導で、利用者に不正プログラムを実行させます。たとえば、人気の画像生成サービス名を騙った偽広告や偽サイトから、画像に見せかけた悪性ファイルを配布し、開封すると遠隔操作用の不正プログラムが入り込み、情報窃取や横展開に悪用されます。こうした手口では、交流サイト上の広告や検索連動の表示を入り口に、だます工程が自動化されています（参考*6）。

日本国内では、映像通話で警察官を名乗る偽者が、AIで作った顔や偽の手帳、逮捕状で不安をあおり、口座振り込みを迫る手口が確認されています。家族の声の模倣や自然な話し方の合成も可能となり、電話や通話アプリでの本人確認が揺らぎます。
金銭や暗証番号の話題が出たら一度切断し、家族や警察へ照会する基本行動を、社内ルールにも明記してください（参考*7）。

社内データ流出を招く手口の構造

社内データの流出は、派手な侵入より、日常の便利さに紛れて進みます。代表的なのは、生成AIへの無自覚な機密投入です。従業員が、顧客情報や設計書、未公開の数値をそのまま対話型の生成AIに貼り付け、外部学習や保管の設定を理解しないまま利用すると、機密の保存や再学習、外部提供を誘発します。
入力内容は最小化し、匿名化や置換、要約で共通化したうえで使うこと。組織として外部送信の禁止項目を明文化することが出発点です。

次に、認証の弱さを突く手口です。攻撃者は、生成AIで自然な問い合わせメールや通話台本を作り、情報システム部門やヘルプデスクを装い、一時的な認証コードの再発行や権限昇格を誘導します。本人確認の多要素化、利用端末と接続元の監視、権限の最小化と期限付き付与を徹底し、転用されにくい人事番号や申請経路を組み合わせてください。

また、生成AIを埋め込んだ社内アプリケーションや自動化の仕組みに、外部の部品や公開学習データを取り込むことで、供給元からの混入が発生します。学習用データの入手経路、作成手順、改変履歴を記録し、検収時に不適切表現や個人情報が含まれていないかの自動検査を定例化しましょう。記録（ログ）の整備は、インシデント時の説明責任を果たすうえでも有効です。

最後に、人の習慣に付け込む手口です。生成AIは、休暇や異動の情報から、最も忙しい時間帯や応答が遅れる窓口を推測し、ねらい撃ちの連絡頻度や文面を最適化します。社内の運用設計として、時間帯による二重承認や、金額しきい値での保留判定、自動通報の閾値を見直してください。現場の負担を増やさず、誤情報に強い流れを作ることが、安定した防御につながります。

生成AIモデル汚染の手口と防壁

モデル汚染とは、生成AIの学習や推論の入り口に、悪意あるデータや指示を混ぜ込み、品質や出力を劣化させる手口です。具体的には、学習段階での有害データ注入、公開ウェブの改ざん記事を大量投入して偏りを作る行為、推論段階でのプロンプト注入（入力文を悪用して意図しない指示を紛れ込ませる手口）や隠れ指示での逸脱誘導などが該当します。
成果物の信頼が揺らぐと、意思決定や自動化の誤作動、説明責任の不履行につながります。

防壁づくりの要点は次の通りです。

学習前のデータ検品を二重化する。収集元の信頼区分を定義し、出所不明や生成物濃度の高い集合を分離する。
学習・評価・運用でデータ流路を分け、混線を避ける。評価には人手の目視と自動検査を併用する。
推論時の入力に制限を設け、許可語彙や禁則を定義する。プロンプト注入の痕跡や長大入力を自動で遮断する。
出力監査を行い、差別表現、機密露出、危険行為の誘発を検知したら即時遮断する。

さらに、公開掲示板や生成物だまりを監視し、自組織や製品名を含む誘導文の拡散を早期発見します。モデルの更新時は、性能と安全性の両面で回帰試験を行い、逸脱を数値で比較します。
難しそうに見えますが、評価計画と記録設計を最初に整えるだけで、継続運用の負担は抑えられます。社内指針として、研究目的と本番目的でのデータ取り扱いを区分し、倫理と法規制に沿った管理を徹底してください。

サプライチェーン攻撃の手口進化

サプライチェーン攻撃は、直接の標的ではなく、周辺の供給元や委託先、広告や配布経路を踏み台にする点が特徴です。生成AI時代には、偽の学習素材、改ざんされた拡張機能、名前貸しの開発者アカウント、広告の入札プラットフォームなど、侵入の窓口が増えています。小さな綻びを起点に、権限や信頼の連鎖を横切って主系統へ到達します。

最新動向として、国家支援とみられる攻撃者が、不正プログラムを使わず正規の権限や身元情報を悪用し、検知を回避する手口を拡大させています。
生成AIで磨いた人的なだましの技術により、委託先の担当者や運用監視の隙を突き、なりすましで権限移譲を引き出します。
世界調査では、中国による活動増と、身元を軸にした侵入の急増が報告され、端末や雲環境、身元管理の統合防御が焦点となっています（参考*8）。

対策は、技術要件と運用要件の両輪が効きます。第三者が提供する学習データや部品の検収プロセスを明文化し、改版時の差分確認と署名検証を義務化します。委託先アカウントの権限は最小化し、期間制限と行動分析をセットにします。広告や検索経由の導線は、公式導線の周知と社内ブックマークの徹底で回避率が上がります。契約面では、事故時の通報時間、証跡提供、再発防止策までを条項化し、企業の統治として継続監査を実施してください。

手口の検知と封じ込めの実践要点

検知と封じ込めは、技術と人の両方を鍛えることで初めて機能します。日本国内の事件では、顔の置き換えや声の模倣など、高度な映像・音声合成が使われています。専門家は、人の目だけでは識別が難しくなるため、AIを活用した真偽判定の道具化が必要と指摘しています。精度が十分でない角度や髪の不自然さなど、検査の観点をルール化し、受付や経理など現場の初期確認で使えるようにします（参考*9）。

本人確認の現場では、静止画や録画のすり替えに対して、撮影の生体性を見極める仕組みや、偽画像の混入を検出する機能が拡充されています。国内事例では、オンライン本人確認の運用で、生成AIと画像認識を組み合わせ、偽装の混入を幅広く検出する新機能の開発が進んでいます。認証は利便性と安全の両立が要であり、運用設計と教育を伴うことで、なりすましの封じ込め効果が高まります（参考*10）。

海外の情報空間では、世論操作や偽情報の拡散に生成AIが多用されています。監視の出発点は、捏造アカウントの網羅的な洗い出し、拡散速度の急変点検知、既知の手口との照合です。悪用は情報空間を汚染し、社会や政治の現実理解を歪めるリスクを生みます。広報・法務・情報システムが連携し、早期の一時遮断と訂正公表、社内外への説明責任を果たす体制を整えてください。

最後に、運用の勘所を整理します。

検出の多層化: メール、通話、映像、認証の各入り口で自動検知を行い、しきい値と例外対応を運用ドキュメント化する。
封じ込めの迅速化: 誤情報の撤回文、決済保留、アカウント一時停止、端末隔離を、権限と手順ごとに事前承認しておく。
教育の継続: 役割別の実践演習を四半期に1回行い、最新の手口を題材にする。地方警察や専門家との連携を通じ、地域の脅威傾向を取り入れる。
記録と説明責任: 全工程を時系列で記録し、再発防止策と評価指標を経営へ報告する。法規制と倫理基準に照らして改善を続ける。

監修者

安達裕哉（あだちゆうや）

デロイトトーマツコンサルティングにて品質マネジメント、人事などの分野でコンサルティングに従事しその後、監査法人トーマツの中小企業向けコンサルティング部門の立ち上げに参画。大阪支社長、東京支社長を歴任したのち2013年5月にwebマーケティング、コンテンツ制作を行う「ティネクト株式会社」を設立。ビジネスメディア「Books&Apps」を運営。
2023年7月に生成AIコンサルティング、およびAIメディア運営を行う「ワークワンダース株式会社」を設立。ICJ2号ファンドによる調達を実施(1.3億円)。
著書「頭のいい人が話す前に考えていること」が、82万部（2025年3月時点）を売り上げる。
（“2023年・2024年上半期に日本で一番売れたビジネス書”（トーハン調べ／日販調べ））