生成AIと特殊詐欺の最新動向総論
生成AIは、文章・画像・音声・映像を自動生成する人工知能で、深層学習と大規模言語モデルの発展により、だれでも容易に高品質な内容を作れる時代になりました。便利さの裏側で、特殊詐欺はこの技術を取り込み、ディープフェイク(精巧な合成映像や画像)や音声合成、巧妙なチャットボット(自動応答プログラム)を使った誘導など、犯罪手口が高速で進化しています。生成AIが広く使われるようになったことは、詐欺のコストを下げ、成功率を高める方向に働きます。企業や個人は、従来以上の情報防御と倫理面の配慮が欠かせません。フィッシング(偽サイトへ誘導する詐欺)、SMS(携帯電話の短文メッセージ)詐欺、電話詐欺、恋愛詐欺、架空請求などで、AIを使った偽装の精度向上が確認されています。
日本国内でも、警察や自治体、金融機関が未然防止に乗り出しています。大阪府警は実在の警察番号を悪用するオレオレ詐欺に対抗するため、生成AIで作成した警察官が登場する啓発動画を公開し、交流サイト(SNS)やネットバンキングで送金を指示することはないと明確に伝えています。電話番号のなりすましや不正送金を狙う犯人との見分けをつけるための基礎知識を広める取り組みです(参考*1)。
海外では、音声クローン(声の複製)が数秒の音声から高品質に生成できるようになり、経営会議の偽装で2,560万ドルを詐取した事例が報じられました。米国連邦取引委員会の統計でも、詐欺被害額は100億ドル超に達し、なりすまし詐欺が大きな割合を占めています。生成AIの浸透により、声や顔の信頼性が揺らぎ、本人確認の手順を強化しないと見抜けない状況が生まれています(参考*2)。
本記事では、まず特殊詐欺と生成AIの関係を全体像として整理します。続いて、犯罪手口、音声・画像の偽装、プロンプト注入への対策、検知と通報の体制整備、社内教育と運用ガバナンスを順に解説します。社内のAIチャットボットや問い合わせ対応の自動化を進める際に、犯罪手口を踏まえた現実的な対策へ落とし込めるよう、実践可能な方法を提示します。
特殊詐欺で悪用される生成AIの実像
生成AIの悪用は、主に3つの軸で拡大しています。第一に、音声合成による声のなりすましです。家族や上司、取引先の声をコピーし、緊急の振込を迫る手口が増えています。第二に、ディープフェイク動画(精巧な偽動画)で著名人や警察官を装い、投資や身分確認を偽って金銭や個人情報を引き出すもの。第三に、文章生成と自動翻訳を使った多言語のフィッシングで、SMSやメールを通じて偽サイトへ誘導し、不正送金につなげるものです。いずれも、従来の特殊詐欺が持っていた不自然さを薄め、受け手の判断力を鈍らせます。
日本国内では、警察官を名乗る手口が拡大しています。電話やLINEを起点に、偽の警察手帳や逮捕状の画像を送りつけ、資産調査と称して送金を促す流れが確認されています。大阪府警によると、1〜3月のオレオレ詐欺で警察官を名乗る手口が8割超、認知件数は3月末時点で199件と前年同期比約5.4倍、被害額は371億円と報告され、20〜30代の若年層にも広がっています。警察は、SNSでのやり取りやネットバンキングでの送金指示は行わないと再三周知しています(参考*3)。
自治体や大学も対策を強化しています。香川県ではSNS型投資・ロマンス詐欺の増加を受け、生成AIを活用した仮想体験ツールで学生がビデオ通話やLINEを用いた偽装手口を体感し、被害抑止の意識向上を図りました。令和7年5月末時点で、県内の特殊詐欺は153件、約4億7,300万円の被害、SNS型投資・ロマンス詐欺は95件、約6億2,600万円と報告されています(参考*4)。
海外では、決済ネットワークのVisaが詐欺撲滅部門を新設し、生成AIで複雑な関係性を解析して詐欺ネットワークを特定。1年で約3億5,000万ドルの被害未然防止に寄与したと公表しています。2024年には400億ドル超の詐欺試行を阻止したとされ、投資詐欺や恋愛詐欺が高額被害を生む点が指摘されています。データ分析とAIを組み合わせた大規模対策の有効性が示されています(参考*5)。
特殊詐欺の新手口と音声画像の偽装
音声クローン(声の複製)とディープフェイク(合成映像や画像)は、特殊詐欺の説得力を大きく高めています。たとえば、家族や社長の声をまねた電話で高額送金を迫る、著名人の動画で投資を勧誘する、警察官の顔と声を偽装して身分確認を装う、といった事例です。入口の多くは電話と文字情報です。通話やメッセージを足がかりに、偽サイトやアプリへ誘導して不正送金に結びつける構図が続いています。声や映像の見た目に頼らず、公式ルートでの再確認を標準手順にする運用が要点です(参考*6)。
日本国内では、自治体と企業が連携し、AIと犯罪心理学の観点で訓練ツールを活用する動きが広がっています。尼崎市は東洋大学・富士通と連携し、AIトレーナーと会話する詐欺対策訓練を実施。令和5年度の認知件数は94件で前年から19件減少し、推定精度75%のモデルで被害リスクの可視化に挑戦しています。今後は非接触センサーによる警告通知の検証も予定されています(参考*7)。
同市では商業施設での防止キャンペーンや、生成AIを使った特殊詐欺防止訓練ツールの体験会も開催され、学生や市民が来場し、疑似体験を通じた被害防止力の定着を図りました。会場では自動録音電話機の補助申請も案内され、複数の対策を束ねた地域ぐるみの取り組みが進んでいます(参考*8)。
また、富士通は生成AIを用いて、膨大な詐欺事例から自動的に犯人役の台本を作成し、ミリ波センサーで呼吸数や心拍などの生理指標を測りながら、訓練者の被害危険性を評価する実証実験を尼崎市で実施しました。新種の手口に追随できる設計で、受講者の反応から弱点を見極める狙いがあります(参考*9)。
特殊詐欺におけるプロンプト注入対策
生成AIを業務に導入する企業では、プロンプト注入(巧妙な指示を紛れ込ませてAIの方針を上書きする攻撃)への備えが要ります。これは、AIチャットボット(自動応答プログラム)に機密情報の吐き出しや不適切な応答を誘発させる手口です。特殊詐欺の現場でも、問い合わせ窓口の自動応答を悪用し、規約違反の案内や偽サイトへの誘導を引き出すことが狙われます。実務での要点は、入力検査、権限分離、外部参照の制御、応答検証、ログ監査を一式で回すこと。
実装面では、次の原則が有効です。
- 入力の無害化とブロックリストの併用。機密語、支払い誘導、認証情報要求などの高リスク語を検知し遮断する。
- システム指示とユーザー入力を分離し、RAG(検索拡張生成)の参照元を限定。外部URLの自動参照や貼付ファイルの自動解析を既定で無効化する。
- 応答側での安全フィルタ。送金指示や個人情報収集につながる表現は、常に人手承認を挟む。
- 会話の耐性評価。モデル評価として、詐欺シナリオの自動テストを定期実施し、回避率や誤回答率をKPI(重要指標)として管理する。
社内利用者の理解向上も欠かせません。特殊詐欺は、技術と心理の両面から揺さぶりをかけます。警察官や公的機関を名乗る者がSNSでやり取りを要求したり、ネットバンキングで送金を指示することはありません。組織の窓口では、送金や本人確認の案内は必ず公式サイト経由で行い、電話やメッセージの直接リンクを案内に使わない方針を明文化しておきます。
さらに、NHKが整理する注意点にあるように、生成AIが作る偽の音声・映像・文章への備えとして、本人確認の強化、情報の取り扱いの見直し、未知の連絡手段への警戒を運用規程に落とし込みます。社外発信テンプレートやFAQ(よくある質問集)は定期的に更新し、訴求力が高いがゆえに起こりがちな過剰な自動応答を抑制しましょう(参考*10)。
特殊詐欺の検知と通報を強化する体制
検知の起点は、入口と兆候の二重監視です。入口では、電話・SMS・メールの発信元判定、URLの危険度評価、音声認証の多要素化で被害を水際で減らします。兆候では、送金パターンや端末指紋の異常、チャットボットの意図しない案内、深夜の高額決済などの異常値を、機械学習とルールの組み合わせで早期検出します。要点は、検知から通報までの時間短縮と、現場が理由を理解できる可視化です。
保険業界の海外事例では、Neo4jのグラフ可視化により、約2,000万ノード・3,500万の関係を一元表示し、口座・住所・顧客・契約の関連を現場がひと目で把握できるようにして、詐欺の見極めを高速化しました。ルールだけでは説明が難しい関係性も、可視化すれば素早く三者のつながりを確認できます。これは金融機関や通信事業者の詐欺対策にも転用可能です(参考*11)。
日本国内の現場対策では、生成AIを使った訓練が抑止効果を示しはじめています。高齢者28名を対象に、犯人とのリアルタイム会話を再現する詐欺疑似体験と、心身状態に応じてリスクを知らせるフィードバック機能の有効性を検証したところ、防犯意識の全体的向上が確認され、疑似体験にフィードバックを加えた方が効果が高い傾向が示されました。実務では、訓練とモニタリングを組み合わせ、評価指標を継続測定する運用がポイントです(参考*12)。
通報体制は、社内のセキュリティ窓口と外部の相談窓口を直結させます。日本国内では、最寄りの警察署や警察相談窓口へ早期に相談することが推奨されています。伊勢市の案内では、警察官や検事を名乗る相手には、名前や所属を確認したうえで一度電話を切り、家族や最寄りの警察署へ相談する行動を勧めています。LINEだけで完結する取引は危険度が高く、早期の相談が被害抑止につながると整理されています(参考*13)。
特殊詐欺を防ぐ社内教育と運用ガバナンス
社内ガバナンスの柱は、教育・手順・評価の3点です。教育では、生成AIの利点とリスク、特殊詐欺の犯罪手口、ディープフェイクの見抜き方、チャットボットの安全な使い方を実務に沿って学びます。手順では、送金や本人確認の案内は公式サイト経由で統一し、電話番号やSMSリンクから直接誘導しない運用を徹底します。評価では、KPI(重要指標)として誤回答率、疑わしい案内の抑止率、通報から遮断までの時間などを設定し、定着を図ります。
日本国内の取組として、生成AIで再現した警察官詐欺の手口を用いた啓発動画が配信され、若年層まで広がる被害に対して、SNSでのやり取りやネットバンキング送金の指示は行わないと明確化が進みました。被害認知の増加と若年層比率の上昇という現実を前に、わかりやすい教材で全世代の防犯意識を底上げする狙いがあります。企業研修でも、実際の通話や画面イメージを使った事例演習が有効です。
自治体と企業の連携では、生成AIを活用した訓練ツールの体験会が開かれ、参加者がAIトレーナーとの模擬対話を通じて判断力を鍛えました。現場の声を集め、モデル評価を繰り返す運用が、研修の定着と実地効果の向上につながります。入口対策として、迷惑電話やSMSの対策用アプリケーション(応用ソフト)や録音機能付き電話機の活用、社内の公式連絡先リストの周知は、基礎でありながら効果があります。
最後に、企業が自社のAI導入を加速するうえでの実践確認項目を提示します。
- 方針と手順の文書化。生成AIの利用範囲、個人情報・金融情報の取扱い、外部サービス連携の基準を明記する。
- プロンプト注入となりすましの訓練。定期的な疑似攻撃テストを実施し、回避率と対応時間をKPIとして管理する。
- 多層の検知。通話・SMS・メール・チャットのログを統合し、異常検知とグラフ可視化で関係性を追跡する。
- 通報・遮断の即応。相談窓口、金融機関への連絡経路、アカウント凍結手順をひとつの運用台帳で管理する。
これらを継続して回すことで、PoC(概念実証)止まりを防ぎ、業務に定着する堅牢な対策へとつながります。生成AIの活用を進めつつ、特殊詐欺の被害防止との両立が可能になります。
監修者
安達裕哉(あだち ゆうや)
デロイト トーマツ コンサルティングにて品質マネジメント、人事などの分野でコンサルティングに従事しその後、監査法人トーマツの中小企業向けコンサルティング部門の立ち上げに参画。大阪支社長、東京支社長を歴任したのち2013年5月にwebマーケティング、コンテンツ制作を行う「ティネクト株式会社」を設立。ビジネスメディア「Books&Apps」を運営。
2023年7月に生成AIコンサルティング、およびAIメディア運営を行う「ワークワンダース株式会社」を設立。ICJ2号ファンドによる調達を実施(1.3億円)。
著書「頭のいい人が話す前に考えていること」 が、82万部(2025年3月時点)を売り上げる。
(“2023年・2024年上半期に日本で一番売れたビジネス書”(トーハン調べ/日販調べ))
出典
- (*1) 生成AIを使った特殊詐欺被害防止動画を公開中!/大阪府警本部
- (*2) 日経BOOKプラス – 生成AIが「オレオレ詐欺」を助長? 技術革新が犯罪を高度に
- (*3) 朝日新聞 – 「警察官がたり」がオレオレ詐欺の8割以上 生成AIで再現し啓発 [大阪府]:朝日新聞
- (*4) サイバーセキュリティセンター – – 香川県警察による香川大学学生向け特殊詐欺被害抑止講話の開催
- (*5) PYMNTS.com – Visa Says New Anti-Fraud Unit Blocked $350 Million in Attempts
- (*6) note(ノート) – 詐欺もここまで進化!?生成AIを悪用した新たな手口に注意|特殊詐欺情報局 by トビラシステムズ
- (*7) ジチタイワークス – 特殊詐欺から高齢者を守る! AIと犯罪心理学を活用した新たな防犯対策。【行革甲子園2024】
- (*8) 尼崎市公式ホームページ – 県市合同特殊詐欺防止キャンペーンを実施しました【令和6年8月3日実施済】
- (*9) note(ノート) – 特殊詐欺被害を防ぐ!富士通の「特殊詐欺訓練AIツール」とは? ~生成AIが訓練のトレーナーに?!~|富士通 広報note
- (*10) NHK ONE | 日本放送協会 – AIなど悪用する特殊詐欺?その手口とは「“テクノロジーで巧妙化する手口”に注意!」
- (*11) Graph Database & Analytics – Zurich Insurance
- (*12) J-STAGE – 生成AIを活用した特殊詐欺訓練ツールの提案1
- (*13) 伊勢市公式ホームページ – 生成AIによる偽動画に注意!|伊勢市公式ホームページ44
Photo:Bermix Studio