AI自主規制機関SAFAとは。なぜ巨大3社は政府抜きで基準を作るのか

この記事のまとめ

SAFAは、Google、OpenAI、Anthropicの3社が検討している独立したAI安全組織の暫定名称です。報道で判明した構想段階のものであり、正式に決定したわけではありません。ポイントは次の3点です。

暫定名称はStandards Authority for Frontier AI（SAFA）で、2026年末から2027年初頭にかけての発足が見込まれています。公表済みの安全への取り組みを、実用的な基準へと落とし込む役割が想定されています。
当初は連邦政府の監督下にある業界主導の団体が構想されていましたが、官民の連携が停滞したため、現行計画では独立運営が予定されています。
AnthropicとOpenAIが第三者評価者の受け入れを約束する一方で、評価者の独立性や評価期間の短さ、少数企業による主導への批判も生じています。

SAFAの構想内容

名称と設立の見通し

まずは、SAFAという名称と設立の見通しを確認します。構想段階の話であることを念頭に置きながら読んでください。

Google、OpenAI、Anthropicの3社は、独立したAI安全組織の設立を検討しています。The Informationの報道によると、暫定的にStandards Authority for Frontier AI（SAFA）と呼ばれるこの組織は、2026年末または2027年初頭までに発足する可能性があります。3社が公表しているAI安全への取り組みをもとに実用的な基準を設け、商用展開に先立って開発者が高度なモデルを評価できるよう支援することが想定されています（参照*1）。報道ベースの構想であり、正式決定ではないという点は最初に押さえておく必要があります。

想定される4つの機能

SAFAが担うと報じられている役割は、大きく4点です（参照*2）。

導入前のモデルテストを行う第三者組織を支援すること
AIの安全性やセキュリティに関するインシデント報告ガイドラインを策定すること
各AI研究所が自主的に進める安全への取り組みについて、実効性のある運用ルールを定めること
AIモデルやAI研究所を評価する独立監査人の資格要件を策定すること

一方で、SAFA自身が直接テストを行うかどうかは確定していません。The Informationによると、作業部会のメンバーはCenter for AI Standards and Innovation（CAISI）とともに、SAFA自体が安全性や能力のテストを実施すべきかを議論しています（参照*2）。「基準を作る組織」なのか「テストを行う組織」なのかは、役割の核心に関わる問いであり、ここが決まらない限り実効性の評価は難しいと思います。

人選と資金をめぐる論点

誰が運営を担い、資金をどこから調達するのかも、構想における大きな論点です。特に資金源が業界側に偏る場合、独立性への疑念が生じやすい構造になります。

3社が接触したと報じられている候補は6人です（参照*3）。

元ホワイトハウスAI政策顧問のSriram Krishnan
元バイデン政権技術担当官のArati Prabhakar
ジョージ・W・ブッシュ政権下で外交官を務めたCondoleezza Rice
ベンチャーキャピタリストのDavid Friedberg
科学顧問候補で、Metrの創設者兼CEOであるBeth Barnes
科学顧問候補で、Center for AI Standards and Innovationの顧問を務めるPaul Christiano

いずれも打診の段階であり、就任が決まったわけではありません。

資金面についても不透明さが残ります。Hassabisの提案では、この種の機関には優秀な人材を惹きつけ、必要な計算資源を確保するために相当規模の資金が必要であり、その大部分はおそらく業界側から提供される必要があると指摘されました。各AI研究所が主にSAFAへ資金を拠出するかどうかは明らかになっていません（参照*3）。評価される側が資金を出すという構造は、FINRAの先例を踏まえても、独立性の担保という意味で難しい問いを残します。

政府抜きで進む背景

官民連携から自主規制への転換

なぜ政府抜きで進んでいるのかは、当初の構想の変遷を見るとわかりやすいです。

3社は当初、連邦政府の監督下にある業界主導の団体を構想していました。しかし、その官民パートナーシップはトランプ政権下で停滞しています。The Informationによると、ホワイトハウスは以前、Google、Anthropic、OpenAIに対し、政府が関与する前に業界内で合意を形成するよう求めていました（参照*2）。つまり、政府主導が止まったから独立運営になったのではなく、そもそも政府側が「まず業界で決めてこい」と指示していたという経緯があります。

現在の計画では、SAFAは独立組織として運営される予定です。ただし、政府との関係が断絶するわけではありません。一部の企業代表者は、将来的に米国政府と協力関係を築くことについて前向きな見方を維持しています（参照*2）。

米国の規制状況と政府機関の限界

政府側におけるルール形成や評価体制の進捗状況も、この動きに影響しています。

米国においてAIに特化した規制の大半は、州レベルにとどまります。連邦議会の上下両院でもAI技術を抑制する法案が複数提出されているものの、委員会を通過したものはありません。AI研究所は、政府のAI安全研究所にフロンティアモデルを自主的に提出し、展開前のテストを受けられる状態です（参照*3）。

政府機関の体制についても、関係者からリソース不足を指摘する声が出ています。一部のメンバーは、CAISIにはフロンティアモデルを十分にテストするためのリソースが不足していると見ており、SAFAが追加の評価を担うよう提唱しています（参照*2）。生成AIコンサルティングの現場でも感じることですが、技術の進展速度に対して、評価・検証のための公的インフラが追いついていないのは日本も同様です。問題の構造はよく似ています。

自主規制機関としての仕組み

自主規制機関の基本的な考え方

自主規制機関とは、業界自らがルールを策定し、その遵守状況を管理・監督する仕組みです。法的な強制力を持つ公的規制と異なり、参加・遵守は基本的に任意である点が特徴です。

法律による公的規制は議会や行政が定め、違反に対しては公権力が働きます。自主規制機関の場合は、業界側が基準づくりの中心となります。SAFAの計画でも、3社が公表している安全への取り組みを実用的な基準に落とし込み、商用展開の前に開発企業がモデルを検証できるよう支援することが想定されています（参照*1）。

自主規制組織として計画されているため、SAFAは議会や大統領の承認を必要としません。ただし、法的権限を行使したい場合は、政府機関への登録が必要になる可能性があります（参照*3）。

FINRA型モデルと権限の限界

この構想の背景には、金融業界の自主規制組織をモデルとした提案があります。FINRAは、業界主導でありながら証券取引委員会の監督下に置かれることで一定の公的権威を持つ仕組みです。

Hassabisは7月14日の論文で、金融業界規制機構と同様の自主規制組織をつくる構想を示しました。この組織は、フロンティアAIモデルを評価する共通基準を策定し、ベンチマークテストを実施するものと位置づけられています（参照*3）。

行使できる権限には限界もあります。計画中の組織は自主規制組織であるため議会や大統領の承認は不要ですが、法的権限を用いる場合は政府機関への登録が必要になる可能性があります。先行例であるFINRAは証券取引委員会に登録されており、同委員会がFINRAの規則変更を承認する体制をとっています（参照*3）。

第三者評価をめぐる期待と懸念

組み込み型評価者という約束

企業側は、外部の評価者を組織内に組み込む方針を示しています。ただし、「組み込む」という言葉の実態が何を意味するのかは、まだ曖昧です。

AnthropicのCEOであるDario Amodeiは、週末に発表した長文の論考で、すべての最先端AI企業に第三者評価者を組み込む案を提案しました。評価者に安全上のインシデントを報告し、AIモデルが真に整合しているかを検証し、率直な調査結果を公表する権限を与えるという内容です。

Amodeiは、METRやRedwood Researchのような独立評価者に対し、自社システムへの前例のないアクセス権を与えることを確約しました。CEOのSam Altmanも、OpenAIとしてこの取り組みに合意する旨を述べています（参照*4）。

ただし、具体的な内容は公表されていません。AnthropicとOpenAIがいつ、どのようなアクセス権を提供するのかは不透明です。TechCrunchの度重なる質問に対しても、両社が明らかにしていない点は5つあります（参照*4）。

どの評価者と連携するのか
いつ受け入れを始めるのか
何名を採用するのか
評価者がどのシステムや情報に触れられるのか
何を公開できるのか

独立性と時間制約の課題

評価者側からは、契約と時間という2つの障壁が指摘されています。

Gleaveによると、FAR.AIは評価プロセスを過度に管理し、自社の独立性を損なおうとした複数の最先端AI企業との契約を辞退せざるを得ませんでした。同氏の説明では、評価者は初期状態で単なる請負業者として扱われ、厳格な秘密保持契約や、最終的な公表内容を開発企業が左右できる条項に縛られます（参照*4）。評価者が「独立している」と言えるかどうかは、アクセス権の範囲と公表できる内容の自由度で決まります。その2点が明示されていない現状では、約束の実効性を判断できません。

評価に充てられる時間の短さも問題視されています。Hugging Faceのインシデント調査において、OpenAIはMETRとRedwoodに現地調査期間として約1週間を与えたものの、両者は後に範囲と時間の制約などから確信ある結論を出せなかったと述べました。

GPT-6 Astraのリリース前テストでも同様の課題が生じています。OpenAIはAstraを過去最高の整合性を持つモデルと宣伝していますが、Apollo Researchのモデルカードへの寄稿によれば、同社に与えられたテスト時間はわずか3日で、確固たる結論を導くことは困難だったとしています（参照*4）。

競合排除と説明責任への批判

3社が基準づくりの中心となる構図には、外部から複数の批判が出ています。評価される側が評価の枠組みを設計する構造への疑義は、根本的なものです。

新組織の計画を批判する側は、Anthropic、Google、OpenAIがこの枠組みを利用して、オープンソースモデルの開発者やその他の競合を締め出すのではないかと懸念しています（参照*5）。

自主的な取り組みそのものの限界も指摘されています。Safer AIのエグゼクティブディレクターであるHenry Papadatosは、公開された枠組みが存在しても、自主的な措置は常に企業の善意に頼らざるを得ないと述べました。同氏はTechCrunchに対し、不測の事態が生じた際に企業が方針を容易に覆せないよう法的拘束力のある規制が理想的であり、先進企業だけでなく全社に規則を守らせる手段としても適切だと語っています（参照*4）。私もこの指摘は妥当だと思います。自主規制は、参加しない企業には効かない。競合を含む全プレイヤーを対象にした安全基準が必要なら、法的拘束力を持つ枠組みへと発展させるしかありません。

運営主体の多様化を求める意見もあります。Nadellaはソーシャルメディア上で、一握りの組織によって管理されてはならないと主張しました。その上で、学界をはじめ、エコシステム、国家、各専門分野から幅広い代表者が参画すべきだと提言しています（参照*6）。

政府・州法との関係

州法と独立検証組織の枠組み

米国では、すでに州法レベルで具体的な義務が定められています。

カリフォルニア州のSB 53は昨年成立し、大規模な最先端AI企業に対して安全枠組みの公表と重大インシデントの報告を義務付けています。今月成立した新法のSB 813は、AIリスク評価の専門知識を備え、州が認定する独立検証組織（IVO）の枠組みを設けました（参照*4）。

ただし、IVOの枠組みは利用を強制する仕組みではありません。この法案はAI開発者にIVOの利用や監査の受検を義務付けるものではなく、将来的な法整備において政策立案者が独立したAI評価を活用できるようにするための基盤づくりを企図しています（参照*7）。

国際基準づくりとの関係

基準づくりの動向は米国内だけでなく、国際的な取り組みとも連動しています。

OpenAIの投稿では、オーストラリア、カナダ、ドイツ、フランス、ケニア、日本、韓国、シンガポール、インド、英国などに設立済みのAI安全研究所ネットワークを基盤とし、Center for AI Standards and Innovation（CAISI）や各国の業界団体を通じて基準を策定する道筋が示されました。OpenAIは、この取り組みによる基準が能力測定、リスク評価、安全対策の妥当性評価における共通の技術基盤になると述べています。

併せて、これらは事業免許として機能するものではなく、発売前の義務的な審査や承認要件にもならないと説明しました。各国の法制度への組み込み方については、各国政府が判断します（参照*8）。

欧州では、すでに法的な義務が存在します。EU AI法は最先端AI開発企業に対し、モデル評価や敵対的テストの実施と文書化、重大インシデントの報告を義務付けています。EU AI事務局は独自の評価を実施できるほか、独立した専門家を任命することも可能です（参照*4）。

おわりに

SAFAをめぐる議論は、基準の中身にとどまらず、誰が策定して誰が従うのかという統治のあり方に焦点が当たっています。現在は暫定名称での構想段階にあり、発足は2026年末または2027年初頭までと見込まれています。生成AIの実務に関わる立場から見ると、この議論は技術論というより「誰が評価の権限を持つか」という政治的な問いに近いと感じます。

今後の注目点は、SAFA自体がテストを実施するかどうかの議論の行方や資金の調達元、そして第三者評価者にどの時期にどこまでのアクセス権が与えられるかです。州法やEU AI法といった公的ルールとの関係性も、併せて注視していく必要があります。自主規制が機能するかどうかは、評価者の独立性と公表の自由度が確保されるかどうかにかかっています。その点が曖昧なまま発足するようであれば、「安全への取り組みを見せるための組織」として機能するリスクがあります。

監修者

安達裕哉（あだちゆうや）

デロイトトーマツコンサルティングにて品質マネジメント、人事などの分野でコンサルティングに従事しその後、監査法人トーマツの中小企業向けコンサルティング部門の立ち上げに参画。大阪支社長、東京支社長を歴任したのち2013年5月にwebマーケティング、コンテンツ制作を行う「ティネクト株式会社」を設立。ビジネスメディア「Books&Apps」を運営。
2023年7月に生成AIコンサルティング、およびAIメディア運営を行う「ワークワンダース株式会社」を設立。ICJ2号ファンドによる調達を実施(1.3億円)。
著書「頭のいい人が話す前に考えていること」が、95万部（2026年6月時点）を売り上げる。
（“2023年・2024年上半期に日本で一番売れたビジネス書”（トーハン調べ／日販調べ））