AnthropicのDario AmodeiがAI開発の減速を提案、Sam Altmanも賛同

AI企業が「もっと速く」ではなく「速度を調整しよう」と言い始めた

AI企業というものは、基本的には速さを競っている。

より賢いモデルを作る。競争相手より先に新しい能力を実現する。そして発表された最新モデルが数か月後には古いものになる。ここ数年の生成AIを見ていると、技術進歩そのもの以上に、その速度に驚かされることも多かった。

ところがAnthropicのCEO、Dario Amodeiが2026年9月に公開した「We Must Pace the Frontier」は、その速度そのものを問題にしている。端的に言えば、AIを作る速度を少し落とし、安全研究や評価が追いつく時間を作るべきだ、という提案である。

Anthropicならそう言うだろう、と思う人もいるかもしれない。同社は以前からAI安全性を企業の中心的テーマに置いてきたからだ。

だが今回は少し違った。

OpenAIのSam Altmanがこれに対し、「Darioに賛成だ。フロンティアの速度を調整する必要がある」と公に表明したのである。しかも単なる社交辞令ではなく、Amodeiが提案した「独立した評価者に社員並みのアクセスを与える」という仕組みについて、OpenAIも同じことをすると明言している。

Dario Amodeiが言う「Pacing」とは何か

最初に整理しておきたいのは、AmodeiはAI開発を止めろと言っているわけではないということだ。

彼が使っている言葉は「pause」ではなく「pace」である。モデルの訓練や技術開発そのものを停止するのではなく、能力向上と安全対策の進展をある程度同期させようとしている。

つまり、能力だけが100メートル先へ走り、安全性の研究が後ろから追いかける状態を続けるのではなく、重要な能力に到達した時点で安全性や評価について一定条件を満たすまで次へ進まない、といった仕組みを作ろうという考え方だ。

2023年ごろにも「AI開発を一時停止すべきだ」という議論はあった。しかしAmodei自身は、当時はそれほど意味がなかったと書いている。当時のモデルでは現実世界で自律的に行動する能力が限られ、仮に時間を稼いでも何を研究すべきかが十分には分からなかったからだ。

ところが現在は違う、と彼は考えている。

AIが「次のAI」を作り始めている

Amodeiが特に警戒しているものの一つが、AIによるAI研究の加速だ。

ここは言葉に注意が必要で、現在すでにAIが完全に自律して自分より賢いAIを次々と作っている、という意味ではない。OpenAI自身も、完全な自律的再帰的自己改善は現在起きていないと説明している。

ただしAIエージェントが、次世代AIを開発する研究者の仕事の一部をかなりこなせるようになってきたことは、OpenAIも認めている。つまり「AI研究者がAIを作る」だけだった構造に、「AIがAI研究者の仕事を手伝う」というループが加わった。

ここで少し不思議な構造が生まれる。

AIが賢くなれば、AI開発を手伝う能力も上がる。そのAIによって次のモデルをより速く作れるようになれば、さらに強いAIが早く登場する。そしてそのAIがまた次の研究を加速する。

これがどこまで強く作用するのかはまだ分からない。ただ、技術進歩の速度を決める要因の中に「その技術自身」が入り始めたことは、これまでの普通のソフトウェア開発とは少し違う。

OpenAIも9月に公開した政策文書で、完全な再帰的自己改善は安全に実行できるようになるまで追求すべきではないとし、能力進歩を測定する共通基準や、どの時点で開発を減速・停止すべきかという安全基準が必要だとしている。

「外部評価」の意味がかなり変わる

Amodeiの提案で、実はかなり具体的で興味深いのが「Embedded Evaluators」、つまり社内に入り込む第三者評価者である。

一般に外部のAI評価というと、完成したモデルを渡してベンチマークを行ったり、安全性テストをしたりする姿を想像する。しかしAnthropicが提案しているのは、それよりかなり踏み込んだものだ。

評価者にはオフィスの机、入館証、会社のラップトップを用意し、内部のリスク評価チームに近いツールや情報へのアクセスを認める。さらに評価者は、Anthropicに都合の悪い内容であっても重要な結果を公表できることを前提にするという。

要するに「うちは安全にやっています」と企業自身が説明するだけではなく、本当にそうなのかを外部の人間が継続的に見られるようにする。

銀行の監督制度に近い、とAmodeiは説明している。

そしてSam Altmanが同意したのが、まさにこの部分だった。Altmanは9月12日、Amodeiの考えに賛成するとしたうえで、独立評価者に社員並みのアクセスを認めることを「great idea」とし、「OpenAIも同じことをする」と書いた。

単に「安全は大切ですね」と賛同したわけではない点は重要だと思う。

では、OpenAIとAnthropicはAI競争をやめるのか

もちろん、そんな話ではない。

むしろここがこの議論の難しいところで、AmodeiはAIの進歩を遅らせる一方で、米国を中心とする民主主義国が中国よりAIで先行し続ける必要があるとも主張している。

一見すると矛盾している。

危険だから速度を落とせと言いながら、中国には負けるなと言っているからだ。

ただ、彼の論理ではこの二つはセットになっている。米国だけが大幅に開発速度を落とし、その間に中国側が追い越せば、安全性とは別の国家安全保障リスクが生じる。だから米国側の技術的優位を保ちながら、その「余裕」の範囲でペースを落とす。そして最終的には中国との間でも一定の制限について合意する、という構想になっている。

核兵器の軍備管理に少し似ている。

Amodei自身もSALTを例に出している。すべての核兵器をなくせなくても、保有量や競争の仕方に一定の上限を作ることはできた。同様にAIでも、少なくとも生物兵器への利用禁止、危険能力の評価、再帰的自己改善の速度制限と段階的に合意の範囲を広げられないか、というわけだ。

ただし完全な世界的AI開発停止については、Amodei本人も近い将来の実現可能性を低く見ている。誰かが秘密裏に破れば巨大な戦略的優位を得られるため、検証が極めて難しいからだ。

重要なのは「ブレーキを踏むか」ではなく「ブレーキを作れるか」

ここまで読むと、ではAI開発を遅くすべきなのか、今まで通り進めるべきなのか、という二択にしたくなる。

だが今回の議論で面白いのは、むしろそこではないように思う。

自動車は速く走れるようになったからブレーキが重要になった。航空機も高速で大量の人を運ぶようになったから、非常に厳格な安全手順が作られた。技術が強力になるほど、安全装置は技術の外側にある「余計なもの」ではなく、技術そのものの一部になる。

AIも同じ段階へ近づいているのかもしれない。

これまでAI安全性は、多くの場合「高性能なモデルを作った後で、そのモデルをどう安全に使うか」という問題として語られてきた。だがAmodeiが提起しているのは、能力向上の速度そのものを安全設計の対象にしようという話である。

そしてOpenAIまでその議論に乗った。

もちろん企業側には、規制が既存大手を有利にするという批判もあり得るし、安全を理由にした企業間協調には競争法上の問題も出てくる。まして米中を含む国際的な「速度制限」を実際に検証できるのかとなれば、相当に難しい。

だから今回の提案がそのまま実現するとは限らない。

ただ、数年前までAI業界では「どこまで速く進めるか」が大きなテーマだった。それが今、「どこで速度を落とせる仕組みを作るか」という話になり始めている。

それは結構大きな変化だと思う。

日本から見ると、これは他人事なのか

日本企業の多くはOpenAIやAnthropicのような基盤モデルそのものを作っていない。そのためフロンティアAIの速度調整という話は、一見すると米国企業だけの問題に見える。

だが、実際にはそうでもない。

今後AIエージェントが企業システムの中でメールを読み、コードを書き、決済し、外部サービスを操作するようになれば、「どのAIモデルを採用するか」だけでなく、そのモデルがどのような外部評価を受け、どのような安全基準で更新されているのかが企業のリスク管理そのものになる。

第三者評価制度が一般化すれば、日本企業がAIサービスを選定するときの基準にもなり得る。

そう考えると、今回の話は「超知能が人類を滅ぼすか」という遠いSFの話だけでもない。AIを社会インフラとして使うのであれば、その製造過程を誰が監査できるのかという、ごく普通の産業安全の問題にもなってくる。

結局、競争しながら減速できるのか

Dario AmodeiはAIの未来について、決して悲観論者というわけではない。今回の文章でも、AIが病気の治療を進め、経済成長を加速し、人類に大きな利益をもたらす可能性をかなり強く信じている。

だからこそ止めたくない。一方で、速すぎて制御できなくなることも避けたい。

そしてSam Altmanまで少なくともその問題意識と最初の具体策に賛同した。

アクセルを踏む人とブレーキを踏む人が別々にいるのなら話は簡単なのだが、現在のAIでは同じ企業、同じ経営者が両方をやらなければならない。

果たしてそんな器用なことができるのか。

まだ分からない。ただ、「安全に開発します」という抽象的な約束から、第三者を実際に社内へ入れ、能力が一定ラインを越えたら速度そのものを調整するという具体論へ進み始めたことは確かだ。

AI競争の次の勝負は、ひょっとするとアクセルの強さだけではなく、どれだけ信用できるブレーキを作れるか、というところにも移っていくのかもしれない。