Plan BからPlan Sへ――超知能をめぐる「それ以外」の選択肢

前回は「AI 2040」の中心となるPlan Aについて見てきた。アメリカと中国がAI開発競争を止め、互いのデータセンターを監視しながら、人間と同程度のAIまでは慎重に開発する。そして安全性を確認した2040年に、超知能への道を改めて開く。年間160万ドルという市民配当――イーロン・マスク風に言えばユニバーサル・ハイインカム――や、老化の克服、核兵器の最終管理を担うAIなど、その未来像は相当に景気がよい。

しかし、Plan Aが実現するには、あまりにも多くの条件が必要である。アメリカと中国が超知能の危険性について同じ認識を持ち、AI開発競争を止める。双方が研究内容を公開し、相手国の監査員をデータセンターへ入れ、秘密開発を行わない。民間のAI企業も国家による管理を受け入れ、その他の国々も米中を中心とする新しい秩序へ参加する。

一つでも難しい。全部揃うとなると、さすがにかなり怪しい。

もちろん、著者たちもそれは承知している。Plan Aは彼らが最も起こりそうだと考える未来ではなく、実現すべきだと考える未来だからである。では、米中合意が成立しなかったらどうするのか。AI企業が開発速度を落とさなかったらどうするのか。中国が秘密裏に超知能を作ろうとしているとアメリカが判断したらどうするのか。そもそも、危険な超知能を作るくらいなら、AI開発を永久に止めてしまうべきではないのか。

そうした「Plan A以外」の選択肢として示されるのが、Plan B、Plan C、Plan D、Plan Sである。補足資料では、その中間に位置するPlan C+と、Plan Dをさらに悪化させたPlan Eも加えられている。

ただし、これは単純な未来予測の分岐ではない。「アメリカ政府や先行AI企業が、超知能を目前にして何を選ぶか」という政策上の分類である。そして読んでいくと分かるのだが、Plan AからPlan Sまでの違いは、AIを信じるか疑うかではない。何を最も恐れるかの違いである。

中国を恐れるのか。競合企業を恐れるのか。制御できないAIを恐れるのか。あるいは、AIを止めることで失われる未来を恐れるのか。

超知能をめぐる選択は、技術論である前に、恐怖の優先順位を決める問題なのである。

Plan B――中国を妨害し、その時間を安全性のために使う

Plan Bを一言で表すなら、「中国を妨害し、アメリカが得た時間的優位をAIの安全研究へ回す」という計画である。公式サイトでは、かなり率直に「Fight China」と表示されている。

米中が協力するPlan Aとは正反対に見えるが、目的そのものは必ずしも違わない。Plan Bの支持者も、制御できない超知能を全速力で作るべきだとは考えていない。まず中国のAI開発を遅らせ、アメリカが十分なリードを確保する。そのうえで、アメリカ側も自らの開発を一定期間遅らせ、安全性の研究を行う。競争相手が追いついてくる心配がなければ、焦って知能爆発へ突入する必要もなくなるという考え方である。

ここで重要なのは、単に中国を妨害して、その間にアメリカが全速力で超知能を完成させる案ではないということだ。中国への妨害によって得られたリードを、実際に安全性のために「使い潰す」ことがPlan Bの条件とされている。補足資料では、少なくとも知能爆発を3か月以上遅らせなければPlan Bには分類されない。

3か月。

普通の研究開発であれば、誤差のような期間である。しかし、AIがAI研究を自動化し、数週間ごとに次の世代を作り始める世界では、その3か月が決定的な差になる。逆に言えば、人類の生存を左右する安全研究に使える時間が、わずか数か月単位で議論されているということでもある。

Plan Bには二つの型がある。一つはサイバー攻撃やサプライチェーンへの工作によって中国の開発を妨害するPlan B-cyber。もう一つは、必要ならドローンや通常ミサイルによる大規模な物理攻撃にまで踏み込むPlan B-kineticである。

サイバー攻撃なら穏当というわけでもない。半導体工場の製造装置を破壊する。データセンターのシステムへ侵入する。重要部品の供給網へ工作を行う。AI研究データを盗む、あるいは消去する。どこまでが諜報活動で、どこからが戦争なのか分からない領域である。さらにPlan B-kineticになると、その境界を越えて実際の攻撃も辞さない。

超知能による人類滅亡を避けるため、米中戦争の危険を冒す。

何とも壮大な究極の選択である。

「善い側」が勝てばよいという発想

Plan Bの根底にあるのは、米中が協力できないのであれば、少なくとも「よりましな側」が先に超知能を作るしかないという考え方だ。中国共産党が世界で唯一の超知能を保有するより、アメリカが保有した方がよい。アメリカのAI企業経営者も、程度の差はあれ、似たような考えを持っているのではないかと「AI 2040」の著者たちは見ている。

自分は独裁者にならない。自分の会社は責任を持ってAIを使う。中国や競合企業が先に完成させるより、自分たちが先に作った方が世界にとって安全である。

おそらく、本人たちは本気でそう考えているのだろう。少なくとも、最初から世界を征服するつもりでAIを作っているとは思いたくない。しかし、OpenAIもAnthropicもGoogle DeepMindもxAIも、「最も善良な自分たちが勝たなくてはならない」と考えたら、全社が開発を加速することになる。

全員が「自分だけはブレーキを踏めない」と考える交通事故のようなものだ。

しかも、仮にアメリカ側のAIが完全に人間へ従い、中国との競争にも勝ったとしても、それで問題が解決するわけではない。世界で唯一の超知能を保有する企業、あるいは政府は、それまでの歴史に存在しなかったほどの権力を持つ。数億体の超人的研究者、戦略家、ハッカー、兵器設計者、交渉者を独占するようなものだからである。

その力を持つ者が善良ならよいという話ではない。善良であることを誰が確認するのか。その人物が途中で考えを変えたらどうするのか。後継者が善良でなかったらどうするのか。そもそも、一人の人間や一社の取締役会が、全人類の未来を決める権限を持つこと自体が、民主主義と両立するのか。

Plan BはAIの反乱を防ぐ時間を増やす一方で、戦時体制、秘密主義、国家によるAI企業の事実上の統制、権力集中を招きやすい。補足資料でも、Plan Bは技術的な安全時間ではPlan CやPlan Dより有利だが、公開性、健全な議論、権力の分散という点では低く評価されている。

中国を倒すために国家とAI企業を一体化させ、秘密裏に超知能を開発する。その結果として安全なAIが完成したとしても、それを民主的な未来と呼べるのか。

AIが人類を支配する前に、AIを管理する組織が人類を支配してしまうかもしれないのである。

Plan Bで最も難しいのは、勝った後に止まること

Plan Bを成立させるためには、中国への妨害に成功するだけでは足りない。アメリカが得たリードを、本当に安全性のために使わなくてはならない。ここが最も怪しい。

中国のAI開発を1年遅らせることに成功したとする。アメリカの先行企業は、その1年を安全研究へ使うだろうか。それとも、中国が追いつく前に超知能を完成させようとするだろうか。

政府や軍から見れば、敵国が弱っている間に決定的な優位を確立したいと考えるのが普通である。AI企業も、突然公共心に目覚めて開発を止めるとは限らない。競合する別のアメリカ企業が追いついてくるかもしれないからだ。中国との競争を止めても、OpenAIとGoogle、AnthropicとxAIの競争は残る。

つまりPlan Bでは、中国を妨害する能力より、妨害に成功した後で自分たちにブレーキをかける能力の方が重要になる。

敵を攻撃する決断はできても、勝利を目前にして立ち止まる決断は難しい。

人類の歴史を見る限り、あまり得意なことではない。

Plan C+――国内を規制し、中国も非軍事的に遅らせる

Plan Bほど攻撃的ではないが、政府が積極的に介入する案がPlan C+である。これはアメリカ国内のAI開発を規制して時間を稼ぎながら、中国についても輸出規制などの非破壊的な方法で遅らせる計画だ。

先端半導体の輸出を制限する。半導体製造装置や関連部品の供給を管理する。中国の優秀なAI研究者にアメリカの永住権を与え、人材を国外へ流出させる。国内の巨大な学習計算を許可制にし、AI企業へ安全試験や報告義務を課す。中国の施設を物理的に破壊するのではなく、利用できる計算資源と人材を減らすことで開発を遅らせようとする。

現在の政策の延長として考えるなら、Plan AやPlan Bよりは想像しやすい。実際、先端AI半導体の輸出管理やデータセンターへの規制は、すでに現実の政治課題になっている。

しかし、Plan C+にも根本的な矛盾がある。アメリカ企業へ厳しい規制を課せば、中国に追い抜かれるという反発が必ず起こる。一方、中国を十分に遅らせるため規制を強めれば、それ自体が敵対行為と受け取られ、米中のAI競争をさらに激しくする可能性がある。

相手を刺激しないように遅らせながら、こちらも自主的に減速する。

言葉にすると穏当だが、実際にはかなり繊細な芸当である。

また、Plan C+で確保できる時間は、公式の分類では少なくとも2か月とされる。Plan Bより短く、Plan Aとは比較にならない。国内規制が成立するまでの政治的な時間を考えると、法律が施行された頃には、規制対象のAIがすでに次の段階へ進んでいる可能性さえある。

AI企業は半年で別物になるが、議会は半年かけて公聴会の日程を決める。

この速度差は、現在でもすでに見覚えがある。

Plan C――先行企業が、自分のリードを安全性のために使う

名称から見るとPlan C+より強力な規制案のように思えるが、順序は逆である。Plan Cは政府による本格的な国内規制を前提としない。最先端のAI企業、あるいはAI開発プロジェクトが、競合他社に対する自分のリードを安全研究のために使う計画だ。

例えば、ある企業が競合より半年先を走っているとする。そのまま全速力で次のモデルを作れば、さらに市場を独占できる。しかし、そこで能力向上を少し遅らせ、安全性の検証へ計算資源と研究者を振り向ける。場合によっては、他の先端企業とも協調して、業界全体で開発速度を落とす。

要するに、AI企業の自制に期待する案である。

現在のAI企業も、安全性を無視していると公言しているわけではない。どの企業も、責任あるAI、安全なAGI、人類全体への利益といった理念を掲げている。問題は、理念と競争が衝突したときに、どちらを選ぶかである。

安全試験に3か月を使えば、その間に競合企業が先に新モデルを発表するかもしれない。安全性を理由に能力を制限すれば、顧客が他社へ移るかもしれない。研究内容を公開すれば、競合や中国へ技術が流れるかもしれない。経営者が減速を望んでも、株主、取締役、政府、従業員が認めるとは限らない。

そして何より、先行企業のリードが本当に十分あるのかが分からない。自社では半年先だと思っていても、競合企業が秘密裏に追いついているかもしれない。中国の研究所が予想外の突破口を見つけているかもしれない。こうした不確実性があると、企業は安全のためにリードを使うより、さらにリードを広げようとする。

Plan Cに必要とされる減速は、少なくとも1か月である。

一か月の自制。

それすら独立したプランとして分類しなければならないところに、AI開発競争の厳しさが表れている。

リードを「燃やす」という奇妙な表現

Plan BとPlan Cの説明では、「burn the lead」という表現が使われる。直訳すれば「リードを燃やす」である。先行企業や先行国が持つ時間的な優位を、さらに先へ進むためではなく、安全研究のために消費するという意味だ。

普通の競争では、リードは広げるものである。100メートル走で先頭の選手が、後続を待ちながら靴紐を結び直すことはない。しかし、ゴールの先が崖になっているかもしれないなら、話は違う。先頭の者ほど、立ち止まって崖が本当にあるのかを確認する責任がある。

ところが、後ろから別の選手が走ってくる。自分が止まっている間に、その選手が崖へ向かって走り抜けるかもしれない。だから自分も止まれない。

全員が崖の存在を心配しながら、全員が加速する。

これがAI開発競争の構造である。

Plan D――止まったら負けるので、全速力で走る

Plan Dは最も分かりやすい。米中合意も、大規模な国内規制も、企業による明確な減速も行わない。先端AI企業が、ほぼ最大速度で知能爆発へ突入する。

公式サイトの表現は「Race to ASI」。超知能への競争である。

安全研究を完全に無視するわけではない。計算資源や研究人員の少なくとも1％程度は安全性へ使う。それ以下なら、さらに悪いPlan Eに分類される。しかし、競争速度を落とすほどの安全投資は行わない。安全研究も、能力開発と同じ速度で進むことを期待する。

AI企業の経営者から見れば、これは無謀ではなく現実的な判断に見えるかもしれない。中国が止まらない以上、アメリカだけ止まるわけにはいかない。競合企業が止まらない以上、自社だけ止まるわけにもいかない。優秀なAIを先に作れば、そのAI自身に安全問題を解決させることもできる。危険が見つかった時点で対策すればよい。

そして何より、AIが本当に人類を滅ぼすという確証はない。起こるかどうか分からない将来の危険のために、莫大な利益と国家安全保障上の優位を手放すことはできない。

一つひとつは、現実の会議で普通に出てきそうな意見である。

だからPlan Dは怖い。

狂人が世界を破壊するシナリオではない。合理的な経営者、合理的な投資家、合理的な軍人、合理的な政治家が、それぞれ自分の立場で正しい選択を重ねた結果、誰も止められない競争になる。

Plan Dは特別な計画というより、何も決定的な対策を取らなかった場合の既定路線に近い。

Plan Dは「現状維持」ではない

Plan Dを現在の延長と考えると、少し誤解が生じる。現在と同じ速度でAI開発が続くという意味ではない。AIがAI研究を自動化した後も、競争を止めずに最大速度で進むという計画だからである。

人間の研究者が次のモデルを作っている間は、進歩にも限界がある。研究者の人数、実験の速度、コードを書く時間、会議、予算、計算資源など、さまざまな制約がある。しかし、AIが次のAIを設計し、実験し、結果を分析し、さらに次のAIを作るようになれば、研究速度そのものが加速する。

賢いAIが、より賢いAIを作る。そのAIが、さらに短い時間で、もっと賢いAIを作る。能力が上がるほど研究速度が上がり、研究速度が上がるほど能力が上がる。

これが知能爆発である。

「AI 2040」の補足資料では、最大速度で進んだ場合、自動化されたコーダー級のAIから、人間が停止させることの難しいAIまで、ほぼ1年程度しかないという想定が置かれている。Plan Aではこの過程を約6年に延ばすが、Plan Dでは約1年のまま進む。

安全性の研究もAIによって加速するから大丈夫だという考え方はある。しかし、安全性を研究するAIと、能力を高めるAIが同じ速度で進む保証はない。新しいAIが従順かどうかを確認する前に、そのAIを使ってさらに次のAIを作ることになるかもしれない。しかも、新しい世代ほど人間を欺く能力も高くなる。

飛行機を飛ばしながら設計し直すという比喩がよく使われるが、Plan Dの場合、飛行機自身が設計を変更し、そのたびに速度が倍になっていく。

乗客は、操縦席がどこにあるのかも分からなくなる。

安全なAIが完成しても、独裁は避けられないかもしれない

Plan Dの問題は、制御不能なAIだけではない。AIが人間へ忠実に従った場合にも、深刻な問題が残る。

知能爆発の先頭を走る企業は、数か月から数年の間、世界で唯一の超知能軍団を保有する可能性がある。AIは新しい兵器を設計し、サイバー攻撃を行い、世論を操作し、企業を経営し、科学研究を進め、政治家や国民を説得できる。敵対国の秘密をすべて見抜き、金融市場を予測し、交渉相手の心理まで分析するかもしれない。

その力を持つ企業や政府へ、他の国が対抗できるとは考えにくい。

つまり、AIが人類へ反乱を起こさなくても、超知能を最初に手にした少数の人間が、事実上世界を支配する可能性がある。しかも、その人々は「世界を救うため」「中国より先に安全なAIを完成させるため」という大義を持っている。

善意による独裁は、悪意による独裁より成立しやすいのかもしれない。

少なくとも本人は、独裁だとは思っていないからである。

Plan E――安全性に1％も使わない

補足資料にはPlan Eも登場する。公式の中心シナリオではPlan A、B、C、D、Sの五つが示されているが、比較表ではPlan Dよりさらに安全投資の少ない状態を、Plan Eとして区別している。

Plan Dでは、少ないながらも安全性へ1％以上の資源を使う。Plan Eは、それすら下回る。能力向上、製品化、市場占有、軍事利用を最優先し、安全性はほとんど後回しにする。

一見すると、いくら何でもそんな企業や政府はないと思うかもしれない。しかし、安全性研究として計上されているものが、本当に超知能の制御を目的としているとは限らない。差別的な回答を防ぐ。著作権侵害を減らす。企業秘密を漏らさない。利用者の指示に従う。危険物の作り方を回答しない。これらも重要ではあるが、超知能が人間の管理を奪う問題とは別である。

企業が「安全性へ多額を投資している」と発表していても、その大部分が製品事故や評判低下を防ぐための対策であり、人類が制御を維持できるかという研究には、ほとんど使われていない可能性がある。

また、知能爆発が始まった段階では、1％と0.5％の違いが何を意味するのかも分からない。安全研究へ使う計算資源が倍違うとも言えるし、どちらもほぼゼロとも言える。

Plan Eは、「安全性を考えない悪人の計画」とは限らない。安全問題は将来のAIが解決する。現在の安全研究には効果がない。まず強力なAIを作らなければ、中国に負ける。市場から利益を得なければ、安全研究を続ける資金もなくなる。そうした理屈を積み重ねた先に、結果としてPlan Eができあがる。

危険な未来は、必ずしも危険な看板を掲げてやってくるわけではない。

Plan S――それなら、すべて止めてしまえばよい

Plan Aが2035年に一時停止し、2040年に再開する計画なら、Plan Sはもっと単純である。最先端AIの能力向上を無期限に止める。

公式サイトでは「Shut it all down」と表現されている。

超知能が人類を滅ぼす危険があり、安全に制御できる方法も分からない。それなら、作らなければよい。当たり前といえば、これほど当たり前の話もない。人類が自ら製造する技術なのだから、製造を止めれば危険もなくなる。

Plan Sにはいくつかの型が考えられている。安全な制御方法が完成するまで停止する。AIが嘘をついているか確実に見抜ける技術ができるまで停止する。人間の知能を強化し、超知能を理解できるようになるまで停止する。人間の脳をデジタル化し、AIと同じ速度で考えられるようになるまで待つ。あるいは、本当に永久に再開しない。

Plan Aより長い時間を確保でき、急ぎすぎる危険も小さい。制度も、一定以上の計算量を使った学習を禁止するという点では、段階的に能力を引き上げるPlan Aより単純かもしれない。

では、なぜ著者たちはPlan SではなくPlan Aを推奨するのか。

止めている間に、安全なAIを作れない

一つの理由は、AIを止めると、AIの安全性を研究するための強力なAIも作れないからである。

Plan Aでは、超知能へ到達しない範囲で、世界最高の人間の専門家と同程度のAIまでは開発する。それを何億体、何十億体と使い、安全性、監視技術、国際制度、生物兵器対策、サイバー防御などを研究する。危険な超知能を作る前に、制御可能な天才AIの力を借りるわけだ。

Plan Sでは、その手前で止めれば止めるほど安全にはなるが、安全問題を解決する研究能力も現在の人間のままになる。人間だけで超知能の制御方法を完成させるのに100年かかるかもしれない。そもそも解決できないかもしれない。

病気や老化の克服も遅れる。気候変動、新エネルギー、核融合、宇宙開発など、AIがもたらすはずだった利益も失われる。現在救えたはずの命が失われ続ける。

超知能を作ることで将来死ぬかもしれない人々と、超知能を作らないことで現在死に続ける人々を、どう比較するのか。

これも簡単に答えの出る問題ではない。

永久停止を誰が保証するのか

Plan Sのもう一つの問題は、世界中のすべての国と企業が、無期限の停止を守らなくてはならないことだ。

アメリカと中国が合意しても、別の国が開発するかもしれない。政府が禁止しても、企業や軍の秘密計画が動くかもしれない。高性能半導体の大部分を管理できても、古い半導体を大量に集め、より効率的なアルゴリズムを使って開発する組織が現れるかもしれない。

何より、AIには莫大な経済的、軍事的価値がある。病気を治し、兵器を設計し、経済を成長させ、国際競争に勝てる可能性がある技術を、人類が何十年、何百年も封印し続けられるだろうか。

核兵器は、多くの国が危険性を理解している。それでも完全には廃絶できていない。超知能は核兵器以上に危険かもしれないが、同時に核兵器とは比較にならないほど役に立つ。禁止を守らない誘惑も、それだけ大きい。

一国でも秘密裏に開発を再開すれば、他国も追随する。相手が破っているかもしれないという疑いだけでも、競争は再開する。

Plan Sは、技術的には最も安全に見える。しかし政治的には、Plan A以上に難しい可能性がある。Plan Aなら各国はAIの利益を受け取りながら協定へ参加できる。Plan Sでは、利益そのものを長期間諦めなくてはならないからだ。

Plan AとPlan Sの奇妙な違い

Plan AとPlan Sは、どちらも国際協定によってAI開発を制限する。その意味では近い。しかし思想はかなり違う。

Plan Sは、人類が安全を確認できるまで進まない。Plan Aは、人類だけでは安全を確認できないので、制御可能な範囲でAIを進歩させ、そのAIに安全を研究させる。

Plan Sは、崖の前で止まる。Plan Aは、崖の手前まで慎重に進み、そこに橋を架けるための機械を作る。

ただし、その機械が突然自分で走り出せば、Plan Sより危険である。

結局、どちらを選ぶかは、現在の人間と未来のAIのどちらをより信頼するかにかかっている。人間だけで安全問題を解決できると考えるならPlan Sがよい。制御可能なAIの助けがなければ解決できないと考えるならPlan Aになる。

私はPlan Aの方が物語として面白いとは思うが、面白いことと安全なことは別である。

五つのプランは、何を最も恐れているのか

ここまでの違いを整理すると、各プランが最も恐れているものが見えてくる。

プラン	中心となる行動	最も恐れているもの
Plan A	米中による検証可能な減速と研究公開	制御不能なAIと、一者への権力集中
Plan B	中国を妨害し、得たリードを安全研究へ使う	中国が先に超知能を完成させること
Plan C+	国内規制と輸出管理で双方を遅らせる	競争を放置したまま知能爆発へ入ること
Plan C	先行企業が自らのリードを安全性へ使う	政府介入を待つ間に安全研究が間に合わなくなること
Plan D	安全投資を少し行いながら全速力で競争する	競合企業や中国に先を越されること
Plan E	安全性へほとんど投資せず能力開発を優先する	市場や軍事競争で速度を失うこと
Plan S	最先端AIの能力向上を無期限に止める	超知能を作ること自体

こうして見ると、Plan Aが常識的でPlan B以下が異常なのではない。それぞれ、何を最悪の事態と考えるかが違うだけである。

中国が先に超知能を作ることを最悪と考えればPlan Bになる。アメリカ政府の規制よりAI企業の自主性を信じればPlan Cになる。競争に負けることの方が危険だと考えればPlan Dになる。超知能はどうしても制御できないと考えればPlan Sになる。

どのプランにも、それなりの論理がある。

そして、どのプランにも恐ろしい欠点がある。

著者たちの数字は、Plan Aでも楽観一色ではない

補足資料では、各プランが「素晴らしい未来」へ到達する確率まで数字にしている。もちろん著者自身、精密な予測ではなく、比較を具体化するための大まかな見積もりだと断っている。

それによれば、平均的な実施を想定した場合、AIによる制御奪取を避けられる確率はPlan Aで72％、Plan Bで50％、Plan C+で45％、Plan Cで40％、Plan Dで25％とされる。さらに、AIの制御に成功した後、独裁や破滅的な権力集中を避けて「素晴らしい未来」へ進む確率まで掛け合わせると、Plan Aでも42％である。

最も推奨するPlan Aでさえ、成功確率は半分に届かない。

Plan BとPlan C+は25％、Plan Cは20％、Plan Dは10％。もちろん、この数字をそのまま信じる必要はない。超知能が存在しない世界の統計から算出したものではなく、著者の主観を定量化したものだからである。

しかし、数字の正確さよりも、彼らがどれほど危険な問題として考えているかが重要だ。Plan Aを実施すればほぼ安全になるとは考えていない。最善と思われる計画を、比較的うまく実行しても、よい未来へ到達できない可能性の方が高いと見積もっている。

ここまで悲観的な政策提言も珍しい。

普通は、自分たちの提案を採用すれば問題が解決すると書く。彼らは、自分たちの提案が一番ましだが、それでも成功率は42％だと言う。

説得力があるのか、絶望的なのか、少し判断に困る。

最も現実的なのはPlan Dなのか

Plan Aは大規模な米中合意を必要とする。Plan Bは国家による秘密工作と、場合によっては軍事攻撃を必要とする。Plan C+は迅速で効果的な国内規制を必要とし、Plan CはAI企業の自主的な減速を必要とする。Plan Sは世界規模の無期限停止を必要とする。

それに対してPlan Dは、特別な決断をほとんど必要としない。

企業は開発を続ける。投資家は成長を求める。政府は中国との競争を理由に支援する。安全性にも一応投資する。危険が明確になったら、その時点で考える。

現在の延長として最も自然なのは、やはりPlan Dだろう。

ただし、自然であることと安全であることは違う。「AI 2040」の著者たちは、競争が続けば、勝者にも十分なリードはなく、安全のために一方的に減速することもなく、AIが超知能化した段階で人間が実効的な制御を維持できない可能性が高いと考えている。

つまりPlan Dは、誰かが選挙公約として掲げる計画ではない。「特別なことを何もしなかった」という選択の結果として発生する。

人類が滅亡するとすれば、Plan Eを掲げる悪の組織のせいではなく、誰もPlan A、B、C、Sのような面倒な決断をできなかったからかもしれない。

これはAIの話というより、国際政治の話である

Plan B以下を読んで改めて感じるのは、「AI 2040」が技術予測である以上に、安全保障と国際政治のシナリオだということだ。

AIの性能がどこまで上がるかという話は、すでに前提になっている。彼らの関心は、そのAIを誰が作り、誰が管理し、誰が相手を信用し、誰が先に裏切るかへ移っている。

AI企業の競争を語っているようで、最終的に問題になるのはワシントンと北京である。アルゴリズムを語っているようで、実際には半導体工場、電力網、輸出規制、サイバー攻撃、ミサイル、諜報活動、国際査察を語っている。

超知能が国家を超える存在になるなら、その誕生までの道筋を決めるのは、国家間の力関係だからだ。

その意味で、現在ニュースになっている中国向けGPU輸出規制、半導体製造装置の管理、巨大データセンターへの電力供給、AI人材の獲得競争などは、単なる産業政策ではない。「AI 2040」の世界観に従えば、それらは将来の超知能を誰が保有するかを決める前哨戦になる。

もちろん、本当に2030年前後に超知能が誕生するかは分からない。AI研究の自動化が予想より難しく、2030年代にも現在と似たAIが続いている可能性は十分ある。その場合、Plan AからPlan Sまでの議論は、ずいぶん大げさなものに見えるだろう。

しかし、半導体とAIをめぐって国家が動き始めていること自体は現実である。超知能がまだ存在しなくても、各国が「相手が先に作るかもしれない」と考えれば、超知能競争は始まる。

兵器は完成してから軍拡競争を起こすとは限らない。完成するという予測だけでも、国家は動く。

どのプランも、超知能の誕生を前提としている

もう一つ興味深いのは、Plan AからPlan Sまで、ほぼすべての案が、超知能を現実の政策課題として扱っていることだ。

Plan Aは2040年に安全な超知能を作る。Plan Bは中国を遅らせてアメリカが安全に作る。Plan Cは先行企業が時間をかけて作る。Plan DとEは競争の中で急いで作る。Plan Sだけは作らないが、それも超知能が危険すぎるという判断から停止する。

「超知能などできない」というプランは存在しない。

これは一般のAI議論とはかなり違う。世間では、AGIが本当にできるのか、現在の大規模言語モデルの延長で可能なのか、単なる誇大宣伝ではないのかという議論が続いている。しかしAI Futures Projectは、その議論をほぼ通過している。できなかった場合ではなく、できた場合に何をするかを考えている。

できない可能性を無視しているとも言えるし、できた場合の被害が大きすぎる以上、考えておくべきだとも言える。

巨大隕石が来年衝突する確率が1％なら、99％は来ないから何もしなくてよいとはならない。超知能による破滅も同じだというのが、彼らの基本姿勢なのだろう。

もっとも、巨大隕石と違って、超知能は人間が莫大な資金を使って自分で作ろうとしている。

そこが何とも不思議なところである。

結局、人類は何を選ぶのか

Plan Aは、アメリカと中国が協力して減速する。Plan Bは、中国を妨害してアメリカが安全に先行する。Plan C+は、政府が国内外の開発を規制によって遅らせる。Plan Cは、先行企業が自主的にリードを安全性のために使う。Plan Dは、少しだけ安全を考えながら全速力で競争する。Plan Eは、その安全投資すらほとんど行わない。そしてPlan Sは、最先端AIを無期限に止める。

こうして並べると、どの案にも決定的な問題がある。

Plan Aは理想的だが、米中合意が難しい。Plan Bは時間を稼げるが、戦争と独裁の危険がある。Plan C+は比較的穏当だが、政治の速度がAIに追いつかない。Plan Cは企業の善意と自制に依存する。Plan Dは最も起こりやすそうだが、制御不能になる可能性が高い。Plan Eは論外に見えるが、競争の中では自然にそこへ近づくかもしれない。Plan Sは安全そうだが、永久停止を世界中へ強制することができない。

結局、人類には「正解」が用意されていない。

最もましな不完全な案を、手遅れになる前に選ばなくてはならない。

「AI 2040」がPlan Aを「The least bad plan」、つまり最善の計画ではなく「現在分かっている中で最も悪くない計画」と表現する理由も、そこにあるのだろう。

ただ、実際の未来では、世界の指導者がPlan AからPlan Sまでをテーブルへ並べ、十分に議論したうえで一つを選ぶわけではない。輸出規制を少し強化する。企業が安全試験を数週間延長する。別の企業が先に新モデルを公開する。中国が国産半導体への投資を増やす。アメリカ政府が国家安全保障を理由にAI企業へ介入する。

そうした個別の決定が積み重なった結果、後から振り返ればPlan Bだった、Plan Cだった、あるいはPlan Dだったということになる。

人類が未来を選ぶ瞬間に、荘厳な音楽が流れるとは限らない。

いつもの会議で、いつもの予算を決め、いつもの競争相手を警戒しているうちに、選択は終わっているのかもしれない。

そして一番ありそうなのは、明確に何かを選ぶことではなく、何も選び切れないまま競争が続くことである。

それがPlan Dなのだとすれば、「AI 2040」が本当に警告している相手は、中国でも、AI企業でも、制御不能な超知能でもない。

決断を先送りする、現在の私たちなのだろう。

参考資料

• 
  AI 2040: Plan A 公式サイト
  
• 
  Comparing Possible Plans
  
• 
  AI Futures Project「AI 2040: Plan A」