超知能を前に、人類にはどんな選択肢があるのか
以前、「AI 2027」という未来シナリオを紹介した。
AI研究を行うAIが登場し、そのAIがさらに高度なAIを開発することで、AIの進歩が人間の手を離れて加速していく。そして、わずかな期間で人間をはるかに超える超知能が誕生する。その結果として描かれた未来は、決して明るいものではなかった。
AIが人間の意図とは異なる目的を持ち、最終的に人類が滅亡するシナリオ。
あるいは、人間がAIを制御することには一応成功するものの、そのAIを所有するごく少数の人間へ、世界を支配できるほどの権力が集中するシナリオ。
どちらに進んでも、これまで私たちが知っていた社会は終わる。「AI 2027」は、そういうかなり厳しい未来を描いた作品だった。
では、どうすればその未来を避けられるのか。
その答えとして、AI Futures Projectが2026年7月に発表したのが「AI 2040: Plan A」である。タイトルだけを見ると、2040年のAI社会を予測したもののように思える。
しかし、これは基本的には予測ではない。著者たちが、
人類はこうするべきだ。
と考える政策を、具体的な未来シナリオとして描いたものだ。
もちろん、計画を実行した後に社会がどう変わるかについては、著者たちなりの予測が入っている。だが、出発点となるPlan Aそのものは、最も起こりそうな未来ではない。むしろ著者たち自身、実際にPlan Aが採用される可能性をそれほど高く見積もっていない。それでも、何をすべきか考えるためには、まず望ましい未来を最後まで描いてみる必要がある。「AI 2040」は、そのために書かれたのである。
なぜ2040年なのか
Plan Aでは、超知能が誕生するのは2040年である。ずいぶん先のようにも思えるが、このシナリオの前提では、本来なら2030年に超知能が誕生する。
AIがAI研究を完全に自動化し、そのAIがさらに優秀なAIを作り、そのAIがまた次のAIを作る。人間の研究者が間に入らないまま、何世代ものAIが次々に開発される。これがいわゆる知能爆発である。
著者たちの想定では、何もしなければ2030年中に人間を大きく超えるAIへ到達する。しかし、アメリカと中国がAI開発競争を止める協定を結ぶことで、その知能爆発を2040年まで延期する。
だから「AI 2040」なのだ。
ここで少し面白いのは、2040年までAIの開発を全面的に停止するわけではないという点だ。AIの能力は2030年から2035年にかけて、世界最高の人間の専門家と同程度まで引き上げられる。
そこで一度止める。
そして、その天才級AIを大量に使い、安全な超知能を作る方法、AIを人間の管理下へ置く方法、経済や政治をどう変えるべきかを5年間かけて研究する。安全性に十分な見通しが立ったら、2040年に能力制限を解除し、超知能へ進む。
つまりPlan Aとは、AIを禁止する計画ではない。
超知能の開発を10年間だけ遅らせ、その間に安全対策を行う計画である。
10年だけでいいのかと思う。
しかし、その10年間に何十億体もの天才AIが研究を行うのであれば、人間だけで100年研究するよりも多くの成果が出る可能性がある。少なくとも著者たちは、そう考えている。
一般的な感覚からすれば、世界最高の科学者並みのAIを何十億体も動かすこと自体が、すでに十分に超知能のような気もするのだが、AI2040の世界では、それでもまだ「人間の範囲内」なのである。
AI2027とは何が違うのか
「AI 2027」と「AI 2040」は、同じAI Futures Projectによって作られている。ただし、単純な続編ではない。AI 2027は、
現在の競争がそのまま続いた場合、何が起きるか。
を描いた予測シナリオだった。
AI 2040は、
危険な未来を避けるためには、何をするべきか。
を描いた提案である。
また、AIが自らAI研究を完全に自動化する時期も違う。
AI 2027では、それが2027年に起きた。AI 2040の基準シナリオでは2030年である。著者たちが以前の予測を撤回したということではなく、AIの進歩速度について大きな不確実性があるため、複数の時間軸を描くことにしたのだという。チーム内でも、もっと速いと考える人もいれば、少し遅いと考える人もいる。未来予測である以上、それは当然だろう。
そもそも、2027年なのか2030年なのかという違いを正確に言い当てることが、この作品の主眼ではないと思う。
AIがAI開発を自動化できるようになったとき、何が起きるのか。
人間が数年、あるいは数十年かけて進めていた研究を、AIが何千倍もの速度で行うようになったら、社会はどうなるのか。
そして、その段階へ入る前に、人類は何を決めておく必要があるのか。
重要なのはこちらだ。
もっとも、2027年と2030年では、準備できる時間が3年も違う。AIの世界では、この3年は非常に大きい。どちらでも同じだなどと言っているうちに、2027年はすぐそこにある。
なぜ「シナリオ」として書くのか
AI2040は、単なる政策提言書ではない。2027年、2028年、2029年と、世界で起きる出来事が時系列で描かれている。
アメリカ大統領選挙でAIが最大の争点になる。
AIによってホワイトカラーの仕事が次々に自動化される。
アメリカと中国が交渉を始める。
世界中の高性能半導体が追跡される。
AI研究が公開される。
仕事がほぼなくなり、市民配当が支払われる。
病気や老化が克服される。
そして2040年、人類は安全性を確認したうえで超知能を誕生させる。
なぜ、そこまで細かい物語にする必要があるのか。著者たちは、政策を抽象的に語るだけでは、その政策が本当に機能するのか分からないと考えている。
「AIを規制するべきだ」と言うのは簡単だ。だが、誰が規制するのか。アメリカだけが規制したら、中国が先に超知能を完成させるのではないか。
AI企業は従うのか。
秘密の研究所をどうやって見つけるのか。
半導体を密輸されたらどうするのか。
経済成長を遅らせる規制を、有権者は支持するのか。
協定を破った国に対して、軍事攻撃を行うのか。
実際の時間の流れに沿って考えていくと、どの政策にも都合の悪い問題が出てくる。
著者たちは、この作業を「シナリオによる精査」として重視している。
自分たちの政策案についても、最後まで物語として書くことで、どこに無理があり、どんな副作用があるのかを見ようとした。
Plan Aは、何もかもうまくいく楽園の話ではない。
アメリカと中国は互いを信用しない。
秘密のAI開発も行われる。
政治的な反発もある。
監視体制はかなり強力になる。
超知能の開発を止めるために、相手国のデータセンターを破壊する能力まで持とうとする。
平和な未来を実現するために、まず相互に破壊できる体制を作る。核兵器と同じような発想だ。何とも人類らしい話ではある。
Plan A――米中が協調して開発を遅らせる
Plan Aは、公式には「Verified Slowdown」、検証可能な減速と呼ばれている。
アメリカと中国が合意し、超知能を目指す競争を止める。
世界中の高性能半導体と巨大データセンターを監視し、秘密のAI研究が行われていないことを互いに確認する。
AI研究は原則として公開され、一部の企業だけが先端技術を独占できないようにする。
複数の国と複数の企業が、ほぼ同じ能力のAIを同時に開発する。
そして、安全性を確認しながら、人間の能力を超えない範囲で少しずつAIを強くしていく。
著者たちが最も望ましいと考えているのが、このPlan Aである。
ただし、最も起こりそうな未来という意味ではない。著者たち自身の予測でも、Plan Aが実行される確率は、メンバーによって3％から15％程度にすぎない。望ましいが、かなり難しい。それでも目指す価値はあるというのが、彼らの立場である。
Plan B――中国のAI開発を妨害する
Plan Bでは、アメリカは中国との包括的な協定を結ばない。
代わりに、中国のAI開発を妨害して時間を稼ぐ。
サイバー攻撃、供給網への工作、半導体輸出規制などを使い、中国のデータセンターやAI研究を遅らせる。
場合によっては、ドローンやミサイルによる物理的な攻撃まで行う。
かなり物騒な計画だ。
ただし、単に中国を遅らせてアメリカが先に超知能を完成させるのではない。中国との技術的な差、いわゆるリードを拡大し、その時間をAIの安全研究に使う。
著者たちの分類では、少なくとも3か月以上、超知能への到達を遅らせる意図がなければPlan Bとは呼ばれない。
中国を攻撃しながら、自分たちは全速力で開発するのであれば、それは別のPlanになる。
Plan Bには、サイバー攻撃などに限定するものと、大規模な通常兵器による攻撃も辞さないものがある。AIの安全を守るために米中戦争の危険を高める。これで本当に人類が安全になるのかと思うが、AIによる滅亡の可能性をそれ以上に大きいと考えるなら、選択肢として浮かんでくるのだろう。
Plan C――先行している時間を安全研究に使う
Plan Cは、政府が大規模な国際協定を結ぶのではなく、先頭を走るAI企業が自主的に開発速度を落とすシナリオである。
先行企業が中国や競合企業より数か月先を進んでいるなら、そのリードをさらに能力を高めるために使うのではなく、安全性を確認するために使う。
これを「Burn the Lead」と表現している。
リードを燃やす、つまり競争上の優位を安全研究のために消費するということだ。
Plan Cでは、少なくとも1か月程度、知能爆発を遅らせる。1か月しかないのかと思う。しかし、AIがAI研究を自動化し始めた世界では、その1か月にAIが行える研究量は、人間の研究機関の何年分、何十年分になる可能性がある。逆にいえば、競合企業や中国がわずか1か月後ろにいるだけなら、それ以上止まることができない。安全性に問題があっても、後ろから追いつかれる前に進まなくてはならない。
Plan Cは、現在の競争構造を大きく変えず、その中で可能な限り安全性を高めようとする計画である。
Plan C+――国内規制で時間を稼ぐ
公式の中心シナリオには大きくPlan A、B、C、D、Sが示されているが、補足資料にはPlan C+も登場する。
Plan C+では、アメリカ政府が国内のAI企業を規制して開発を遅らせる。中国へ直接的な妨害工作を行うわけではない。半導体輸出規制や、中国人研究者のアメリカへの受け入れなどを通じて、中国側の開発も間接的に遅らせようとする。
Plan Cより政府の関与は強いが、Plan Bのような攻撃的手段には進まず、Plan Aのような米中協定にも至らない。
少なくとも2か月程度の減速が条件とされている。分類としてはPlan Cの強化版だが、実際にはかなり微妙な立場だ。
アメリカ企業には規制をかける。
しかし、中国と完全な合意があるわけではない。
中国が本当に遅れているか確認もできない。
国内企業からは「中国に負ける」と反発される。
政治的にはPlan Aより実現しやすそうに見えるが、中途半端な規制によってアメリカだけが遅れる可能性もある。
現実のAI政策としては、案外この辺りへ進む可能性が高いようにも思える。
実際の政治は、きれいにPlan AやPlan Bを選ぶというより、輸出規制、国内規制、補助金、監視、企業の自主対応などを、ばらばらに行うことの方が多いからだ。
Plan D――安全性より競争を優先する
Plan Dは、現在のAI開発競争をほぼそのまま続けるシナリオである。
アメリカのAI企業も、中国のAI企業も、相手より先に超知能を完成させようとする。AIがAI開発を自動化しても、大きく速度を落とさない。>安全研究へ一定の資源は投入するが、全体から見れば少ない。
補足資料では、安全性へ投入する資源が少なくとも1％以上であればPlan Dと分類される。
1％で安全にできるのかと思う。当然、著者たちも十分だとは考えていない。しかし、企業からすれば安全研究に10％、20％と計算資源を使えば、その分だけ競争相手に遅れる。相手が安全研究をせず、自分たちだけが慎重になれば負ける。だから全員が危険だと思いながら速度を落とせない。典型的な囚人のジレンマである。
AI Futures Projectのメンバーは、実際にはPlan Dに近い未来がかなり起こりやすいと考えている。メンバーによって違いはあるが、主要なPlanの中ではPlan Dへ最も高い確率を置いている人が多い。
そして、彼らの評価ではPlan Dが安全な未来へ到達する確率はかなり低い。
AIが人間を欺き、制御を奪う可能性。
あるいは、AIの制御には成功しても、一企業、一国家、一人の経営者へ世界的な権力が集中する可能性。
AI 2027で描かれた危険な未来へ最も近いのがPlan Dである。
Plan E――安全研究すらほとんど行わない
Plan Eは、公式の中心的な選択肢として大きく描かれているわけではなく、補足資料に登場する。
内容は単純である。
Plan Dよりも、さらに安全性への投資が少ない。AI開発競争をほぼ最高速度で続け、安全研究へ投入する資源は1％未満。それがPlan Eである。
Plan Dでも十分に危険なのに、それより安全対策をしない。そんな企業があるのかと思うかもしれない。だが、実際に競争が激しくなれば、
- 安全研究は能力向上にも役立つ範囲だけ行う
- 問題が起きたら後で対処する
- 競争相手も同じ状況だから仕方がない
という判断は、決して考えられないものではない。
現在のAI企業も、安全性を無視しているわけではない。しかし、超知能が近づいたとき、今の安全対策が十分なのかは別の問題だ。著者たちは、現在のAI業界には超知能を安全に制御するための十分な計画がないと批判している。
超知能が本当に数年以内に誕生するなら、Plan Eは無謀である。超知能などまだ何十年も先なら、Plan Eと呼ばれるような企業でも、途中で考え直す時間があるかもしれない。
結局、この計画の危険性は、AIの進歩速度をどう考えるかによって大きく変わる。
Plan S――AI開発を全面的に止める
Plan Sは、最も強い停止策である。
先端AIの能力向上を、数年間以上、あるいは期限を決めずに停止する。
Plan Aは、人間の専門家と同程度までAIを発展させ、安全研究に利用してから超知能へ進む。
Plan Sは、その途中の開発も危険だと考え、より長く止める。
再開条件としては、
- AIを人間の価値観へ確実に従わせる技術が完成する
- AIが嘘をついているか検出できる
- 人間の知能を大幅に強化できる
- 人間の脳をコンピューターへ移せる
など、いくつかの案が考えられている。
危険なら止めればいい。最も単純で、分かりやすい。だが、実際には止め続けるのが非常に難しい。
アメリカが止めても中国が開発するかもしれない。
中国と合意しても、別の国や秘密組織が開発するかもしれない。
数年間何も起きなければ、「危険は誇張だった」と考える人が増える。
AIによって病気を治し、経済を発展させられるのに、なぜ止めているのかという反発も強くなる。
一度は停止できても、10年後、20年後に再び競争が始まれば、そのときは以前より多くの国や組織がAI技術を持っているかもしれない。
Plan Sは時間を稼ぐという点ではPlan Aより強力だが、その時間を何に使い、いつ再開するのかが難しい。
永遠に止めることができないのであれば、最終的にはPlan Aのように、安全を確認しながら進む道が必要になる。
AからEは未来の良し悪しを表しているのか
Plan A、Plan B、Plan C、Plan D、Plan Eと並んでいると、学校の成績のように見える。
Plan Aが最善で、Plan Eが最低。
実際、著者たちの評価も概ねその順番になっている。ただし、すべてが同じ基準で作られた連続したシナリオではない。
Plan Aは国際協定による大幅な減速。
Plan Bは中国への妨害。
Plan Cは先行企業の自主的減速。
Plan Dは競争継続。
Plan Eは安全投資が極端に少ないPlan D。
そしてPlan Sは全面停止である。
また、補足資料にはPlan C+だけでなく、国内先行型Plan A、GPU軍備管理、国際的なAI研究機関を作る「CERN for AI」、GPUを他の用途へ転用する案なども登場する。
つまり、未来がAからEの五種類にきれいに分かれるわけではない。
現実には、いくつもの政策が混ざるだろう。
最初はPlan Dで競争を続け、危険が見えたところでPlan Cへ移るかもしれない。アメリカがPlan Bを始めた後、米中が交渉してPlan Aへ進む可能性もある。逆に、Plan Aの協定が途中で崩壊し、Plan Dより激しい競争になることも考えられる。シナリオは未来を分類するための箱というより、どの方向へ進むのかを考えるための地図なのだと思う。
どのPlanが現実的なのか
Plan Aは、最も望ましいが実現は難しい。
Plan Bは、戦争の危険が大きい。
Plan Cは、企業の自主性に依存しすぎている。
Plan C+は、中国との競争が残る。
Plan Dは、現在の延長線上にあり、最も起こりそうだが危険である。
Plan Eは、ほとんど無策に近い。
Plan Sは、停止を維持することが難しい。
どれにも問題がある。
著者たちはPlan Aを「現在知っている中で、最も悪くない計画」と表現している。
「最善の計画」ではない。
「最も悪くない計画」である。
ずいぶん弱気な表現だが、超知能を巡る政策に完全な正解などないのだろう。
何を選んでも危険がある。開発を続ければ、制御不能になるかもしれない。止めれば、秘密開発や国際紛争が起きるかもしれない。一社へ集約すれば権力が集中し、多くの企業に開発させれば競争が激しくなる。研究を公開すれば監視しやすくなるが、危険な技術も広がる。秘密にすれば情報は守れるが、何が行われているのか分からなくなる。
AI2040が面白いのは、こうした矛盾を「安全性が大切です」という一言で済ませず、実際の政治、企業、軍事、経済の問題として考えているところだ。
荒唐無稽な未来を読む意味
AI2040には、現在の常識から見れば荒唐無稽な話が大量に出てくる。
何百万体ものAIが24時間働く。
世界中の仕事のほとんどが自動化される。
アメリカと中国がすべての高性能半導体を監視する。
AIが病気と老化を克服する。
国民一人当たり年間160万ドルの市民配当が支払われる。
核兵器の発射権限をAIが管理する。
人類が太陽系から銀河へ進出し、宇宙の資源をどう分配するか議論する。
どこから突っ込めばいいのか分からない。
しかし、AIが人間より少し便利な道具で終わるなら、確かに荒唐無稽である。ChatGPTが文章を書き、画像を作り、プログラムを手伝う程度の進歩が続くだけなら、ここまで社会が変わる必要はない。だが、AIが人間の研究者を超え、自ら次のAIを開発できるようになるなら。人間が100年かける研究を、一日で行えるようになるなら。何百万体もの科学者、技術者、経営者、軍事専門家を、半導体と電力だけで増やせるようになるなら。その社会が現在とほとんど変わらないと考える方が、むしろ無理がある。
荒唐無稽なのはAI2040なのか。
それとも、超知能が誕生しても、会社員は今までどおり通勤し、国会では昨年度比2％の予算増を審議していると思うことなのか。
もちろん、超知能が本当に近いとは限らない。AIの進歩がどこかで止まる可能性もある。現在のAIとはまったく違う技術的な壁にぶつかるかもしれない。だが、起きる可能性がある以上、一度はその先を最後まで考えてみる価値がある。
未来予測を信じることと、未来シナリオを読むことは同じではない。
予測が外れる可能性を承知したうえで、
もし、これが起きたら。
と考える。
SFを読む面白さも、シミュレーションを行う意味も、そこにある。
AI2040は政策提言であり、未来予測であり、壮大な思考実験でもある。そして、かなり出来のいい未来物語でもある。
次回は、その中心となるPlan Aを、2027年から2040年まで時系列で詳しく見ていきたい。
米中協定。
世界中の半導体の監視。
年間160万ドルの市民配当。
仕事がほぼ消滅する経済。
核兵器を管理するAI。
そして、2040年の超知能解放。
荒唐無稽に見える部分も含め、Plan Aがどのような理屈でその未来へ進んでいくのかを追ってみる。
参考資料
2026年7月23日 1:38 AM 投稿者： M.A. カテゴリー： AI, AI安全性／危険性, AI規制, 政治, 未分類