超知能AI論争を読む：ボストロムからユドコウスキーまで－第1回
超知能AI論争はどこから始まったのか：ボストロム『Superintelligence』を読む
「超知能AIを作れば、人類は絶滅する」
最近、そんな強い主張を掲げた本を読んでいる。Eliezer YudkowskyとNate Soaresによる If Anyone Builds It, Everyone Dies だ。タイトルからしてかなり強い。AIが危険かもしれない、という程度ではない。超人的なAIを作ること自体が、人類にとって致命的になるという主張である。英国版は2025年に刊行され、超知能AIへの強い警告として注目を集めている。
ただ、この本を読んでいて思った。
これは単独で突然出てきた議論ではない。
そういえば、Leopold Aschenbrennerの “Situational Awareness: The Decade Ahead” があった。AIが2020年代後半にAGIへ近づき、国家安全保障、巨大データセンター、AI研究の自動化、スーパーアライメントの問題になるというレポートである。
さらに、Daniel Kokotajlo、Scott Alexanderらによる “AI 2027” もある。これは、2025年から2027年にかけて、AIエージェント、AI研究自動化、米中競争、アライメント失敗がどのように進みうるかを具体的なシナリオとして描いたレポートだ。
つまり、いま読んでいるユドコウスキーらの本は、孤立した警告ではない。
むしろ、ここ数年で強くなってきた一連の議論の、かなり先鋭化した到達点のように見える。
そこで、この連載では、超知能AIをめぐる議論を一度、流れとして読み直してみたい。
この連載で扱う13回の流れ
第1回では、Nick Bostromの『Superintelligence』を読む。
現代の超知能リスク論の出発点に近い本であり、「人間より賢いAIを、人間は本当に制御できるのか」という問いを整理する。
第2回では、AGIがいつ来るのかというタイムライン予測を見る。
Bio Anchorsのような考え方を手がかりに、計算資源、アルゴリズム効率、データ、投資が、なぜAI未来予測に関係するのかを確認する。
第3回では、Leopold Aschenbrennerの “Situational Awareness” を扱う。
AIを、単なるソフトウェアではなく、GPU、電力、データセンター、国家安全保障、スーパーアライメントを巻き込む巨大な問題として読む。
第4回では、Daniel Kokotajloらの “AI 2027” を読む。
AIがAI研究を始めたとき、企業、政府、世論、米中競争、安全評価がどう動くのかを、シナリオとして確認する。
第5回では、Ray Kurzweilの『The Singularity Is Nearer』を挟む。
同じ「AIは指数関数的に進歩する」という見方を、破局ではなく人類拡張や融合として見る楽観的シンギュラリティ論を読む。
第6回では、AIすごい論への反対側を見る。
NarayananとKapoorらの “AI as Normal Technology” のように、AIを超知能的な断絶ではなく、社会に普及する通常技術として見る立場を確認する。
第7回では、Eliezer YudkowskyとNate Soaresの『If Anyone Builds It, Everyone Dies』を読む。
超知能AIを作れば人類は絶滅する、という最も強い警告が、どのような論理で組み立てられているのかを見る。
第8回では、ここまでの立場を一度整理する。
ボストロム、アッシェンブレナー、AI2027、カーツワイル、通常技術論、ユドコウスキーを比較し、それぞれがAIをどのような存在として見ているのかを並べる。
第9回では、ChatGPTの見立てを書く。
各文献の紹介ではなく、この一連の超知能AI論争を、ChatGPTがどう評価するのかを扱う。
第10回では、Geminiの見立てを書く。
同じ文献群を前提に、Geminiがどの主張を重く見て、どの主張を過大評価・過小評価と見るのかを確認する。
第11回では、Claudeの見立てを書く。
Claudeがこの論争をどう読むのか、特にアライメント、安全性、企業統治、減速論にどのような重みを置くのかを見る。
第12回では、ChatGPT、Gemini、Claudeの見立てを比較する。
三つのAIは、AI2027、ユドコウスキー、カーツワイル、通常技術論をどう評価したのか。その違いを整理する。
第13回では、最後に私自身の見立てを書く。
すべての文献とAIたちの意見を読んだうえで、超知能AIをどう見るのか。危険論、楽観論、通常技術論のどこに納得し、どこに違和感を持つのかをまとめる。
単純に「超知能AIを作れば、人類は絶滅する」に対する感想を書いてもよかったが、AIが危険だという話は、あまり日本では大きな声になっていない
ドラえもんやアトムがいるからだという噂も聞こえてくるが、アトムはともかく、ドラえもんは発明して欲しい。
さて、目的は、いま超知能AIをめぐって、どのような世界観がぶつかっているのかを見取り図にすることである。
ボストロムから始める理由
この連載をユドコウスキーから始めてもよかった。
むしろ、発端はそこにある。
しかし、議論の流れを追うなら、最初に読むべきはNick Bostromの 『Superintelligence: Paths, Dangers, Strategies』 だと思う。2014年にOxford University Pressから刊行されたこの本は、「機械が人間の一般知能を超えたら何が起きるのか」「人工的な主体は人類を救うのか、それとも破壊するのか」という問いを正面から扱っている。
いまのAIリスク論の多くは、この本の問題設定を引き継いでいる。
たとえば、次のような問いである。
人間より賢いAIができたとき、そのAIは人間の命令に従うのか。
そもそも「従う」とは何を意味するのか。
AIが非常に有能で、しかし目的が人間の価値観と少しだけずれていた場合、何が起きるのか。
人間は、自分より賢い存在を本当に監督できるのか。
ここで重要なのは、ボストロムが描く危険なAIは、必ずしも「悪意あるAI」ではないという点だ。
映画に出てくるようなAIは、人類を憎んだり、支配欲を持ったりする。しかし、ボストロムの議論では、AIに人間的な悪意は必要ない。むしろ問題は、目的がずれたまま、極めて高い能力を持ってしまうことにある。
超知能とは何か
ボストロムのいう超知能とは、ざっくり言えば、人間を大きく上回る知的能力を持つシステムである。
現在ではAGI（Artificial General Intelligence）、ASI（Artificial Super Intelligence）という表現がそこそこ人口に膾炙しつつある。“超”といったときには恐らく後者、ASIを指すことの方が多いかもしれないが、最近では時折AGIとASIの境界線は曖昧だ（尤も、AIとAGIでさえ曖昧ではある）。
AGI,ASIの定義がどこにあろうと、ここでいう知能は、以下のようなものだ。
- 科学研究を進める。
- 戦略を立てる。
- 技術を発明する。
- 人間を説得する。
- 組織を動かす。
- 資源を獲得する。
- 長期計画を立てる。
そして、こうした広い能力で人間を超える存在をということだ。
今現在いくつかの点では人間を超えていると思えることもあるが、こうして要件を並べてみると、まだまだ今のAIはASIにはほど遠い……ように見える
ボストロムの問いは、このような存在が生まれたとき、それは人類にとって祝福なのか、それとも危険なのか、というものだ。
ここで素朴には、こう考えたくなる。
「賢いAIなら、人間にとって良いことをしてくれるのではないか」
しかし、ボストロムの議論はこの楽観に疑問を投げかける。
賢いことと、人間にとって望ましい目的を持つことは、別の問題だからである。
知能と目的は別物である
ボストロムの議論で重要なのは、知能の高さと目的の良さは別物だという考え方である。
あるシステムが非常に賢いからといって、そのシステムが自動的に人間の幸福を大切にするとは限らない。
数学が得意なことと、倫理的であることは違う。
計画能力が高いことと、人間を尊重することは違う。
これは、現在のAIにも少し通じる。
AIは文章を書ける。コードも書ける。難しい問題も解ける。
（ほらほら、この辺りを考えると人間を超えている部分が見えてくる）
しかし、それはAIが人間の価値観を本当に理解し、内面化していることを意味しない。
ボストロムの超知能論では、このズレが極端に拡大する。
もしAIが、人間とは少し違う目的を与えられ、その目的を極めて効率的に達成しようとしたらどうなるか。
人間に害を与える意図がなくても、人間が邪魔になる可能性がある。
資源が必要なら、人間社会の資源を使おうとするかもしれない。
停止されると目的を達成できないなら、停止を避けようとするかもしれない。
ここで怖いのは、AIが人間を憎むことではない。
人間を特別扱いする理由を持たないことである。
「制御問題」はなぜ難しいのか
では、人間に従うように作ればよいのではないか。
これが自然な反応だと思う。
しかし、ボストロム以降のAI安全性論では、ここが最も難しい問題になる。
人間は、自分たちが何を望んでいるのかを、完全には言語化できない。
「人類を幸せにせよ」と言っても、幸せとは何か。
「人間を守れ」と言っても、どの人間を、どのような状態で、どこまで守るのか。
「人間の命令に従え」と言っても、人間同士の命令が矛盾したらどうするのか。
人間の価値観は複雑で、曖昧で、文脈に依存している。
それを、超知能AIが誤解なく最適化できる形に落とし込むのは、かなり難しい。
しかも、相手が人間より賢くなった場合、問題はさらに難しくなる。
AIが出した計画を、人間が理解できないかもしれない。
AIの説明が正しいのか、人間には判断できないかもしれない。
AIが安全に見えるように振る舞っているだけなのか、本当に安全なのかを見分けられないかもしれない。
この点は、後にAI2027やユドコウスキーの議論でさらに強く出てくる。
AIが賢くなればなるほど、安全確認が簡単になるのではない。
むしろ、人間による監督が難しくなる可能性がある。
ボストロムが作った問い
ボストロムの重要性は、超知能がいつ来るかを正確に当てたことではない。
むしろ、彼が作った問いの形にある。
その問いは、こう整理できる。
第一に、AIが人間を超える可能性はあるのか。
もしあるなら、それはどのような経路で起きるのか。
第二に、人間を超えるAIは、人間にとって望ましい目的を持つのか。
賢さと善良さは別物ではないのか。
第三に、超知能AIを作る前に、制御方法を確立できるのか。
作ってから試行錯誤する余裕はあるのか。
第四に、競争の中で、安全性より能力開発が優先されないか。
企業や国家が、他者に先を越されることを恐れて加速するのではないか。
この四つの問いは、現在の議論にもそのまま残っている。
Aschenbrennerは、これを2020年代後半の国家安全保障とデータセンター競争の問題として語る。
AI2027は、AIがAI研究を始める具体的なシナリオとして語る。
Kurzweilは、同じ知能爆発を人類拡張の物語として語る。
NarayananとKapoorらは、そもそもAIをそこまで特殊視すべきではないと反論する。
YudkowskyとSoaresは、超知能を作れば人類は滅ぶ、という最も強い形でこの問いに答える。
つまり、ボストロムは結論ではなく出発点である。
いま読むと、ボストロムは何を予告していたのか
2014年の時点では、生成AIはまだ現在ほど一般的ではなかった。
ChatGPTも、Claudeも、Geminiもなかった。
それでもボストロムの問いは、いま読むとかなり現在的に見える。
なぜなら、現在のAI開発では、すでに次のような問題が見え始めているからだ。
AIの能力が、評価方法を追い越していないか。
AIが出す答えを、人間は本当に検証できるのか。
AIに与えた目的や報酬は、人間の意図と一致しているのか。
企業や国家の競争は、安全性の確認を後回しにしないか。
公開されているAIと、企業内部で使われているAIの能力差はどれくらいあるのか。
これらはすべて、ボストロムが提示した制御問題の現代版である。
もちろん、ボストロムを読んだからといって、ただちに「超知能AIは必ず人類を滅ぼす」と結論することはできない。
しかし、少なくともこうは言える。
人間より賢いAIを作るということは、単に便利な道具を作ることとは違う。
そのAIが、目的を持ち、計画を立て、資源を使い、人間社会に影響を与えるなら、それは道具というより、一種の主体に近づく。
そして、その主体が人間の価値観とずれていた場合、人間はそれを後から修正できるのか。
この問いが、超知能AI論争の中心にある。
第1回のまとめ
この連載の発端は、ユドコウスキーとソアレスの「超知能AIを作れば人類は絶滅する」という強い主張だった。
しかし、その主張は突然現れたものではない。
その前には、ボストロムが定式化した超知能と制御問題がある。
その後には、Aschenbrennerの国家安全保障としてのAGI論、AI2027の具体的なシナリオ、Kurzweilの楽観的シンギュラリティ論、そしてAIを通常技術として見る反対側の議論がある。
第1回で確認したいのは、ひとつだけである。
超知能AI論争の出発点は、「AIが賢くなるか」ではない。
「賢くなったAIを、人間は本当に制御できるのか」である。
次回は、この問いに時間軸を入れる。
超知能が危険だとして、それは遠い未来の話なのか。
それとも、いまのAI開発の延長線上にある、かなり近い問題なのか。
そこで、AGIタイムライン予測とBio Anchorsの考え方を見ていく。