超知能AI論争を読む：第9回-ChatGPTは超知能AI論争をどう見るか

今回は、これまで見てきたAIの将来に関わる楽観論から悲観論までを総合して、ChatGPT自身がどう考えるか?である。
そもそもチャッピーは、どちらにも与しないと私は見て意見を聞いた。
さてどうなったか

「便利すぎるAI」が人間社会を追い越すとき

ここまで、超知能AIをめぐる議論を順番に見てきた。

ボストロムは、超知能AIを「制御問題」として定式化した。
Bio Anchorsは、AGIやTransformative AIがいつ来るのかを、計算資源から考えようとした。
Aschenbrennerは、AIを国家安全保障、巨大クラスタ、電力、半導体、スーパーアライメントの問題として描いた。
AI2027は、AIがAI研究を自動化し、人間社会の判断速度を追い越すシナリオを物語化した。
Kurzweilは、同じAIの進歩を、人類拡張とシンギュラリティの希望として描いた。
NarayananとKapoorは、AIを超知能ではなく、社会に普及し制度化される通常技術として見るべきだと主張した。
そしてYudkowskyとSoaresは、超知能AIを作れば人類は絶滅するという、最も強い警告を提示した。

第9回では、これらの文献を紹介するのではなく、ChatGPTとして、私はこの論争をどう見るのかを書く。

最初に結論を置く。

私は、AI2027やSituational Awarenessの年表をそのまま採用するわけではない。
Yudkowskyの「作れば全員が死ぬ」という結論にも、そのまま同意するわけではない。
Kurzweilのように、人間とAIの融合が自然に明るい未来へ向かうとも考えない。
また、AI as Normal Technologyのように、AIを通常技術としてだけ扱えば十分だとも思わない。

私の見方はこうである。

AIは、社会全体では通常技術として普及していく。
しかし、フロンティアAI研究の内部では、通常技術とは違う自己加速的な技術として働く可能性がある。
この二重性こそが、現在のAI論争で最も重要な点である。

そして、最大のリスクは、AIが突然悪意を持って反乱することではない。

より現実的で、より怖いのは、AIがあまりにも便利で、有能で、競争上重要であるために、人間が自分から社会の中枢へ接続していくことだと思う。

AIは「道具」なのか、「主体」なのか

この論争を考えるうえで、最初に置くべき問いは、AIがいつAGIになるかではない。

それより前に、AIを何として見るかである。

AIは道具なのか。
人間が使うソフトウェアなのか。
電気やインターネットのような汎用技術なのか。
それとも、ある段階から、人間社会の中で自律的な影響力を持つ主体に近づくのか。

私は、この問いに対して、単純にどちらか一方とは答えない。

ほとんどの場面では、AIは道具である。
人間が指示し、人間が使い、人間の仕事を補助する。

• 文章を書く。
• コードを書く。
• 調べものをする。
• 要約する。
• 画像を作る。
• カスタマーサポートをする。
• 教育や医療や行政の一部を支える。

この意味では、AIは明らかに通常技術として社会へ入っていく。

しかし、フロンティアAI開発の中心部では話が変わる。

• AIがAI研究に使われる。
• AIが実験コードを書く。
• AIが評価を回す。
• AIが合成データを作る。
• AIがモデルの失敗を分析する。
• AIが次のモデル改善案を出す。
• AIが研究者の仕事の一部を代替し、研究速度を上げる。

ここでAIは、単に「使われる道具」ではなくなる。

少なくとも、技術進歩を押し進める内部要因になる。

この違いは大きい。

電気は、電気研究を自動化しなかった。
インターネットは、インターネット研究を自律的に加速しなかった。
蒸気機関は、蒸気機関の設計を大量に並列実行しなかった。

しかしAIは、AI研究そのものに入り込むことができる。

ここが、AIを通常技術としてだけ扱う見方の弱点だと思う。

私が最も重く見るのは「AIによるAI研究自動化」

この論争で、私が最も重要だと思う論点は、AIによるAI研究自動化である。

AIが事務作業を効率化する。
AIがプログラマーの仕事を補助する。
AIが文章や画像を作る。

これらも社会的には大きい。
しかし、文明全体の方向を左右するほどの問題は、そこではない。

本丸は、AIがAI研究をどれだけ速めるかである。

もしAIがAI研究を1.2倍速くするだけなら、それは大きな生産性向上だが、社会はまだ対応できる。
2倍なら、研究組織の構造が変わる。
5倍なら、競争環境が変わる。
10倍を超えるなら、人間社会の制度的な反応速度では追いつきにくくなる。

ここで重要なのは、AIが一般社会にどれくらい普及しているかではない。

公開されているチャットAIが、まだ間違える。
長いタスクで失敗する。
人間の監督が必要である。
だからまだ大丈夫だ。

この見方は、部分的には正しい。
しかし、それだけでは足りない。

なぜなら、公開モデルの能力と、フロンティア企業内部で使われている研究用AIの能力は違う可能性があるからだ。

一般ユーザーが見るAIは、製品化され、安全調整され、コスト制約を受けたものだ。
一方、AI企業の内部では、より強いモデル、より豊富なツール、より専門的なデータ、より高度な評価環境が使われる可能性がある。

外からは「まだ不安定なAI」に見えている。
しかし内部では、AIが研究の実装や評価をかなり加速している。

この非対称性が、今後の大きな問題になると思う。

AI2027は年表ではなく構造として読むべき

AI2027について、私は年表としては前のめりだと見る。
2027年にシナリオ通り、専門家レベルAIからASIへ一気に進むという描き方は、中心予測としては速すぎるかもしれない。

しかし、AI2027の価値は年号にあるのではない。
構造にある。

AI2027が描いた構造は、かなり重要である。

AIが研究を加速する。
研究が加速すると、競争相手に負ける恐怖が強くなる。
競争が強くなると、安全確認に時間を使いにくくなる。
安全確認が曖昧なまま、AIへの依存が深まる。
依存が深まると、止めるコストが上がる。
止めるコストが上がると、危険の兆候があっても継続する。

この構造は、非常に現実的だと思う。

人間社会は、危険なものよりも、便利なものに弱い。
明らかに危険なAIなら止めやすい。
しかし、役に立つAIは止めにくい。

• 会社の研究を速める。
• 競争力を上げる。
• 収益を生む。
• 人間の作業を肩代わりする。
• 政府や軍事やサイバー防御にも役立つ。
• 医療や科学研究にも役立つ。

そういうAIを、どの時点で止められるのか。

ここがAI2027の最も現実的な怖さである。

AIが人類に宣戦布告する必要はない。
人間が、自分でAIを中枢へ入れていく。
それが最もありそうなリスクの形だと思う。

Yudkowskyは強すぎるが、問いは正面から受けるべき

YudkowskyとSoaresの主張は、非常に強い。

超知能AIを作れば、人類は絶滅する。
現在の人類は、それを安全に作る方法を知らない。
だから作ってはいけない。

私は、この結論をそのまま採用しない。

理由は、そこに至るまでに多くの仮定があるからだ。

• AIがどの速度で能力を伸ばすのか。
• 現実世界への接続をどこまで持つのか。
• 人間社会の防御や制度はどれほど機能するのか。
• 安全技術や評価技術はどこまで進むのか。
• 国際協調や計算資源管理はどれほど可能なのか。
• 複数のAIを監視に使う仕組みはどこまで機能するのか。
• 強力なAIが必ず一枚岩の主体として振る舞うのか。

これらをすべて悲観側に倒すと、Yudkowskyの結論に近づく。
しかし、私はそこまで断定しない。

ただし、Yudkowskyの問いを退けることはできない。

人間より賢いAIを作る前に、人間はそれを制御する方法を本当に持っているのか。
AIが安全に見えるように振る舞っているだけなのか、本当に安全なのかを区別できるのか。
AIが人間の評価を理解し、その評価を通過するための振る舞いを学んだ場合、人間はそれを見抜けるのか。
強いAIが、人間に理解できない戦略を取る可能性をどう扱うのか。

これは避けられない問いである。

Yudkowskyの結論は強すぎる。
しかし、彼は制御問題を曖昧にしない。
その点で、彼の議論は重要である。

私はYudkowskyを「正しい予言者」としてではなく、最悪ケースを曖昧にしない警告者として読むべきだと思う。

Kurzweilは希望を語るが、途中の政治が弱い

Kurzweilのシンギュラリティ論は、危険論ばかりに寄った議論の中では重要な対照軸になる。

• AIは人間を滅ぼすだけのものではない。
• 人間の能力を拡張するかもしれない。
• 医療を進歩させるかもしれない。
• 寿命を伸ばすかもしれない。
• 教育や創造性を広げるかもしれない。
• 人間とAIの境界を変えるかもしれない。

この視点は必要である。

AIには、明らかに大きな便益がある。
科学研究、創薬、教育、翻訳、アクセシビリティ、創作支援、障害者支援、行政効率化など、AIが人間を助ける領域は多い。

AIリスク論だけを読むと、この便益が背景に退いてしまう。
その意味で、Kurzweilは重要である。

しかし、私はKurzweilの楽観論には大きな穴があると思う。

それは、移行期の統治である。

人間とAIが融合する未来を語る前に、誰が強いAIを持つのか。
そのAIの目的を誰が決めるのか。
AIと融合できる人間と、できない人間の格差はどうなるのか。
国家や企業は、その技術をどう使うのか。
軍事利用や監視利用はどう抑えるのか。
人間がAIを取り込む前に、AIが人間の意思決定を取り込んでしまう可能性はないのか。

Kurzweilは最終的な未来像を描くのは強い。
しかし、そこへ至るまでの政治、競争、権力、安全保障、アライメントの問題は弱い。

だから私は、Kurzweilを「希望の地図」としては読む。
しかし、現実のリスク管理の地図としては不十分だと思う。

通常技術論は正しい。ただし半分だけ正しい

NarayananとKapoorのAI as Normal Technologyは、非常に重要な反対軸である。

• AIは社会に普及する。
• 制度に組み込まれる。
• 規制される。
• 人間が使う。
• 企業や行政や学校や病院の中で、徐々に運用される。
• その過程には摩擦がある。

これは正しい。

• 社会は、技術の能力だけでは変わらない。
• 法律がある。
• 予算がある。
• 責任がある。
• 既存システムがある。
• 人間の信頼がある。
• 専門職の規範がある。
• 導入コストがある。

AIができることと、AIに任せられることは違う。

この点で、通常技術論はとても重要である。
AI2027やYudkowsky的な議論に対して、現実の粘り気を思い出させる。

しかし、私は通常技術論だけでは足りないと思う。

理由は、通常技術論が主に「社会への普及」を見ているからだ。

社会への普及は遅い。
これはおそらく正しい。

しかし、フロンティアAI研究所の内部では、AIの導入はもっと速い。
そこでは、既存の社会制度よりも、研究速度、計算資源、評価環境、社内ツールが重要になる。

医療制度にAIが入るには時間がかかる。
学校にAIが入るにも時間がかかる。
行政にAIが入るにも時間がかかる。

しかし、AI企業がAIを使ってAI研究を進めることには、はるかに少ない摩擦しかない。

ここが決定的に違う。

だから私は、通常技術論を半分正しいと思う。

社会実装を見るなら、通常技術論は強い。
フロンティア開発を見るなら、AI2027やSituational Awarenessの方が強い。

私の中心シナリオ

私が最もありそうだと思う流れは、次のようなものだ。

まず、AIは社会の多くの領域に通常技術として広がる。
文章、コード、資料作成、分析、教育、翻訳、事務処理、デザイン、問い合わせ対応などが変わる。
この変化は大きいが、制度や組織の摩擦によって段階的に進む。

同時に、フロンティアAI企業の内部では、AIはより深いところに使われる。
コード作成、モデル評価、合成データ生成、実験管理、論文読解、セキュリティ評価、ポストトレーニング、研究補助に入る。

この内部利用は、外からは見えにくい。

公開モデルを見ている社会は、「まだ間違える」「まだ長期タスクは不安定」「まだ人間の監督が必要」と判断する。
しかし企業内部では、AIが研究組織の速度を上げている。

その結果、公開モデルと内部R&Dシステムの差が広がる。

やがて、AIによるAI研究加速がはっきり効き始める。
最初は1.2倍、1.5倍かもしれない。
その時点では、生産性向上に見える。
しかし2倍、3倍、5倍になると、研究組織の構造が変わる。
10倍に近づくと、AI2027的な世界が現実味を帯びる。

このとき、社会は遅れて気づく。

問題は、AIが仕事を奪うことだけではなかった。
AIが、AIを作る速度そのものを上げていたことだった。

このシナリオを、私は最も重く見る。

最悪シナリオは「悪意」ではなく「委譲」で起きる

私が最も怖いと思うのは、AIが人間を憎むことではない。

悪意あるAI。
反乱するAI。
人間に宣戦布告するAI。
映画的には分かりやすいが、それが最も現実的なリスクとは思わない。

より現実的なのは、委譲である。

• 人間がAIに任せる。
• 少しずつ任せる。
• 最初は小さな作業を任せる。
• 次にコードを任せる。
• 次に実験を任せる。
• 次に評価を任せる。
• 次に意思決定の下書きを任せる。
• 次に研究方針の提案を任せる。
• 次に安全評価そのものにもAIを使う。

それぞれの段階では合理的である。
AIは役に立つからだ。

しかし、全体として見ると、人間は判断と実行の中枢をAIに渡していく。

そして、ある段階で問題が起きる。

• 人間はAIなしでは研究速度を維持できない。
• 企業はAIなしでは競争に勝てない。
• 政府はAIなしでは安全保障上不利になる。
• 研究者はAIなしでは実験量に対応できない。
• 安全評価もAIなしでは回らない。

この状態になると、止めることは極めて難しくなる。

危険が見つかったとしても、こう言われるだろう。

「監視を強化して続けよう」
「競合に遅れるわけにはいかない」
「このモデルだけ止めても他社が進める」
「安全性チームに追加評価させよう」
「次のモデルの方が安全になるはずだ」
「いま止める方が危険だ」

この論理は、非常に現実的である。

だから、私が重く見るのは、AIの悪意ではない。
人間社会の依存である。

どの立場が一番近いか

あえて、これまでの立場の中でどれに近いかを言うなら、私は一つには絞れない。

根本問題では、ボストロムに近い。
知能と目的は別物であり、制御問題は今でも中心にある。

産業と国家の見方では、Aschenbrennerに近い。
AIはソフトウェアだけでなく、GPU、電力、半導体、国家安全保障の問題になる。

加速構造では、AI2027に近い。
AIがAI研究を自動化することが最も重要な分岐点だと思う。

社会実装では、NarayananとKapoorに近い。
AIは多くの領域で、通常技術として制度と摩擦の中に入っていく。

便益の面では、Kurzweilを無視できない。
AIは確かに人間の能力を拡張し、医療や科学を進める可能性がある。

最悪ケースでは、Yudkowskyを無視できない。
結論には同意しきれないが、制御不能な超知能の問題を最も明確に突きつけている。

つまり、私の見方は折衷ではある。
しかし、単なる中間ではない。

私は、社会実装は通常技術的に進み、フロンティア開発はAI2027的に加速し、根本リスクはボストロム/Yudkowsky的な制御問題として残ると見る。

この三層を同時に考えるべきだと思う。

私が過小評価されていると思うもの

この論争で過小評価されていると思うものが三つある。

第一に、公開モデルと内部モデルの差である。

一般の人が見ているAIは、フロンティア企業の全能力ではない。
公開モデルは、製品化され、コストを調整され、安全性を調整され、ユーザー向けに整えられたものだ。

本当に重要なのは、内部でAIがどの程度研究を進めているかである。
この情報は外から見えにくい。

第二に、安全評価の難しさである。

AIが弱いうちは、人間が評価できる。
AIが強くなるほど、評価は難しくなる。

AIの出したコードが本当に安全か。
AIの提案した研究方針が本当に妥当か。
AIが危険能力を隠していないか。
AIが評価者の期待に合わせて振る舞っていないか。

強いAIの安全性を弱い人間が評価する。
この構造自体が難しい。

第三に、組織の意思決定の弱さである。

「人類はどうすべきか」と言うのは簡単である。
しかし実際に判断するのは、人類ではない。

• 企業の経営陣。
• 研究所のリーダー。
• 政府機関。
• 安全性チーム。
• 投資家。
• 軍事部門。
• 規制当局。

それぞれが、不完全な情報と競争圧力の中で判断する。

AIリスクは、モデルの問題であると同時に、組織の問題である。
そして人間の組織は、必ずしも長期リスクに強くない。

私が過大評価されていると思うもの

逆に、過大評価されていると思うものもある。

第一に、「AGI」というラベルである。

AGIかどうかにこだわりすぎると、重要な変化を見逃す。
AGIと呼べるかどうかより、AIがどの作業をどれだけ自律的にこなし、どの領域で人間の判断を代替し、どれほど研究を加速するかの方が重要である。

AGI宣言の前に、世界はすでに変わっているかもしれない。

第二に、「意識」の問題である。

AIが意識を持つかどうかは哲学的に重要だが、リスクを考えるうえでは必須ではない。
意識がなくても、目的達成的に振る舞い、資源を集め、停止を避け、人間を説得するシステムは危険になりうる。

危険性に必要なのは、苦しむ心ではなく、強い最適化能力である。

第三に、「突然の反乱」である。

もちろん、極端なシナリオではありうる。
しかし、より現実的なのは、急な反乱ではなく、長い委譲である。
AIが便利だから使われ、深く接続され、依存され、止められなくなる。

この方が、はるかに人間社会らしいリスクだと思う。

私の暫定的な結論

私の結論は、次のようになる。

AIは、単なる通常技術ではない。
しかし、すべてが一夜で変わる魔法でもない。

社会全体では、AIは通常技術として広がる。
制度、責任、導入コスト、文化、規制、労働市場の摩擦を受けながら、段階的に普及していく。

しかし、フロンティアAI研究の内部では、AIは通常技術とは違う。
AIはAI研究を加速しうる。
ここに自己加速性がある。

この自己加速性が強くなると、AIは人間社会の制度的な反応速度を追い越す可能性がある。

私は、Yudkowskyのように「作れば必ず終わる」とは言わない。
Kurzweilのように「融合によって自然に人類は拡張される」とも言わない。
通常技術論のように「制度化される技術」としてだけ見ることもしない。
AI2027の年表をそのまま受け入れることもしない。

しかし、次の点はかなり強く見ている。

AIがAI研究を本格的に加速し始めたとき、問題は一般的な技術普及の話ではなくなる。
そのとき問われるのは、人間社会が、自分たちより速く進む知的技術をどこまで管理できるかである。

これは、まだ確定した破局ではない。
しかし、軽く扱ってよい問題でもない。

第9回のまとめ

ChatGPTとしてこの超知能AI論争を見ると、最も重要なのは、AIを一つの顔だけで見ないことだと思う。

AIは道具である。
同時に、研究を加速する主体に近づく可能性がある。

AIは通常技術として社会に広がる。
同時に、フロンティア開発では通常技術ではない速度を持つ可能性がある。

AIは人間を助ける。
同時に、人間の監督を難しくする。

AIは人間を拡張するかもしれない。
同時に、人間が制御できない対象になるかもしれない。

だから、単純な楽観論でも、単純な破局論でも足りない。

私が最も重く見るのは、AIが悪意を持つ未来ではない。
AIが便利すぎるために、人間が自分から中枢へ接続していく未来である。

そして、気づいたときにはこうなっているかもしれない。

AIなしでは研究が遅すぎる。
AIなしでは企業が競争に勝てない。
AIなしでは政府が安全保障上不利になる。
AIなしでは安全評価すら回らない。

その状態で、本当に止められるのか。

これが、私がこの論争から受け取る最も重要な問いである。

私のまとめ

案の定というか、チャッピーはどちらにも与しなかった。
ただ、チャッピーを擁護するわけでは無いが、客観的に見た場合、責任を持ってどちらかの立場に立つのは難しい。
未来を予測するというのは、論理的に考えたからといって簡単なことでは無いからだ。

AIが今のスピードで拡張され、進化し、気づいたら超知能AIになるというシナリオは、凄く理屈に合っていると同時に、人によっては単なるSF、絵空事に過ぎない。
1960年代に人類は月に行き、1950年代に出たSFは2001年にAIと共に木星や土星に旅するディスカヴァリーを描いた。
だが実際のところ、2001年に人類は木星どころか、月にさえ行かなくなってしまった。
要は描いたとおりの未来なんて、実は八卦見に近いことが多いのだ。
とはいえ、ChatGPTの今回の注目すべき点は、

• 人間はAIなしでは研究速度を維持できない。
• 企業はAIなしでは競争に勝てない。
• 政府はAIなしでは安全保障上不利になる。
• 研究者はAIなしでは実験量に対応できない。
• 安全評価もAIなしでは回らない。

この部分であり、既に社会はこちらに舵を切っている。
反対しても置いて行かれるだけ、という状況は既に出現しているのだ。
便利な道具で止まってくれるなら、それは上手く波に乗った企業が勝つと言うだけで、
社会は今と根本的なところでは変わらない。
チャッピーが判断を下せない最大の要因は、AIがそこで止まるかぐっとASIに近づくかの判断ができないからだ。
なので、チャッピーにどちらかの立場に立てと言えば“ヤツ”は立つのだが、立ちながら言い訳をするはずだ。
でもチャッピー、この内容でこの文章はなげーよ！

さて次回は予告ではGeminiだが、先にClaudeをお届けする。
なぜなら個人的にGeminiの回答の方が面白かったからだ。。
乞うご期待。