超知能AI論争を読む：AGIはいつ来るのか-第2回

Bio Anchorsと「タイムライン予測」の考え方

前回は、Nick Bostromの『Superintelligence』を手がかりに、超知能AI論争の出発点を整理した。

そこで中心にあった問いは、かなり単純だった。
人間より賢いAIを、人間は本当に制御できるのか。

しかし、この問いにはすぐに次の問いが続く。

それは、遠い未来の話なのか。
それとも、いまのAI開発の延長線上にある、かなり近い問題なのか。

超知能AIが危険だとしても、それが100年後の話なら、私たちの受け止め方は変わる。
一方で、それが10年から20年以内に起きうる話なら、社会、企業、政府、研究者が考えるべき優先順位はかなり変わる。

この第2回では、AGIやTransformative AI、つまり社会を根本的に変えるAIが「いつ来るのか」を考えるための代表的な枠組みとして、Ajeya Cotraの “Forecasting Transformative AI with Biological Anchors” を見る。

これは一般向けの本ではなく、2020年に公開された長大なドラフトレポートだ。著者のCotra自身も、定量的な推定は流動的で、入力パラメータもまだ十分に固定されていないと断っている。したがって、これは「正解の年を当てる予言」ではなく、AIの到来時期をどう数量的に考えるかという枠組みとして読むべきものだ。

Best of LessWrong 2020 AI TimelinesAI Frontpage 75 Draft report on AI timelines by Ajeya Cotra

なぜタイムライン予測が重要なのか

超知能AIの議論では、「危険かどうか」と同じくらい、「いつ来るのか」が重要になる。

たとえば、AGIが22世紀の話なら、いまの私たちにとっては、主に長期的な研究課題になる。
しかし、2030年代や2040年代に現れる可能性がそれなりにあるなら、話は変わる。

教育制度、研究投資、AI安全性、企業統治、半導体、電力、国際ルール。
これらはすべて、準備に時間がかかる。

つまり、タイムライン予測とは、単なる未来当てではない。
どれくらい急いで考えるべき問題なのかを決めるための、時間感覚の設計である。

Coefficient Givingの文書一覧でも、AIタイムラインの問いは「10年後の話なのか、100年後の話なのか」という形で説明されている。そこでは、人間レベル以上のほぼあらゆる知的タスクをこなすAIシステムの進歩を予測する資料群として、CotraのBio Anchorsなどが位置づけられている。

Transformative AIとは何か

ここで少し用語を整理しておきたい。

この分野では、AGI、ASI、Transformative AI、TAIといった言葉が使われる。
TAIは Transformative AI の略で、日本語にすると「社会を大きく変えるAI」「変革的AI」くらいの意味である。

AGIは、一般に「人間のように広い範囲の知的タスクをこなせるAI」を指す。
ASIは、それをさらに超えて、人間を大きく上回る超知能を指す。

一方、TAIは、やや社会的な概念である。
それは、必ずしも人間と同じ形の知能を持つAIという意味ではない。むしろ、社会や経済を根本的に変えるほど強いAIを指す。

たとえば、人間のほとんどの知的労働を自動化したり、科学研究や技術開発の速度を大きく変えたり、経済成長や国家安全保障に巨大な影響を与えたりするAIであれば、AGIという呼び方をするかどうかとは別に、TAIと呼ばれうる。

つまり、AGIが「どれくらい人間のように考えられるか」に注目する言葉だとすれば、TAIは「社会にどれくらい大きな変化を起こすか」に注目する言葉だと考えると分かりやすい。

CotraのBio Anchorsについて説明している資料では、Transformative AIは、人間が行っている最も困難で影響の大きい仕事を自動化しうるAIとして説明されている。そこでCotraは、そのようなモデルを訓練するのにどれほどの計算資源が必要か、そしてアルゴリズム改善、計算コストの低下、投入資金の増加がいつそれを可能にするかを推定しようとしている。

つまり、Bio Anchorsが見ているのは、単なるチャットAIの性能ではない。
人間社会の重要な仕事を大規模に自動化できるAIが、いつ訓練可能になるかである。

Bio Anchorsの基本発想

Bio Anchorsの発想は、かなり大胆だ。

人間の脳は、少なくとも一般知能が物理的に可能であることを示している。
では、人間の脳が発達し、学習し、知能を獲得するまでに使われた「計算量」を何らかの形で見積もれないか。
そして、それをAIモデルの訓練に必要な計算資源の目安として使えないか。

これが、Bio Anchorsの中心にある考え方だ。

Epoch AIの解説によれば、Cotraの枠組みは、Transformative AIの到来を予測する際に、計算資源を主要なボトルネックとして扱う。そこでは、問いを大きく二つに分ける。第一に、2020年時点の機械学習アーキテクチャとアルゴリズムを使うなら、TAIを訓練するためにどれほどの計算資源が必要か。第二に、その計算資源を、ある年に実際に買える、あるいは投入できる可能性はどれくらいあるか、である。

この分解は、かなり重要だ。

なぜなら、AIの到来時期を「なんとなく近そう」「まだ遠そう」と感覚で語るのではなく、少なくとも次のような変数に分けて考えられるからである。

• どれほど大きなモデルが必要なのか。
• どれほど長く訓練する必要があるのか。
• アルゴリズムはどれくらい効率化するのか。
• 計算資源の価格はどれくらい下がるのか。
• 企業や政府は、どれくらいの金額を1回の訓練に投じるのか。

ここで、AIの未来予測は哲学から、かなり物理的な問題へ近づく。
GPU、電力、データセンター、資本、アルゴリズム効率。
これらが、AGIタイムラインの中心変数になる。

「生物学的アンカー（基準点）」とは何を指すのか

Bio Anchorsでは、人間の知能を作るのに必要だった計算量を、複数の角度から見積もる。

ただし、「人間の知能を作る計算量」と言っても、一つの明確な答えがあるわけではない。
人間の脳が一生で行う計算を見るのか。
進化の過程全体を見るのか。
ゲノムの情報量を見るのか。
ニューラルネットのスケーリング則と対応させるのか。

Epoch AIの解説では、Cotraが複数の「生物学的アンカー」を置いていると説明されている。そこには、進化全体の計算量を使う進化アンカー、人間が成人するまでの脳の計算量を使う生涯アンカー、ニューラルネットのスケーリング則と人間脳の処理能力を結びつける複数のアンカー、ゲノム情報量に基づくアンカーなどが含まれる。

この発想は、直感的にはかなり奇妙に見えるかもしれない。

人間の脳とAIモデルは違う。
進化と機械学習も違う。
人間の子どもが育つ過程と、巨大モデルの訓練も違う。

それでも、この方法には意味がある。
完全に未知のものを予測するとき、何らかの比較対象が必要になるからだ。

Bio Anchorsは、「人間の脳とAIは同じだ」と言っているわけではない。
むしろ、「一般知能が実現するために必要な計算量について、人間の脳や進化を粗い物差しとして使うなら、どのような範囲が見えてくるか」を考えている。

この枠組みが示した時間感覚

Cotraは2022年に、自身のタイムライン予測を振り返る記事を書いている。そこでは、2020年当時のBio Anchorsにもとづく中心的な見積もりとして、ransformative AIが2036年までに起きる確率をおよそ15％、中央値を2050年としていたと述べている。

しかし、同じ2022年の更新では、彼女の個人的なタイムラインはかなり短くなっている。具体的には、2030年までに約15％、2036年までに約35％、中央値を2040年、2050年までに約60％という見方に変わったと述べている。

ここで重要なのは、数字そのものよりも、方向である。

2020年時点では、TAIの中央値は2050年程度だった。
しかし、わずか2年後の振り返りでは、その中央値が2040年へと前倒しされている。
これは、AIタイムラインが固定されたものではなく、モデルの進歩、計算資源、研究者の認識変化によって動いていくことを示している。

そして、この時間感覚が、後の Situational Awareness や AI2027 のような短期シナリオにつながっていく。

つまり、ボストロムが「超知能は制御問題である」と問いを立てたあと、Bio Anchorsはそこにこう問い返した。

それは本当に遠い未来の話なのか？
計算資源の伸びを見れば、もっと近いのではないか？

Bio Anchorsの強み

Bio Anchorsの強みは、AI未来論を感情論から切り離そうとしている点にある。

• AIが怖い。
• AIはすごい。
• AIは人間を超える。
• AIはまだまだ無理だ。

こうした言い方だけでは、議論は進みにくい。

Bio Anchorsは、少なくとも次のように問いを分解する。

• どれくらいの計算量が必要か。
• その計算量は、いつ買えるようになるか。
• アルゴリズム効率はどれくらい改善するか。
• 企業や政府はいくら出すか。
• 人間脳や進化を比較対象にすると、どのくらいの範囲が見えるか。

これは、後にAschenbrennerが使うOOM、つまり10倍単位で進歩を見る発想ともつながっている。
AIの未来を、漠然とした「すごい技術」ではなく、計算資源、資金、効率改善、インフラの問題として見る。

OOM、Order of Magnitudeとは、「桁」や「10倍単位の規模」を意味する言葉です。たとえば1 OOMの増加は10倍、2 OOMの増加は100倍を指します。AIの計算資源やアルゴリズム効率の議論では、「何％増えたか」ではなく、「何桁増えたか」で進歩を見ることがあります。
カタカナで書くなら、
OOM（オー・オー・エム、Order of Magnitude）

この点で、Bio Anchorsはかなり重要な転換点だったと思う。

Bio Anchorsの弱点

もちろん、この枠組みには弱点もある。

第一に、人間の脳や進化をAI訓練の物差しにすること自体が粗い。人間の脳は、現在のニューラルネットと同じ仕組みではないのだから。
進化は、明確な損失関数を持つ機械学習とは違う。
人間の子どもは、身体、社会、環境、言語、文化の中で学ぶ。

第二に、計算資源が十分になればTAIができる、という前提は危うい。
必要なのは計算資源だけではない。
データ、アーキテクチャ、訓練方法、評価環境、エージェント化、ツール利用、ロボティクス、社会実装、信頼性などが関係する。

第三に、Transformative AIの定義自体が曖昧である。
「人間の最も困難で影響の大きい仕事を自動化する」と言っても、それがどの仕事を指すのか、どれほどの自律性を必要とするのかは簡単には定まらない。

第四に、AI研究の自動化というフィードバックループをどう扱うかが難しい。
Cotraのレポートに対するコメントでも、AIモデルがより良いAIモデルの訓練を助けるフィードバックループは、生物進化には対応物がないという指摘が出ている。

ここは、後のAI2027で中心的なテーマになる。
AIがAI研究を助けるなら、単に「必要な計算資源がいつ買えるか」だけではなく、研究速度そのものが変わってしまう。

なぜこの回を挟む必要があるのか

この連載では、次回から Situational Awareness に入る。

Aschenbrennerの議論は、かなり強力である。
GPT-4からAGIへ。
AGIからスーパーインテリジェンスへ。
巨大データセンター。
国家安全保障。
研究所セキュリティ。
スーパーアライメント。

いきなり読むと、かなり飛躍した主張に見えるかもしれない。

しかし、その背後には、Bio Anchorsのようなタイムライン予測文化がある。
AIの進歩を、計算資源、アルゴリズム効率、資本投入、スケーリングの問題として見る文化である。

つまり、Aschenbrennerは突然「AGIが近い」と言っているわけではない。
彼は、GPT-2からGPT-4までの進歩、計算資源の増加、アルゴリズム効率の改善、エージェント化の進展を、かなり短い時間軸に外挿している。

その読み方を理解するには、先にBio Anchorsを見ておく必要がある。

Bio Anchorsから受け取るもの

Bio Anchorsは数字そのものより、当時のAI未来論の見方を変えた文献である（当時といってもまだ6年前だが）。

この枠組みを読むと、AGIやTAIは、突然空から降ってくる概念ではなくなる。
それは、計算資源が増え、アルゴリズムが改善し、投資額が増え、モデルが大きくなり、訓練方法が洗練されていく過程の先にあるものとして見えてくる。

もちろん、途中で壁にぶつかる可能性はある。
データが足りないかもしれない。
長期タスクが安定しないかもしれない。
AIが研究判断を本当にできるようになるには、まだ別のブレイクスルーが必要かもしれない。
これは、驚異的な未来が見え始めた今現在でも同じだ。

それでも、Bio Anchorsが示した時間感覚は重要である。

超知能AIは、もはやSFではない。
少なくとも一部の研究者や予測者にとって、それは、計算資源と資本投入の延長線上にある、数量的に議論できる問題になった。

この変化が大きい。

ボストロムは、超知能が現れたときの制御問題を定式化した。
Bio Anchorsは、その超知能につながるかもしれないAIが、いつごろ訓練可能になるのかを数量的に考え始めた。

次に来るのは、その時間感覚をさらに短く、さらに政治的に読んだ議論である。

それが、Leopold Aschenbrennerの “Situational Awareness” だ。

第2回のまとめ

第2回では、AGIやTransformative AIのタイムライン予測を扱った。

Bio Anchorsの中心にあるのは、社会を根本的に変えるAIを訓練するために、どれほどの計算資源が必要かを見積もり、その計算資源がいつ利用可能になるかを考える発想である。

この枠組みには多くの不確実性がある。
人間の脳とAIを比べることには限界がある。
計算資源だけで知能が生まれるわけでもない。
Transformative AIの定義も簡単ではない。

それでも、Bio Anchorsは大きな転換点だった。
AI未来論を、「いつか来るかもしれないSF」から、「計算資源、アルゴリズム効率、資本投入によって時期を考える問題」へと移したからである。

第1回の問いは、こうだった。

人間より賢いAIを、人間は本当に制御できるのか。

第2回では、そこに時間軸が加わった。

そのAIは、いつごろ現実の問題になるのか。

次回は、いよいよ Situational Awareness を読む。
そこでは、AGIは単なる技術予測ではなく、国家、企業、電力、半導体、研究所セキュリティ、そしてスーパーアライメントを巻き込む、2020年代後半の巨大な争点として描かれる。