超知能AI論争を読む：第3回-Situational Awarenessを読む

AIは国家と産業の問題になる

第1回では、ボストロム『Superintelligence』を手がかりに、超知能AI論争の出発点を見た。そこにあった問いは、「人間より賢いAIを、人間は本当に制御できるのか」だった。

第2回では、Bio Anchorsを通じて、その問いに時間軸を加えた。
超知能やTransformative AIは、遠い未来の話なのか。それとも、計算資源、アルゴリズム効率、投資の延長線上にある、比較的近い問題なのか。

第3回で扱うのは、Leopold Aschenbrennerの長文レポート “Situational Awareness: The Decade Ahead” である。

このレポートは、2024年6月に公開された。査読付き論文ではなく、著者による長大な分析・予測・警告の文章である。Axiosはこの文章を、2024年から2034年までのAIの未来を見通そうとする、165ページ規模の大きなエッセイとして紹介している。著者のAschenbrennerは、かつてOpenAIのSuperalignmentチームに所属し、その後AGIに焦点を当てた投資会社を立ち上げた人物だと報じられている。

このレポートの主張はかなり強い。
著者は、2027年ごろにAIがAI研究者やエンジニアの仕事をこなせるようになることは「かなりありうる」と見る。そして、その先にはAGI、さらにスーパーインテリジェンスへの急速な移行がありうると論じる。

ただし、このレポートを読むときに重要なのは、年号だけではない。

Situational Awarenessの核心は、「AGIが来るかどうか」ではなく、AIの進歩が、企業、国家、電力、半導体、軍事、セキュリティ、アライメントをまとめて巻き込む可能性を示したことにある。

つまり、AIは単なるソフトウェアではなくなる。
AIは、国家と産業の中心問題になる。

“Situational Awareness” とは何のことか

タイトルの “Situational Awareness” は、日本語にすると「状況認識」に近い。

ここでいう状況認識とは、AIモデル自身が状況を理解するという意味ではく、人間側、企業側、国家側が、いま何が起きているのかを理解しているか、という意味に近い。

著者は冒頭で、AGI競争はすでに始まっていると述べる。AIは、単なるチャットボットから、考え、推論し、やがて人間を超えるシステムへ向かっている。2025〜2026年には多くの大学卒業者を上回り、10年以内には人間より賢い存在になる、というのが著者の基本的な見方である。

もちろん、これは2024年時点の著者の予測であり、確定した未来ではない。
しかし、この文章が重要なのは、AIの進歩を「モデル性能」の話だけに閉じ込めていない点にある。

AIが賢くなる。
そのために巨大な計算資源が必要になる。
計算資源のために、GPU、データセンター、電力、資本が必要になる。
強力なモデルや研究上の秘密は、国家安全保障上の価値を持つ。
AIがAI研究を加速するなら、進歩はさらに速くなる。
そのとき、人間より賢いAIをどう監督するのかというスーパーアライメント問題が前面に出る。

この全体像を、Aschenbrennerは一つの時間軸で描こうとしている。

GPT-4からAGIへ：OOMで考える

このレポートの第一部は、“From GPT-4 to AGI: Counting the OOMs” である。
OOMとは、Order of Magnitudeの略で、「桁」や「10倍単位の規模」を意味する。1 OOM増えるとは10倍、2 OOM増えるとは100倍を意味する。

Aschenbrennerは、AIの進歩をこのOOM単位で見ようとする。
GPT-2からGPT-4までの進歩は、偶然の飛躍ではなく、計算資源の増加、アルゴリズム効率の改善、そしてモデルをより有効に使うための工夫によって説明できる、という見方である。公式PDFの冒頭でも、GPT-2からGPT-4までの進歩をもとに、2027年ごろのAGIが十分ありうるという主張が置かれている。

ここで重要なのは、著者が単に「モデルを大きくすればAGIになる」と言っているわけではないことだ。

計算資源が増える。
アルゴリズムが効率化する。
推論、ツール利用、エージェント化、長期タスクへの対応が進む。
モデルを足場かけすることで、チャットボットではなく、仕事を進める主体に近づく。

このような複数の要因を積み上げると、GPT-4以降にも大きな能力ジャンプがありうる、というのが著者の見方である。

これは第2回で見たBio Anchorsの流れとつながっている。
AIの未来を、漠然と「賢くなるかどうか」で見るのではなく、計算資源、効率改善、資本投入、スケーリングの問題として見る。

ただし、AschenbrennerはBio Anchorsよりもはるかに短い時間軸で考えている。ここが、このレポートの強さであり、同時に危うさでもある。

AGIで止まらない、という見方

このレポートの第二部では、AGIからスーパーインテリジェンスへの移行が扱われる。

著者の見方では、AGIは終点ではない。むしろ、AGIができると、AI研究そのものがAIによって加速される。

• AIが論文を読む。
• コードを書く。
• 実験を設計する。
• 結果を分析する。
• 次のモデル改善案を出す。
• 研究者やエンジニアの仕事を大量に並列化する。

もしこれができるなら、AI開発の速度は人間研究者の人数や労働時間からある程度切り離される。ここで、AIは単なる成果物ではなく、次のAIを作るための研究主体になる。

Axiosの要約でも、AschenbrennerはAIの進歩が人間レベルで止まらず、そこから急速に超人的システムへ進みうると警告していると紹介されている。

この点は、次回扱うAI2027とほぼ直結する。
AI2027は、まさにこの「AIがAI研究を始める」状況を、より具体的な時系列シナリオとして描くことになる。

巨大クラスタの時代

Situational Awarenessが特に印象的なのは、AIを「物理的な産業」として描いている点である。

AIはソフトウェアだ。しかし、AIを作るには巨大な物理インフラが必要になる。

• GPU。
• データセンター。
• 電力。
• 冷却。
• 土地。
• 送電網。
• 資本。
• 半導体サプライチェーン。

Aschenbrennerは、2020年代後半には1000億ドル級、さらにその先には1兆ドル級の計算クラスタが問題になる可能性を論じる。レポートの章立てにも “Racing to the Trillion-Dollar Cluster” が置かれており、AI競争を巨大計算資源への競争として描いている。

ここで、AIは急にソフトウェア産業だけの話ではなくなる。

AI企業は、モデルを作る企業であると同時に、巨大な電力消費者になる。
AI開発は、クラウド企業、半導体企業、電力会社、政府、金融市場を巻き込む。
最先端モデルを作れるかどうかは、研究者のアイデアだけでなく、誰が巨大クラスタを持てるかに左右される。

この見方は、非常に重要だと思う。

なぜなら、AIを「便利なアプリ」や「チャットボット」として見ると、この物理的側面が見えにくくなるからである。
しかし、Aschenbrennerの視点では、AIの未来はデータセンターと電力網の上にある。
そして今現在、世界はそうなりつつある。

研究所のセキュリティという問題

もう一つ、このレポートで大きな位置を占めるのが、AI研究所のセキュリティである。

強力なAIモデルは、単なる商品ではない。国家戦略上の資産になる。そして、モデルの重みだけでなく、アルゴリズム上の秘密や研究ノウハウも重要になる。

Aschenbrennerは、AI研究所のセキュリティが不十分であれば、重要なAGI関連のブレイクスルーが流出するリスクがあると警告する。Axiosの要約でも、彼は今後12〜24か月で重要なAGI上の突破口が中国共産党側へ漏れる可能性を強く懸念していると紹介されている。

この主張は、かなり安全保障色が強い。読む人によっては、過度に軍事化された見方だと感じるかもしれない。

しかし、少なくとも論点としては無視できない。

AIが本当に国家の軍事力、経済力、サイバー能力、研究開発力を大きく左右するなら、最先端AI研究は国家機密に近づいていく。
そのとき、「オープンな研究」と「安全保障上の管理」は緊張関係に入る。

この緊張は、今後ますます大きくなる可能性がある。

スーパーアライメント：人間より賢いAIをどう監督するか

Situational Awarenessの後半で扱われる重要テーマが、スーパーアライメントである。

通常のアライメントとは、AIの行動を人間の意図や価値観に沿わせる問題である。
しかし、スーパーアライメントでは相手が人間より賢い。

ここで問題が難しくなる。

人間より賢いAIが書いたコードを、人間は検証できるのか。
人間より賢いAIが出した研究計画を、人間は評価できるのか。
AIが安全に見えるように振る舞っているだけなのか、本当に安全なのかを見分けられるのか。

この問いは、ボストロムの制御問題に戻ってくる。

第1回で見たように、問題はAIが悪意を持つかどうかではない。目的がずれたまま非常に高い能力を持つことが危険なのである。

Aschenbrennerは、この問題を2020年代後半の現実的な課題として扱う。ここがこのレポートの特徴だ。

ボストロムにおいて、超知能の制御問題はかなり抽象的な哲学的・戦略的問題だった。
Aschenbrennerにおいて、それはAI研究所が数年以内に直面するかもしれない、実務的な研究課題になる。

このレポートの凄さ

Situational Awarenessの凄いところは、AIの未来を一つの大きな構造として描いた点にある。

多くのAI論は、どれか一つの側面に寄る。

• モデル性能の話。
• ベンチマークの話。
• ビジネスの話。
• 安全性の話。
• 軍事利用の話。
• データセンターの話。
• 規制の話。

しかし、Aschenbrennerはこれらを分けない。

AIの能力が上がる。
能力が上がるから、より大きな計算資源が必要になる。
計算資源が必要になるから、巨大資本と電力が必要になる。
AIがAI研究を加速するから、競争はさらに速くなる。
国家にとって重要になるから、セキュリティ問題になる。
人間を超えるから、スーパーアライメント問題になる。

この連鎖を一つの絵として見せたことが、このレポートの価値だと思う。

このレポートの危うさ

一方で、このレポートには注意すべき点も多い。

第一に、これは査読付き論文ではない。
著者の分析、予測、価値判断、政治的見立てが強く入っている。Axiosも、このレポートは刺激的で有用な整理である一方、著者がAGI投資家であり、完全に利害から自由な立場ではないことを指摘している。

第二に、時間軸がかなり前倒しである。
2027年ごろにAGI級システムが現れるという見方は、AI未来論の中でもかなり短期寄りだ。もちろん、それが間違いだとは言い切れない。しかし、データ、信頼性、長期タスク、実世界での自律性、研究判断の質など、複数のボトルネックが残る可能性はある。

第三に、国家安全保障フレームが強い。
AIを軍事・国家競争の問題として見ることには現実性がある。だが、その見方が強くなりすぎると、国際協調、公開研究、民主的な監視が後景に退く危険もある。

第四に、AI研究自動化の速度はまだ不確実である。
AIがコードを書く能力は急速に伸びている。しかし、AIが本当に研究の方向性を選び、実験結果を解釈し、有望な仮説を見抜き、人間研究者を広範に置き換えるかどうかは、まだ見極めが必要である。

つまり、Situational Awarenessは、予言として読むよりも、強い仮説として読むべきだ。
但し2026年の今、予言寄りになっている部分がかなりあるのは事実だ。

このレポートから受け取るもの

このレポートを読んで最も重要だと思うのは、AGIの年号ではない。

2027年に来るか。2030年なのか。もっと遅いのか。

そこはもちろん重要だが、このレポートの本質は別にある。

それは、AIの進歩が、社会制度の反応速度を上回るかもしれないという感覚である。

企業は競争する。
政府は遅れて反応する。
安全評価は不確実なまま進む。
インフラ投資は巨大化する。
モデルはより自律的になり、研究開発に入り込む。
その結果、AIは「使うもの」から「技術進歩を動かすもの」へ変わっていくかもしれない。

この見方は、今後のAI論争を考えるうえで非常に重要だと思う。

AIが便利になること自体は、すでに多くの人が感じている。
しかし、Situational Awarenessが描くのは、便利なAIの先にある世界である。

• AIが企業の収益を動かす。
• AIが研究開発を加速する。
• AIが国家戦略を左右する。
• AIが安全保障上の資産になる。
• AIが人間による監督を難しくする。

この段階に入ると、AIはもはや単なるツールではない。社会の中枢に接続される技術になる。

第3回のまとめ

Situational Awarenessは、超知能AI論争を一段現実に近づけたレポートである。

ボストロムは、超知能と制御問題を定式化した。
Bio Anchorsは、AIの到来時期を計算資源から考える枠組みを与えた。
Aschenbrennerは、その時間軸をさらに短く取り、AIを国家、産業、電力、半導体、セキュリティ、アライメントの問題として描いた。

このレポートは、かなり強い予測を含む。
そのため、年号や結論をそのまま受け入れる必要はない。

しかし、問いの立て方は重要である。

AIは、いつまで単なる製品であり続けるのか。
いつから、国家と産業の構造そのものを変える技術になるのか。
そして、その速度に人間社会は追いつけるのか。

次回は、この問題意識をさらに具体的な物語にした AI2027 を読む。

Situational Awarenessが「状況を理解せよ」と言ったのだとすれば、AI2027はこう問いかける。

その状況を理解できなかった場合、具体的に何が起きるのか？