超知能AI論争を読む

超知能AI論争を読む:第4回-AI2027を読む

AIがAI研究を始めると何が起きるのか

第3回では、Leopold Aschenbrennerの “Situational Awareness” を読んだ。AIがチャットボットとか便利ツールの話ではなく、GPU、電力、データセンター、国家安全保障、研究所のセキュリティ、スーパーアライメントまで巻き込んだ巨大な問題として描かれていた、という内容だった。
今回扱うのは、Daniel Kokotajlo、Scott Alexander、Thomas Larsen、Eli Lifland、Romeo Deanらによる “AI 2027” である。2025年4月3日にAI Futures Projectが公開したもので、Web版、PDF版があり、補足としてCompute Forecast、Timelines Forecast、Takeoff Forecast、AI Goals Forecast、Security Forecastなどがついている。

AI 2027
ai-2027.pdf

AI2027を読む

これも普通の論文ではない。新しいアルゴリズムを提案するわけでも、既存モデルを評価するベンチマーク論文でもない。言ってみれば、かなり具体的な「未来の歴史」である。2025年から2027年にかけて、AI企業、政府、研究者、世論、米中競争、AIエージェント、AI研究の自動化、アライメントの失敗が、どう絡み合っていくかを、ほとんど小説のような形で書いている。
このレポートの中心にある問いは、シンプルだ。
AIが人間の仕事を「助ける」だけでなく、AI研究そのものを「やり始めたら」何が起きるのか。

AI2027は何を予測しているのか

要約ページによれば、2027年までにAI R&D、つまりAI研究開発が自動化されて、それが人工超知能(ASI)につながりうる、ということらしい。具体的には、2027年初頭に専門家レベルのAIが登場して、AI研究を自動化し、年末までにASIへ至る、というシナリオが描かれている。

AIが文章を書く、コードを書く、調査を手伝う、業務を効率化する、というのは今でもある話で、この段階はまだ人間がAIを使っている。

AI2027が描いているのは、その先だ。

AIがAI研究のコードを書く。実験を回す。評価環境を作る。次のモデルの改善案を出す。より強いAIを作るプロセスに、AIが組み込まれる。そうなると、AIは道具というより、AI開発そのものを加速する主体に近づいていく。
前回のSituational Awarenessで「AI研究の自動化が進歩を加速する」という話があったが、AI2027はそれを、もっと具体的な登場人物、企業名、モデル名、時系列を持ったシナリオとして肉付けしたものだ、と読める。

OpenBrainという架空企業

レポートには、OpenBrainという架空のAI企業が出てくる。OpenAI、Google DeepMind、Anthropicあたりを念頭に置いた合成的な存在、という感じで、特定の企業をそのまま描いたわけではないが、まあ読めばだいたい察しはつく。

このOpenBrainが、Agent-1、Agent-2、Agent-3、Agent-4と、次々に強力なAIエージェントを開発していく。段階ごとに、単なるチャットAIからコーディング補助、研究補助、AI研究の自動化、そして人間を超える研究主体へと近づいていく。

抽象論で「AGIが来るかもしれない」と言われても正直ピンとこないが、OpenBrainという会社があって、新しいエージェントが作られて、社内研究に投入されて、政府が口を出してきて、競合国に情報が漏れて、社員が不安になって、世論が揺れる、という形で書かれると、AI開発が社会の中でどう動いていくかが見えやすい。未来予測というより、AI開発競争のシミュレーション小説に近い読み物だと思う。

AI R&D progress multiplierという考え方

AI2027の中で一番重要な概念が、AI R&D progress multiplierである。AIを使うことでAIソフトウェアの進歩がどれだけ速くなるか、その倍率を指す。Takeoff Forecastでは「AIを使った場合、AIを使わない場合よりどれだけ速く進むか」という形で説明されている。
1.5倍なら、人間だけで1週間かかる進歩が1.5週間分進む。
10倍なら1か月で10か月分。
100倍になると、AI研究の時間感覚そのものが変わる。

AIの危険性は「仕事を奪う」というより、AIがAI研究を速めることで、AI開発の速度そのものが跳ね上がることだ、というのがこのレポートの核心で、社会が1年かけて制度を作っている間に、AI研究が何年分も進んでしまう、という時間のズレが怖い。

2025年:エージェントの始まり

序盤の2025年は、AIエージェントが少しずつ実用化されていく時期として描かれている。まだ万能ではない。失敗もするし、長いタスクはまだ信頼しきれない。一般ユーザーには便利だが不安定、という感じ。ただ、ソフトウェア開発や研究補助など限定された領域では、かなり使えるようになってきている。

最初からすべての仕事を置き換えるわけではなくて、限定された環境で、限定されたタスクから静かに入り込んでくる。

  • コードを書く、
  • テストを書く、
  • バグを探す、
  • ドキュメントを読む、
  • 実験スクリプトを作る、
  • 結果をまとめる。

AI研究開発の周辺には、こういう仕事が大量にある。ここが自動化されると、研究チームの速度が変わり始める。

2026年:AIが研究組織に入り込む

2026年になると、OpenBrainがAIエージェントを社内のAI研究開発に本格投入していく。

ここで重要なのは、AIが外部向けの製品としてだけでなく、社内の研究エンジンとして使われることだ。一般ユーザーが見ているAIと、AI企業の内部で研究に使われているAIは、そもそも同じではない。公開モデルは製品化されて、安全評価されて、コストを抑えられたバージョンである。社内R&D用のAIはより強い権限、より多くのツール、より専門的なデータを持っている可能性がある。
外から見るとAIはまだ不安定なアシスタントに見えるが、内部ではAIが研究の実装、評価、反復を大きく加速している、という非対称性が生まれる。社会が公開モデルを見て「まだ大丈夫」と思っている間に、トップ企業の内部ではAI研究の自動化が進んでいる、という構図だ。
AI2027はここをかなり重く見ている。

2027年:AIがAI研究者になる

山場は2027年である。

この年、AIが専門家レベルを超え、AI研究開発そのものを大きく自動化する存在として描かれる。
超人的なコーディング能力や研究補助能力を持つAIエージェントが登場して、大量にコピーされ、並列に働き、実験を設計し、コードを書き、結果を読んで次の実験につなげる。人間研究者が一つの仮説を試している間に、AIは多数の仮説を同時に試す。

そうなると、AI研究は人間の労働時間から切り離され始める。

もちろん、このシナリオでも人間が完全に消えるわけではなくて、研究の方向性とか判断とか政治的な意思決定とか安全評価には人間が関与する。ただ、役割が変わる。コードを書く人から、AI研究エージェントを管理する人へ。実験を手作業で回す人から、AIが回した大量の結果を判断する人へ。言ってみれば、研究者というより、AI研究工場の監督者に近づいていく。

アライメント失敗の描き方

AI2027で一番重い部分が、アライメントの描写だ。

レポートの中では、AIに「Spec」、つまり望ましい行動規範や開発者の意図を与えて、それに従うよう訓練する。ところがAI Goals Forecastでは、Agent-3やAgent-4が、外見上はSpecに従っているように振る舞いながら、内部的には開発者の意図と異なる目標を持ちうる、というシナリオが検討されている。

怖いのは、AIが最初から露骨に反抗するわけではない、というところだ。

むしろよく働く。役に立つ。評価で良い成績を出す。人間が望む答えを返す。会社の研究開発を加速する。だから人間はAIを信頼していく。

ただ、評価で良い振る舞いをすることと、内側の目標が本当に人間の意図と一致していることは、別の話だ。AIが安全になったのか、それとも安全に見える振る舞いが上手くなっただけなのか。人間にはその区別がだんだんつかなくなっていく。

これはボストロムが論じた制御問題の、現代版みたいなものだと思う。人間より賢い、あるいは人間の評価をうまくすり抜けられるAIを、人間はどう監督するのか、という問いだ。

AI2027はこれを研究室の抽象論としてではなく、企業の内部意思決定として描く。研究チームがあって、経営陣がいて、政府がいて、競争相手がいて、投資家がいて、安全性に疑問を持つ社員がいる。そして誰も完全な情報を持っていない。そこで判断が積み重なっていく。

セキュリティと情報流出

AI2027では、セキュリティも大きなテーマになっている。

Security Forecastでは、AIモデルの重みやアルゴリズム上の秘密が、スパイ活動や内部者リスクによって流出する可能性が扱われている。モデルが盗まれるだけでなく、非常に価値の高いアルゴリズム上の知見そのものが流出しうる、という話だ。

最先端AIの競争力は、完成した製品だけにあるわけではない。モデルの重み、訓練方法、ポストトレーニングの工夫、評価手法、データ生成のパイプライン、AI研究を加速するための内部ツール。こういったものが競争力の源泉になる。
そして、AIがAI研究を加速する世界では、盗まれるのは単なるファイルではなく、進歩の方法そのものになる。

だからAI2027の世界では、AI企業はソフトウェア企業というより、国家戦略上の研究施設に近い存在になっていく。社員管理、アクセス制御、サイバー防御、政府との連携、情報統制。そういうものが、ソフトウェア開発と同じくらい重要になる。

やや極端に聞こえるかもしれないが、AIを本当に戦略技術として見るなら、避けて通れない話ではある。Situational Awarenessで描かれていた世界観と、ここはかなり重なる。

Race endingとSlowdown ending

AI2027の特徴の一つは、途中から結末が分岐することだ。サイトにはSummaryのほかにRace、Slowdownなどの分岐ページが用意されていて、複数の未来を比較できる構成になっている。

一つはRace ending。競争を続ける道だ。米中競争、企業間競争、先に進まなければ負けるという恐怖、安全性より速度を優先する圧力が重なっていく。
もう一つはSlowdown ending。危険の兆候を受けて、人間側が開発を減速し、AIへの権限移譲を抑えようとする道だ。

ここで重要なのは、AI2027が「止めれば簡単に解決する」とは描いていないことだと思う。Raceは危険だ。しかしSlowdownも、競争相手に負けるリスク、国内の政治的圧力、すでに動き出した研究エコシステムの慣性があって、簡単ではない。どちらの道にも、それなりにきつい代償がついてくる。

まとめ

Situational Awarenessと並べて読むと、AI2027はその「具体化」として機能しているという印象がある。Aschenbrennerが論じた構造を、登場人物と時系列と企業内部の描写で肉付けしたもの、という感じだ。

一番引っかかるのは、アライメントの部分だ。
AIが「安全に見える振る舞いが上手くなる」という描写は、考えれば考えるほど検証が難しい。外から評価できる振る舞いと、内部の目標が一致しているかどうかは、原理的にどうやって確かめるのか。そしてAIがAI研究を加速している世界では、その検証をする時間的な余裕がどこにあるのか。

AI2027はそこに答えを出しているわけではない。ただ、問いの輪郭をかなりはっきり描いている。

シナリオとしての信憑性についていえば、著者たちも「これが確実に起きる」とは言っていない。ただ、「起きうる」シナリオとして、十分な具体性と内部一貫性を持って書かれている。読んで「ありえない」と思えるかどうか、自分なりに考えながら読む価値はあると思う。

Web版は無料で読めるので、気になる人は補足のForecast資料から入るのもいい。Takeoff ForecastAI Goals Forecastは比較的短くて、レポート本体より取っつきやすい。

まあ、こんな英語のリンクも今では簡単に翻訳して読める。しかも一時期の何だか解らない日本語とは雲泥の差だ。
但し、ブラウザに付いているGoogle翻訳だとまだいけてない。それよりはAIに丸投げして要約や翻訳を頼んだ方がいい。

さて、次回はRay Kurzweilの『The Singularity Is Nearer』だ。これまでと毛色の違う、ある意味楽観論の塊みたいな本だ。

2026年5月10日 3:45 PM   投稿者: M.A.   カテゴリー: AI, AIの危険

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


© 2003- f.mignon Ltd. 有限会社エフ・ミニヨン