AIの次のブレークスルーは「継続学習」か──Dwarkesh Patelが考えるContinual LearningとAI研究自動化

「もっと賢いAI」の次にある問題

AIの進歩というと、どうしても次のモデルがどれだけ賢くなったかという話になりがちだ。ベンチマークの点数が上がった、コーディング能力が伸びた、数学の難問が解けた。もちろんそれは重要なのだが、最近のDwarkesh Patelの発信を続けて読んでいると、少し違う問題が見えてくる。

AIがどれだけ多くのことを知っているかではなく、知らないことに出会ったあと、どれだけ効率よく学べるか。

考えてみれば、人間の仕事ではこちらの方が重要な場面も多い。新入社員は会社に入った時点ですべてを知っているわけではない。顧客と話し、失敗し、上司や同僚から教えられながら、数カ月かけてその会社独特の仕事を覚えていく。ところが現在のAIは、膨大な情報を事前に学習しているにもかかわらず、この「働きながら本人そのものが変わっていく」という部分では、人間とはかなり違う。

Dwarkesh Patelが最近繰り返し考えているのが、まさにこの問題である。

そもそもDwarkesh Patelとは誰なのか

Dwarkesh Patelは、AIや科学、経済、歴史などをテーマにした長時間インタビューで知られるポッドキャスター、ライターである。AI研究者そのものではないが、AI業界の研究者や経営者に対してかなり技術的な質問をぶつけ、相手の考えを深く掘り下げていくことで知られている。

これまでにもIlya Sutskever、Demis Hassabis、Mark Zuckerberg、Satya Nadellaなど、AIやテクノロジー業界の中心人物に長時間インタビューしてきた。2024年にはTIMEの「TIME100 AI」にも選ばれている。

ただ、有名人を呼べることだけが彼の特徴ではない。インタビューの前に大量の資料を読み込み、「AGIはいつ来ますか」といった大きな質問だけで終わらず、その予測がどんな技術的前提に依存しているのかまで掘っていく。

AI研究者ではないからこそ、研究者同士の専門会話とも違うし、一般向けのインタビューとも少し違う。かなり踏み込んだ質問をしながら、分からない点についてはその場で考え続ける。そのため、彼自身のサイトに掲載されるインタビューやエッセイを追うと、現在AI業界でどんな問題が本気で議論されているのかが見えやすい。

今回取り上げたいのも、そうした議論の一つである。

現在のAIは、人間よりはるかに大量のデータを必要としている

Patelは2026年6月の記事「The data black hole at the center of AI」で、現在のAIが使っているデータ量に注目している。

彼の概算では、人間が成人までに接する言語データは約2億トークン程度なのに対し、フロンティアAIは数十兆から数百兆トークン規模のデータで訓練される。もちろん、この数字だけを並べて「だから人間の方が優秀だ」と結論づけるのは乱暴である。人間には視覚や聴覚、身体を通じた膨大な入力があるし、人間の脳には進化によって獲得された構造もある。

それでも、一つ気になることは残る。

人間は非常に少ない経験から、新しい仕事や概念を学べる場合がある。一方、現在のAIは巨大なデータセットと大量の計算を使って能力を獲得している。この違いを考えると、AIの次の大きな課題は単純な「知識量」ではなく、学習効率そのものなのではないか、という疑問が出てくる。

なぜAIはコーディングや数学で急速に強くなったのか

Patelはその後の記事で、「grindability」という考え方を使ってこの問題を説明している。日本語にすると少し訳しにくいが、要するに「何度でも大量に試せるか」ということだ。

コーディングなら、同じソフトウェア環境を大量に複製し、何百、何千というAIに並行して同じ問題を解かせることができる。プログラムが正しく動いたかどうかも、テストを実行すれば比較的簡単に判断できる。

数学も似ている。問題を大量に用意し、正解したかどうかを判定し、失敗したらまた試す。こうした環境は、現在の強化学習と非常に相性がいい。

では、会社経営はどうだろう。

同じ会社を1000社コピーして、1000通りの経営戦略を試し、10年後に最も成功した方法だけを残すというわけにはいかない。営業、政治、裁判、研究開発、組織運営なども同様で、結果が出るまで時間がかかり、しかも一度起きた出来事によって環境そのものが変わってしまう。

つまり「正解を判定できるか」だけでは足りない。AIが効率よく学ぶためには、「何度でも試せる」という条件も重要なのではないか、というのがPatelの問題提起である。

人間は、同じ人生を1000回やり直して学んでいるわけではない

ここで逆に、人間の学習方法がかなり奇妙に見えてくる。

人間は同じ商談を1000回やり直さなくても、一度大失敗すると次から少し行動を変える。料理でも運転でも楽器でも、数回の経験から何かを覚えることがある。もちろん人間も何度も練習する。しかし、AIの学習で使われる規模とは比較にならないほど少ない経験から、多くのことを身につけている。

現在のAIにもメモリー機能はある。長いコンテキストを与えることもできる。過去の会話やファイルを読み返し、それを参考に次の仕事をすることもできる。

だが、それは人間の学習と同じなのだろうか。

昨日失敗した内容をノートに書いておき、今日それを読み返しているだけなのか。それとも昨日の経験によって、自分自身の技能が変わったのか。この二つは似ているようで、実はかなり違う。

Continual LearningでAIは「道具」から「経験を積む存在」になる

そこで出てくるのがContinual Learning、継続学習である。

Patelは2026年8月の記事「8 Predictions for the Era of Continual Learning」で、AIが実際の仕事をしながら、その経験をモデル自身に蓄積していく未来を考えている。

彼が使っている例の一つが楽器の練習だ。仮にサックスを練習するとして、毎回まったくの初心者が練習室に入り、終わったあと次の初心者のために「今日はこうすると音が出た」「これは失敗した」と詳しいメモだけを残すとする。

100人分のメモがあったとしても、101人目の初心者がそれを読んだ瞬間に熟練したサックス奏者になるとは考えにくい。楽器の演奏には、説明として書き残しにくい経験が大量に含まれているからだ。

AIの仕事にも、同じことがあるのではないか。

長いプロンプトやメモリーにすべてを書き残すのではなく、仕事を経験した結果、そのAI自身が変わる。もしそれが可能になれば、AIは現在の「高性能なソフトウェア」とは少し違う存在になる。

半年働いたAIは、簡単には交換できなくなる

この変化は技術だけではなく、AI企業のビジネスにも影響する。

例えば、ある会社で半年間働いたAIがいたとする。そのAIは会社の商品を知り、顧客の好みを知り、社内のコードを知り、どんな失敗をすると問題になるかまで経験として身につけている。

その状態で、もっとベンチマーク性能の高い新モデルが登場したからといって、簡単に乗り換えられるだろうか。

現在なら、利用するAIモデルを変更することは比較的容易である。だが、AI自身が半年分の業務経験を内部に蓄積するようになれば、そのAIを捨てることは、半年働いた社員を辞めさせ、新人に置き換えることに近くなる。

これはAI企業にとって非常に強いロックインになる可能性がある。

さらに、利用者の多いAIほど現実世界の経験を大量に集め、それによってさらに性能が上がるなら、「性能が高いから利用者が増える、利用者が多いからさらに性能が上がる」という循環まで生まれるかもしれない。

もちろん、これはContinual Learningが十分に機能した場合の話である。現在すでにそうなっているわけではない。ただ、もし実現すれば、AI企業の競争は単純なモデル性能競争とはかなり違ったものになる。

では、そのAIがAI研究者になったらどうなるのか

そして2026年8月11日、PatelはRedwood ResearchのChief ScientistであるRyan Greenblattと、さらにその先の問題を議論した。

AIがAI研究そのものを自動化したらどうなるのか。

ここで出てくるのが、recursive self-improvement、再帰的自己改善という考え方である。

AI研究は、意外にAIが学習しやすい仕事かもしれない。コードを書き、新しいアルゴリズムを試し、モデルを訓練し、結果を測定する。現実世界の経営や政治に比べれば、実験を繰り返して結果を比較しやすい。

もしトップクラスのAI研究者と同程度の能力を持つAIが登場すれば、そのAIが次世代モデルの研究を行う。その研究によってさらに優秀なAIができれば、そのAIはもっと速く次のAIを研究できる。

AIがAIを改善し、その改善されたAIがさらにAIを改善する。

言葉だけを見ると昔からあるSFのようだが、Greenblattが議論しているのはもう少し具体的な話である。彼は、AIによるAI研究開発の自動化が十分進んだ場合、通常なら4〜5年かかるAI研究の進歩が1年程度に圧縮されるような加速もあり得ると考えている。

また、AI R&Dが完全に自動化される時期について、彼の中央値予測は2030〜2031年ごろに置かれている。

ただし、これはあくまでGreenblattの予測であって、確定したロードマップではない。ここを事実のように扱うと話がおかしくなる。

研究を1000倍できれば、新しい発見も1000倍になるのか

Patelはこの議論で、かなり重要な疑問を投げかけている。

現在のAIの性能は、本当にAIアルゴリズムと計算資源だけから生まれているのだろうか。

フロンティアAI企業では、プログラマー、法律家、科学者、各分野の専門家など、多くの人間が高品質なデータや評価基準を作っている。AIが難しい問題を解けるようになった背景には、人間の専門知識が大量に投入されている。

であれば、AI研究者をAIに置き換えただけで研究全体が何倍にも高速化するとは限らない。高品質な教師データや評価環境、現実世界から得られる知識がボトルネックになれば、AI研究者だけを大量にコピーしても進歩速度は頭打ちになる可能性がある。

さらに、「既存の実験を大量に行う能力」と「誰も考えたことのない新しい考え方を作る能力」も、本当に同じものなのかという問題がある。

数学で言えば、既に存在する難問を高速で解けることと、新しい数学分野を生み出すことは少し違う。AIが前者から後者へ自然に進めるのか。それとも、どこかに別の壁があるのか。

Greenblattは比較的連続的に進歩していくと見る。一方Patelは、その間にはまだ説明されていない何かがあるのではないかと疑っている。

ここは現在のところ答えが出ていない。

AGIが「いつ来るか」だけでは足りない

AGIの議論では、「2028年なのか」「2030年なのか」「もっと先なのか」という日付が注目される。

だが、Continual LearningとAI研究自動化の議論をつなげて考えると、日付だけを追いかけてもあまり意味がないようにも思えてくる。

仮にある日、人間と同じ程度の仕事ができるAIが登場したとする。

そのAIが完成したソフトウェアとして固定され、その後も基本的には同じ能力を持ち続けるのであれば、社会はそれに適応する時間を持てるかもしれない。

しかし、そのAIが毎日の仕事から学び、経験を蓄積し、翌日には昨日より優秀になり、さらにAI研究まで行えるなら話はまったく違う。

同じ「人間レベルAI」という言葉でも、この二つはほとんど別物である。

スマートフォンは、一年間使ったからといって自分で次世代の半導体を設計し始めない。Excelも、会社で毎日使えばその会社専用の経営者になるわけではない。

だがAIについて現在議論されている未来には、道具自身が利用経験から変化し、場合によっては自分を作っている技術まで改善する可能性が含まれている。

もちろん、そこまで本当に進むのかはまだ分からない。Continual Learningには技術的な課題があり、AI研究を自動化すれば必ず研究速度が急加速するという保証もない。

ただ、これからAIモデルを見る時、ベンチマークの点数とは別に一つ気にした方がよい能力があるように思う。

「このAIは、一度経験したことからどれだけ学べるのか」。

もしかするとAIの本当に大きな転換点は、人間と同じ試験問題を解いた日ではない。その翌日、昨日の仕事を経験したAIが、本当に昨日より上手に仕事をしていた時なのかもしれない。

参考情報

• Dwarkesh Podcast Archive
  https://www.dwarkesh.com/archive
• The data black hole at the center of AI
  https://www.dwarkesh.com/p/the-sample-efficiency-black-hole
• The next big breakthrough will be AIs learning on the job
  https://www.dwarkesh.com/p/the-next-paradigm
• 8 Predictions for the Era of Continual Learning
  https://www.dwarkesh.com/p/era-of-continual-learning
• Ryan Greenblatt – What happens once AI can automate AI research?
  https://www.dwarkesh.com/p/ryan-greenblatt