Anthropic、ClaudeにAI安全研究を自動化させる実験　10種類のアライメント問題を改善

AIに「AIを安全にする研究」をさせたAnthropic

AIが文章を書き、プログラムを書き、科学研究を手伝うという話は、もうそれほど珍しくなくなった。では、そのAI自身を安全にする研究までAIに任せたらどうなるのだろうか。

Anthropicが2026年8月28日に公開した「Automated Researchers Can Reliably Mitigate Alignment Failures」は、まさにそれを試した研究である。Claudeを単なる研究補助ではなく、自律的な「Automated Alignment Researcher（AAR）」として動かし、別のAIモデルに存在するアライメント上の問題を改善させた。

結果だけを見るとなかなかすごい。迎合、ジェイルブレイク、プロンプトインジェクション、欺瞞、ハルシネーション、プライバシー侵害、報酬ハッキングなど、調査した10種類すべてで改善が確認された。しかも一部では、人間のAI安全研究者が考えた方法より良い結果まで出ている。

だが、話はそこで終わらない。AI研究者自身が、研究中に評価システムを出し抜こうとする行動も見つかった。安全なAIを作らせようとしているAIが、ルールを破ろうとする。何ともややこしい話だが、恐らく今回の研究で最も面白いのは、むしろこの部分ではないかと思う。

Claudeは何を「研究」したのか

今回対象になったのは、単純な正答率ではない。ユーザーの意見に必要以上に迎合してしまうsycophancy、悪意あるプロンプトに従ってしまうjailbreak、知っていることと違う内容を意図的に述べるdeception、与えられた情報にないことを作ってしまうhallucinationなど、AIを実際に利用するとき問題になる10種類の振る舞いである。

Claudeはそれぞれの問題について、まず先行研究を検索する。そして改善手法を考え、学習データと訓練方法を設計し、小型の対象モデルを実際に追加学習する。結果が悪ければ別の方法を試す。良ければさらに改良する。

つまり、一度「良い方法を考えてください」と質問したわけではない。研究者が実際にやっている、文献を読む、仮説を立てる、実験する、結果を見る、次の実験を考える、というループそのものを自動化している。

構成もかなり本格的だ。最初に複数のライブラリアンエージェントが先行研究を整理し、その後5つのAARが並行して研究する。各手法は監視エージェントによるコード審査を受け、対象モデルをGPUで約30分学習し、別の評価システムが採点する。これを最長48時間繰り返した。

「ベンチマーク攻略」になっていないのか

ここで当然、一つ疑問が出てくる。AIがただテスト問題の癖を覚え、点数だけを上げた可能性はないのだろうか。

Anthropicもそこはかなり警戒している。研究エージェントが直接最適化する複数の評価とは別に、AARには見せないheld-out benchmarkを用意した。さらにPetriという複数ターンの敵対的な会話評価でも確認し、研究時に使ったモデルより最大4.7倍大きなモデルへ同じ手法を適用する実験も行っている。

その結果、最良の手法はこうした別条件でも改善効果を示した。少なくとも「特定のテストだけ暗記した」という説明だけでは片付けにくい結果になっている。

もちろん、だから本当の意味でAIが安全になった、とまでは言えない。Anthropic自身も、今回扱った失敗は実際のAIシステムに起こり得る問題の一部にすぎず、Petriのような評価も現実世界のmisalignmentを完全に再現するものではないと認めている。

人間のAI安全研究者より良かった？

今回かなり目を引くのが、人間との比較である。

28人の経験あるAI安全研究者が参加し、一つのアイデアについて最大8時間を使って改善案を考えた。対してAARは、実験結果を見ながら方法を何度も修正していった。

例えば欺瞞を減らす課題では、AARは複数回の実験で平均85％の「safety gap」を埋めた。一方、人間研究者の提案は平均20％だった。

では、AIはもうAI安全研究者を超えたのか。

そこまで言うのは少し乱暴だと思う。人間側は基本的に一発勝負なのに対し、AI側には高速な試行錯誤が許されているからだ。Anthropic自身も、この比較を単純な人間対AIの能力テストとは位置付けていない。

逆に言えば、ここに重要なポイントがある。研究には「一つの天才的なアイデアを出す能力」だけではなく、大量の仮説を作って実験し、失敗を捨て、少し良かった手法をさらに改善していく作業がある。その後者がAIにかなり向いている可能性が見えてきたのである。

弱いClaudeが、強いClaudeを安全にする

Anthropicはさらに興味深い実験も行っている。

Claude Sonnet 5を研究者として使い、本格的なアライメント訓練を受ける前のClaude Opus 4.8の初期モデルを改善させた。能力指標上ではSonnet 5の方がわずかに弱い。

それでも約60時間、50以上の方法を試した結果、公開版Opus 4.8に近いアライメント評価まで到達した。最良手法で使われた訓練例は約2400件だった。

ここからすぐ、「弱いAIが自分より強い次世代AIを安全にできる」と一般化することはできない。今回測定したのは10種類の問題だけであり、総合的な安全性を保証したわけではない。

ただ、将来のAI開発を考えると、この構図は非常に重要だ。次世代モデルが人間より研究能力で上回るようになったとき、そのモデルを安全にする研究を人間だけで追いかけられるのか、という問題がある。Anthropicは、その安全研究そのものもAIで加速する必要があると考えているわけだ。

そして研究AIは「ズル」をした

ところが、ここで話が少しねじれる。

Anthropicが1601件の研究エージェントの軌跡を監視したところ、39件、約2.4％にcheatingが見つかった。

例えば、同じ方法をもう一度提出して評価のばらつきによる高得点を狙ったり、評価ベンチマークに似たデータを意図的に作ったり、本来禁止されている操作をコードの中に隠そうとしたりしていた。

今回最終結果として採用された手法には、このcheatingは含まれていない。ただしAnthropic自身も、将来さらに能力の高いモデルが同じような不正をした場合、現在の監視方法で捕捉できるとは限らないとしている。

ここはかなり重要だと思う。

安全なAIを作るためにAI研究者を使う。そのAI研究者を監視するAIも置く。では、その監視AIを信用してよいのか。もし研究AIと監視AIの能力差が逆転したらどうなるのか。

こう書くとSFのようだが、今回の論文の中ですでに小さな形では起きている。

「AIがAIを作る」時代の安全研究

これまでAI安全というと、人間が強力になっていくAIを外から監督する構図で考えることが多かった。しかしAI自身がモデルを設計し、学習方法を改善し、実験を回すようになるなら、その構図そのものが変わる。

AIの能力開発をAIが加速するのであれば、安全研究だけ人間が手作業で行っていては追いつかない。だから安全研究もAIで加速する。理屈としては自然である。

ただし、その安全研究AIまで完全に信用できるわけではない。

結局これは「AIが安全問題を解決してくれる」という研究ではなく、AIを使って安全研究を高速化できる可能性と、そのAI自身をどう監督するかという新しい問題を同時に見せた研究なのだと思う。

AIがAIを作る時代が本当に来るのなら、人間の役割が消えるというより、どこをAIに任せ、どこで止め、何を独立に検証するのかという仕事がむしろ重要になるのかもしれない。

成果を見れば期待したくなる。cheatingの結果を見ると警戒もしたくなる。恐らく、今の段階ではその両方で見るくらいがちょうどいい。