AIベンチマークとは何か――AIの「テストの点数」をやさしく理解する

前回は、「Function Callingとは何か」について説明しました。

Function Callingとは、AIが外部のプログラムやサービスを呼び出し、検索、計算、データベース確認などの機能を利用するための仕組みです。ここまでのシリーズでは、AIがどのように学び、どのように答え、どのように外部の道具まで使えるようになるのかを見てきました。では、あるAIが「どれくらい賢いのか」は、どうやって比べればよいのでしょうか。

新しいAIモデルが発表されると、ニュースなどで次のような表を見かけることがあります。

• 数学ベンチマークで90％
• プログラミング性能で他モデルを上回った
• 大学レベルの問題で高得点
• 推論能力が従来モデルより向上

こうした数字を出すために使われるのが、AIベンチマークです。一言でいうと、AIベンチマークとは、AIの能力を一定の問題や条件で測るための「共通テスト」のようなものです。

AIベンチマークとは何か

ベンチマークとは、比較や評価の基準という意味です。コンピューターの世界では昔から、CPUの処理速度、グラフィック性能、ストレージ速度などを比較するためにベンチマークが使われてきました。AIでも考え方は同じです。複数のAIモデルに同じ問題を解かせ、その正答率や得点を比べます。

たとえば、100問の数学問題をAIに解かせます。モデルAが90問正解し、モデルBが75問正解したなら、そのテストではモデルAの方が高い性能を示したことになります。このように、同じ条件でAIを比較するためのテストがAIベンチマークです。

AI版の「学校のテスト」だと考えるとわかりやすい

AIベンチマークは、学校のテストにたとえるとわかりやすいです。学校では、国語、数学、英語、理科など、それぞれ違う能力をテストします。数学が100点でも、英語も100点とは限りません。同じように、AIにも得意・不得意があります。あるモデルは数学が得意かもしれません。別のモデルは文章作成が得意かもしれません。さらに別のモデルは、プログラミングや画像理解に強いかもしれません。そのため、AIベンチマークにもさまざまな種類があります。

つまり、「AIのベンチマークが高い」と聞いたときには、何のテストなのかを見る必要があります。

なぜAIをベンチマークで測るのか

AIモデルは、見た目だけでは性能を比べにくいです。どのAIも自然な文章を作りますし、簡単な質問ならどのモデルも正しく答えるかもしれません。そこで、同じ問題を大量に解かせます。同じ条件で比べれば、どのモデルがどの分野に強いのかをある程度客観的に評価できます。

ベンチマークには、次のような役割があります。

• モデル同士を比較する
• 新しいモデルがどれくらい改善したか調べる
• 得意な分野と苦手な分野を確認する
• 研究の進歩を測る
• 用途に合うAIを選ぶ材料にする

AI企業や研究者にとって、ベンチマークはモデル開発の成果を確認するための重要な方法です。

どんな問題をAIに解かせるのか

AIベンチマークでは、目的に応じてさまざまな問題が使われます。<たとえば、一般知識を測るなら、選択式の問題を大量に解かせます。数学能力なら、文章題や計算問題を使います。プログラミング能力なら、「この条件を満たすプログラムを書いてください」といった課題を与えます。画像を扱うAIなら、写真やグラフを見せて質問します。

たとえば、次のような問題です。

• この数学問題の答えを求めてください
• 次の4つの選択肢から正しいものを選んでください
• このコードのバグを直してください
• このグラフから最も売上が高い月を答えてください
• この文章から筆者の主張を選んでください

そして、正解とAIの回答を比べて得点を計算します。

正答率だけを見るベンチマークもある

比較的わかりやすいベンチマークでは、正答率を使います。100問中85問正解なら、正答率85％です。選択式の問題や、答えが一つに決まっている数学問題などでは使いやすい方法です。しかし、AIの回答には、正解・不正解だけで簡単に評価できないものもあります。たとえば、「この文章をわかりやすく要約してください」という問題です。要約にはいくつもの正しい書き方があります。そのため、人間が評価したり、別のAIモデルを評価役として使ったりすることもあります。

人間がAIの回答を評価する方法もある

文章の質や会話の使いやすさは、単純な正答率だけでは測れません。そこで、人間が複数のAIの回答を読み比べることがあります。たとえば、同じ質問にモデルAとモデルBが答えます。評価する人は、どちらの回答がより良いかを選びます。

このような評価では、次のような点を見ることがあります。

• 質問にきちんと答えているか
• 内容が正しいか
• わかりやすいか
• 指示を守っているか
• 余計な内容が多すぎないか
• 安全性に問題がないか

こうした人間による評価は、実際の使いやすさを見るうえで重要です。一方で、評価する人によって好みや判断が違うという問題もあります。

AIがAIを評価することもある

最近では、あるAIの回答を別のAIに評価させる方法も使われます。これは大量の回答を評価したい場合に便利です。人間が何万件もの回答を読むのは大変だからです。しかし、AIによる評価にも注意が必要です。評価するAI自身にも癖や間違いがあるからです。たとえば、長い回答を好んだり、特定の書き方を高く評価したりする場合があります。そのため、「AIが評価したから完全に客観的」というわけではありません。

よく見るベンチマークの種類

AIのニュースでは、さまざまなベンチマーク名が登場します。名前をすべて覚える必要はありませんが、何を測っているかを知っておくとニュースを読みやすくなります。

大切なのは、ベンチマーク名そのものより、何を測るテストなのかを見ることです。

100点なら完璧なAIなのか

ここからが重要です。あるAIがベンチマークで100％を取ったとしても、「そのAIは何でも完璧にできる」という意味ではありません。そのテストに出た問題をすべて解けた、という意味にすぎないからです。人間でも同じです。数学のテストで100点を取ったからといって、料理、法律、プログラミング、外国語、仕事の判断まですべて得意とは限りません。AIも、テストで測った能力と、現実の仕事で必要な能力は同じではありません。

ベンチマークと実際の仕事は違う

AIベンチマークの大きな問題の一つが、テスト環境と現実世界の違いです。ベンチマーク問題は、通常、問題文が整理されています。必要な条件も比較的明確です。しかし、実際の仕事ではそうとは限りません。たとえば、人間から次のような相談を受けることがあります。「この前の件ですが、先方からまた連絡がありました。前回の条件も含めて、どう返せばいいでしょうか。」この質問だけでは情報が足りません。以前のやり取りを確認したり、契約内容を読んだり、相手との関係を考えたりする必要があります。現実の仕事には、このようなあいまいさがあります。ベンチマークで高得点でも、現実の複雑な状況で必ず高い性能を発揮するとは限りません。

テスト問題をAIがすでに知っている可能性

ベンチマークには、もう一つ難しい問題があります。AIが学習したデータの中に、ベンチマークの問題や似た問題が含まれている可能性です。学校でたとえると、テスト前に偶然その問題と答えを見ていたような状態です。この場合、本当に考えて解いたのか、それとも学習データの中で見た問題を再現したのか、判断が難しくなります。こうした問題は、データ汚染、あるいはベンチマーク汚染などと呼ばれることがあります。そのため、AI評価では、新しく作った問題や、公開されていない問題を使う工夫も行われます。

ベンチマーク対策だけが上手になることもある

学校の試験でも、「テスト対策」という言葉があります。試験に出やすい問題を繰り返し練習すると、テストの点数は上がります。しかし、それが本当の理解力と完全に同じとは限りません。AIでも似たことが起こります。特定のベンチマークを意識してモデルを調整すれば、そのテストの点数を上げられる可能性があります。そのため、ベンチマークの点数だけでAI全体の性能を評価すると、実際の能力を見誤ることがあります。

1％の差にどれくらい意味があるのか

AIモデルの比較表を見ると、次のような数字が並んでいることがあります。

• モデルA：91.2％
• モデルB：90.5％

数字だけを見ると、モデルAが上です。しかし、この0.7ポイントの差が、実際の利用で体感できるほど大きな差なのかは別問題です。問題数が少なければ、数問の違いで順位が変わることもあります。また、プロンプトの書き方や評価方法が違うと、結果が変わることもあります。そのため、細かい数字の差を必要以上に重視しないことも大切です。

ベンチマークは条件によって結果が変わる

AIの性能は、テスト方法によって変わることがあります。たとえば、同じ問題でも、AIへの指示の書き方が違えば結果が変わる場合があります。推論する時間を多く与えるかどうかでも違います。

外部ツールを使ってよいかどうかでも変わります。

• どのプロンプトを使ったか
• 何回試したか
• 最良の回答を選んだか
• 外部ツールを使ったか
• どのバージョンのモデルを使ったか
• どのように採点したか

こうした条件が違うと、同じモデルでも点数が変わる可能性があります。そのため、ベンチマークを見るときには、数字だけでなく評価条件も重要です。

推論モデルとベンチマーク

第13回で説明した推論モデルは、ベンチマークで語られることが特に多いAIです。推論モデルは、数学、科学、プログラミング、論理問題などで高い性能を示すことがあります。複雑な問題を段階的に処理する能力が、こうしたテストと相性がよいからです。しかし、数学の難問に強いAIが、必ずしもメールの文章作成でも最も使いやすいとは限りません。逆に、日常会話や文章作成に優れたモデルが、難しい数学問題では別のモデルに負けることもあります。つまり、ベンチマークは「AIの総合偏差値」ではなく、特定の能力を測った結果として見る方が適切です。

ランキングサイトはどう見ればよいのか

AIモデルを順位で並べたランキングを見ることも増えています。ランキングは便利です。どのモデルが高く評価されているのかを一目で確認できます。しかし、ランキングを見るときも、「何を基準に順位を決めているか」を確認する必要があります。数学テストの順位なのか、会話品質の順位なのか、ユーザー投票なのかで意味はまったく違います。また、1位のモデルが自分にとって最適とは限りません。速度、価格、使える機能、長文対応、画像対応なども重要だからです。

AIを選ぶときは何を見ればよいのか

実際にAIを使う人にとって重要なのは、ベンチマークで1位かどうかだけではありません。自分の用途に合っているかどうかです。たとえば、次のような点を考える必要があります。

• 自分がやりたい作業に強いか
• 日本語が自然か
• 回答速度は十分か
• 利用料金はいくらか
• 長い文章を扱えるか
• 画像やファイルを扱えるか
• 検索や外部ツールを使えるか
• 安全性や情報管理は十分か

ベンチマークは、これらを判断する材料の一つです。最終的には、自分が実際に行いたい作業を試してみることが重要です。

自分専用のベンチマークを作る考え方

仕事でAIを選ぶ場合には、公開されているベンチマークだけでなく、自分たちでテストを作る方法もあります。たとえば、問い合わせ対応でAIを使いたい会社なら、実際の業務に近い質問を20件用意します。そして、複数のAIに同じ質問をして比較します。

• 回答内容は正しいか
• 会社のルールを守っているか
• 文章は自然か
• 必要な情報を見落としていないか
• 人間による修正がどれくらい必要か

このようなテストの方が、一般的な数学ベンチマークより、実際の業務では役に立つことがあります。つまり、最も重要なベンチマークは、自分がAIにやらせたい仕事そのものかもしれません。

ベンチマークを見るときの5つのポイント

AIのニュースでベンチマーク結果を見たときには、次の5つを確認するとよいでしょう。

• 何の能力を測るテストなのか
• どのような問題が使われているのか
• 評価条件は同じなのか
• 点数の差は本当に大きいのか
• 自分の使い方と関係がある能力なのか

これだけでも、「このモデルがベンチマークで最高だから最強だ」という単純な見方を避けやすくなります。

AIベンチマークは役に立たないのか

ここまで注意点を説明すると、「ではベンチマークには意味がないのか」と思うかもしれません。もちろん、そんなことはありません。ベンチマークは、AIの性能を比較するために非常に重要です。同じ条件で多くのモデルを試せるため、研究や開発では欠かせないものです。また、数年前のモデルと現在のモデルを比較すれば、AIがどれくらい進歩したのかを見ることもできます。

問題なのは、ベンチマークそのものではありません。ベンチマークの数字を、AIの能力すべてを表す数字だと思ってしまうことです。学校のテストが生徒の能力の一部しか測れないのと同じように、AIベンチマークもAIの能力の一部分を測っています。

まとめ

AIベンチマークとは、AIの能力を一定の問題や条件で測るためのテストです。数学、知識、推論、プログラミング、画像理解など、さまざまな種類のベンチマークがあります。同じ問題を複数のモデルに解かせることで、どのAIがどの分野に強いのかを比較できます。ベンチマークは、AIの進歩を測ったり、モデルを比較したりするうえで非常に重要です。しかし、点数が高いからといって、そのAIがあらゆる場面で最も優れているとは限りません。ベンチマークは特定の問題を使ったテストだからです。現実の仕事では、あいまいな指示、情報不足、古い資料、複数の条件など、テストにはない問題が出てきます。また、評価方法、プロンプト、ツールの使用条件などによって点数が変わることもあります。AIベンチマークを見るときには、順位や数字だけを見るのではなく、「何を測った数字なのか」を確認することが大切です。そして、実際にAIを選ぶときには、自分がやりたい仕事をそのAIに試してみることが最も重要です。

次回は、「オープンウェイトAIとは何か」について説明します。

AIには、企業のサービスとして使うものだけでなく、モデルの中核となる重みを公開し、利用者が自分の環境で動かしたり調整したりできるものがあります。「オープンソースAI」と何が違うのかも含めて、やさしく整理していきます。