推論とは何か――学習済みのAIが答えを出す仕組みをやさしく理解する

前回は、「事前学習とは何か」について説明しました。

事前学習とは、AIが本格的に使われる前に、大量のデータから基本的なパターンを学ぶことです。大規模言語モデルの場合、文章のつながり、文法、説明の仕方、会話の流れ、知識の断片などを、あらかじめ大量のデータから学びます。

では、私たちがChatGPTのようなAIに質問しているとき、AIは何をしているのでしょうか。

その場で新しく学習しているのでしょうか。

それとも、すでに学んだことを使って答えているのでしょうか。

ここで登場するのが、推論です。

一言でいうと、推論とは、学習済みのAIが、入力された質問や指示に対して答えを出すことです。

推論とは何か

推論とは、AIがすでに学習した内容をもとに、新しい入力に対して答えを出す段階のことです。

英語では inference と呼ばれます。

AIの世界でいう推論は、人間が日常で使う「推理する」「考えて結論を出す」という意味に近い部分もありますが、完全に同じではありません。

AIの場合は、学習済みのモデルに質問やデータを入力し、その結果として出力を得ることを推論と呼びます。

たとえば、私たちがAIに「生成AIとは何かを説明してください」と入力します。

するとAIは、その入力をもとに、学習済みのパターンや文脈を使って、回答文を生成します。

この回答を作る処理が推論です。

事前学習と推論の違い

推論を理解するには、事前学習との違いを押さえることが大切です。

事前学習は、AIが大量のデータから基礎力を身につける段階です。

推論は、その学習済みのAIを使って、実際の質問に答える段階です。

人間でたとえるなら、事前学習は普段の勉強です。

推論は、テスト本番で問題を解くことです。

国語や数学を勉強しておいたからこそ、テストで問題を読んで答えを書くことができます。

AIも同じように、事前学習で身につけたパターンを使って、入力された質問に答えます。

この違いはとても重要です。

私たちがAIに質問しているとき、AIは基本的にその場でゼロから学習しているわけではありません。

すでに学習済みのモデルが、入力された内容をもとに答えを作っているのです。

AIに質問すると、その場で学習しているのか

AIを使っていると、「自分が入力した内容をAIがその場で学習しているのではないか」と感じることがあります。

たとえば、会話の中でこちらが条件を伝えると、AIはその条件を踏まえて次の答えを出します。

そのため、AIがその場で学習したように見えることがあります。

しかし、多くの場合、それはモデル本体が新しく学習したというより、会話の文脈を見て答えているだけです。

第4回で説明したコンテキストウィンドウの中に、これまでの会話や指示が入っているため、AIはそれを参考にして回答できます。

たとえば、最初に「中学生にもわかるように説明してください」と伝えておけば、AIはその後の回答でも、その条件をある程度意識します。

これは、その場でモデルの中身が書き換わったというより、現在の会話の文脈を参照している状態です。

つまり、AIに質問しているときに起きているのは、主に推論です。

学習済みのAIが、今見えている文脈をもとに答えを作っているのです。

推論では何が入力されるのか

推論では、AIに何らかの入力が与えられます。

大規模言語モデルの場合、入力されるのは文章です。

この入力には、次のようなものが含まれます。

• ユーザーの質問
• 会話の履歴
• 貼り付けた資料
• 指定した条件
• 出力してほしい形式
• システム側の指示

AIは、これらをまとめて文脈として扱います。

そして、その文脈をトークンという単位に分け、ニューラルネットワークの中で計算します。

トークンとは、第3回で説明したように、AIが文章を処理するための「言葉の部品」です。

AIは、入力されたトークンの並びを見ながら、次にどのトークンを出すのが自然かを計算していきます。

推論ではどうやって文章が作られるのか

大規模言語モデルの推論では、AIは回答を一気に完成させているわけではありません。

多くの場合、次に続くトークンを少しずつ予測しながら文章を作っていきます。

たとえば、次のような入力があるとします。

「今日は雨が降りそうなので、外に出るときは」

このあとには、「傘を持っていきましょう」「足元に気をつけましょう」「レインコートを着るとよいでしょう」などが続きそうです。

AIは、文脈に合いそうな候補を計算し、その中から次に出すトークンを選びます。

そして、出したトークンをもとに、さらに次のトークンを選びます。

この繰り返しによって、文章が少しずつ生成されます。

• 入力された文章を読む
• 文章をトークンに分ける
• 文脈をもとに次のトークンを予測する
• 選ばれたトークンを出力する
• 出力済みの内容も含めて、さらに次のトークンを予測する
• これを繰り返して回答文を作る

私たちから見ると、AIが文章をすらすら書いているように見えます。

しかし内部では、学習済みのモデルがトークンを順番に生成しているのです。

推論は「記憶を検索しているだけ」ではない

AIの回答を見ると、「どこかに保存されている答えを検索しているのかな」と思うかもしれません。

しかし、大規模言語モデルの推論は、単純な検索とは違います。

検索エンジンは、すでに存在するページや情報を探して表示します。

一方、大規模言語モデルは、入力された文脈に合わせて、その場で文章を生成します。

もちろん、AIは事前学習で多くの文章からパターンを学んでいます。

しかし、質問に対する答えをそのまま保存して取り出しているとは限りません。

学習済みのパターンをもとに、入力に合う文章を作っているのです。

この違いを理解することは大切です。

AIは自然な文章を作れるため、正しい情報を検索して答えているように見えることがあります。

しかし、実際には生成された文章であり、内容が必ず正しいとは限りません。

これがハルシネーションとも関係します。

推論とハルシネーションの関係

推論では、AIが入力に対して自然な答えを作ります。

しかし、自然な答えと正しい答えは同じではありません。

AIは、文脈に合いそうな言葉を選びながら文章を作ります。

そのため、情報が不足している場合や、質問があいまいな場合でも、それらしい答えを作ってしまうことがあります。

これがハルシネーションにつながります。

たとえば、AIに「この本の内容を要約してください」と頼んだとします。

もしAIがその本について十分な情報を持っていなかった場合、タイトルや著者名から内容を推測して、もっともらしい要約を作ってしまうことがあります。

このような場合、文章としては自然でも、実際の本の内容とは違っているかもしれません。

推論は、学習済みのパターンから答えを作る処理です。

そのため、根拠が不足しているときには、間違った内容が自然に生成される可能性があります。

推論には計算資源が必要

推論は、AIが答えを出す処理です。

そのため、推論にも計算が必要です。

特に大規模言語モデルでは、入力された文章をトークンに分け、多くの層を持つニューラルネットワークの中で計算し、次に出すトークンを決めます。

この処理には、サーバーやGPUなどの計算資源が使われることがあります。

大きなモデルほど、高度な答えを出せる可能性がありますが、その分、推論に必要な計算量も大きくなります。

そのため、AIサービスでは、モデルの大きさ、応答速度、料金、利用制限などが関係してきます。

• 大きなモデルは高性能になりやすいが、計算量も大きい
• 長い入力は処理に時間がかかりやすい
• 長い回答は出力トークンが増える
• API利用では入力と出力のトークン数が料金に関係することがある
• 応答速度と精度のバランスが必要になる

このように、推論はユーザーから見ると「質問に答えているだけ」に見えますが、内部では多くの計算が行われています。

推論と生成の違い

AIの世界では、「推論」と「生成」という言葉が出てきます。

生成AIの場合、推論の結果として文章や画像などが生成されます。

つまり、推論はAIが答えを出す処理であり、生成はその結果として新しい内容が作られることだと考えるとわかりやすいです。

たとえば、文章生成AIに「メール文を書いて」と頼んだ場合、AIは推論を行い、その結果としてメール文を生成します。

画像生成AIに「青い空の下にある未来的な図書館を描いて」と頼んだ場合も、AIは推論を行い、その結果として画像を生成します。

実際には、この2つはかなり近い関係にあります。

生成AIを使っているとき、裏側では推論が行われ、その結果として文章や画像が出てきているのです。

推論モデルとは何か

最近は、「推論モデル」という言葉を聞くことがあります。

ここで少し注意が必要です。

AIの一般的な意味での推論は、学習済みのモデルが入力に対して出力を返す処理です。

一方、最近よく言われる「推論モデル」は、問題を解くときに、より段階的に考えるように設計されたモデルを指すことがあります。

たとえば、数学の問題、プログラミング、複雑な計画、論理的な判断などに強いモデルです。

つまり、同じ「推論」という言葉でも、少し意味が違う場合があります。

• 一般的な推論：学習済みAIが入力に対して答えを出す処理
• 推論モデル：複雑な問題を段階的に考えることに強いモデル

このシリーズでは、後の回で「推論モデルとは何か」を改めて扱います。

今回はまず、AIを使っているときに行われている基本的な推論を理解しておきましょう。

推論時にプロンプトが重要になる理由

推論では、AIが入力されたプロンプトや文脈をもとに答えを作ります。

そのため、プロンプトの書き方によって、推論の結果は大きく変わります。

たとえば、次の2つのプロンプトを比べてみましょう。

「AIについて説明して」

「生成AIについて、中学生にもわかるように、身近なたとえを使って、ブログ記事の導入文として300字程度で説明してください」

どちらもAIへの指示ですが、後者の方が目的、対象、形式、長さがはっきりしています。

AIは、与えられた条件に合わせて推論します。

つまり、プロンプトはAIの推論の方向を決める重要な材料です。

AIに良い答えを出してもらうには、AIに何を見せ、何を重視させ、どのような形で答えさせるかを整理することが大切です。

推論を理解するとAIの使い方が変わる

推論を理解すると、AIの使い方が少し変わります。

AIは、こちらの質問に対して、学習済みのパターンと現在の文脈を使って答えを作っています。

そのため、AIによりよい答えを出してもらうには、必要な情報をきちんと渡すことが重要です。

たとえば、ある文章を直してほしい場合、ただ「直して」と言うよりも、「読者は初心者です」「専門用語を減らしてください」「ブログ向けに自然な文章にしてください」と伝える方が、目的に合った推論が行われやすくなります。

また、事実確認が必要な内容では、AIの答えをそのまま信じるのではなく、根拠を確認する必要があります。

推論は、AIが答えを作るための強力な仕組みです。

しかし、推論の結果は、入力された情報や学習済みのパターンに左右されます。

だからこそ、AIを使う人間側にも、質問の仕方や確認の仕方が求められます。

まとめ

推論とは、学習済みのAIが、入力された質問や指示に対して答えを出すことです。

事前学習がAIの基礎力を作る段階だとすると、推論はその基礎力を使って本番の問題に答える段階です。

私たちがChatGPTのようなAIに質問しているとき、基本的にはこの推論が行われています。

AIは、入力された文章や会話の履歴をトークンに分け、文脈をもとに次に出すトークンを予測しながら回答を作ります。

推論は検索とは違います。既存の答えをただ探しているのではなく、入力に合わせてその場で文章を生成しています。

そのため、自然な答えを作ることができますが、必ず正しいとは限りません。

ハルシネーションが起こることもあります。

推論をうまく使うには、プロンプトを具体的にし、必要な情報を整理して渡し、重要な情報は人間が確認することが大切です。

次回は、「推論モデルとは何か」について説明します。

推論モデルとは、複雑な問題を段階的に考えることに強いAIモデルです。通常の意味での推論と、最近話題になっている推論モデルの違いを、やさしく整理していきます。