大規模言語モデルとは何か――ChatGPTの中で動いている「言葉のAI」をやさしく理解する

前回は、「生成AIとは何か」について説明しました。

生成AIとは、文章、画像、音声、動画、プログラムなどを新しく作り出すAIのことです。

では、その中でもChatGPTのように、文章を書いたり、質問に答えたり、会話したりするAIは、どのような仕組みで動いているのでしょうか。

そこで登場するのが、大規模言語モデルです。

大規模言語モデルは、英語では Large Language Model と呼ばれます。よく略して LLM と書かれます。

一言でいうと、大規模言語モデルとは、大量の文章から言葉の使い方を学び、人間のような文章を作るAIのことです。

大規模言語モデルとは何か

大規模言語モデルという言葉は、少し難しく聞こえます。

しかし、分解すると意味はそこまで複雑ではありません。

• 大規模：とても大きなデータや計算を使っている
• 言語：日本語、英語などの人間の言葉を扱う
• モデル：学習したパターンをもとに答えを出す仕組み

つまり、大規模言語モデルとは、大量の言葉を学習した、とても大きな言語の仕組みだと考えるとわかりやすいです。

たとえば、たくさんの本、記事、会話、説明文、プログラムなどを学ぶことで、「この言葉の後にはどんな言葉が続きやすいか」「この質問にはどんな答え方が自然か」「この文章はどんな意味に近いか」といったパターンを身につけていきます。

その結果、人間が質問すると、それに合った文章をその場で作ることができるようになります。

言語モデルとは「次の言葉を予測する仕組み」

大規模言語モデルを理解するには、まず「言語モデル」という考え方を知る必要があります。

言語モデルとは、簡単にいうと、次に来る言葉を予測する仕組みです。

たとえば、次の文章を見てください。

「朝起きたら、まず顔を＿＿」

この空欄には、何が入りそうでしょうか。

多くの人は「洗う」と考えるでしょう。

もちろん、「見る」「拭く」「確認する」なども文としてはありえます。しかし、普通の文章としては「顔を洗う」がかなり自然です。

言語モデルは、このように、前にある言葉から次に来る言葉を予測します。

大規模言語モデルは、この予測をとても大きな規模で行います。短い文章だけでなく、長い会話、複雑な説明、専門的な内容、プログラムのコードなどにも対応できるように作られています。

ChatGPTは大規模言語モデルを使っている

ChatGPTのようなAIチャットサービスの中心には、大規模言語モデルがあります。

私たちがChatGPTに質問を入力すると、その文章をAIが読み取り、次にどのような答えを返すのが自然かを計算します。

たとえば、「大規模言語モデルについて中学生にもわかるように説明して」と頼むと、AIはその指示に合うように、やさしい言葉を選び、説明の順番を考え、文章を作っていきます。

ここで大切なのは、AIがあらかじめ用意された答えをそのまま取り出しているわけではないということです。

検索エンジンのように、どこかのページをそのまま表示しているのではありません。入力された内容をもとに、その場で文章を組み立てています。

このため、同じ質問をしても、毎回少し違う答えが返ってくることがあります。

生成AIと大規模言語モデルの違い

生成AIと大規模言語モデルは、よく混同されます。

この2つの関係は、次のように考えるとわかりやすいです。

生成AIは広い言葉で、大規模言語モデルはその中の一種です。

生成AIには、文章を作るAI、画像を作るAI、音声を作るAI、動画を作るAIなどがあります。

その中で、特に言葉を扱うAIの中心になっているのが大規模言語モデルです。

つまり、ChatGPTのようなAIは生成AIでもあり、その中で大規模言語モデルを使っているAIでもあります。

大規模言語モデルは何を学んでいるのか

大規模言語モデルは、大量の文章からさまざまなパターンを学びます。

たとえば、次のようなことです。

• 言葉と言葉のつながり
• 文法のパターン
• 質問と回答の形
• 文章の流れ
• 説明の仕方
• 会話の進め方
• 専門用語の使われ方
• プログラムの書き方

たとえば、「犬」という言葉は、「散歩」「ペット」「吠える」「しっぽ」「飼う」といった言葉と関係が深いです。

一方、「裁判」という言葉は、「法律」「判決」「弁護士」「証拠」「裁判所」といった言葉と関係が深いです。

大規模言語モデルは、このような言葉同士の関係を大量に学びます。

そして、入力された文章に対して、どの言葉が関係しているのか、どのような答え方が自然なのかを計算します。

そのため、大規模言語モデルは、ただ単語をつなげているだけではなく、文章全体の流れや文脈に合った答えを作ることができます。

「大規模」とは何が大きいのか

大規模言語モデルの「大規模」とは、いくつかの意味で大きいということです。

主に大きいのは、次の3つです。

• 学習に使うデータの量
• 計算に使うコンピューターの規模
• モデルの中にあるパラメータの数

ここで出てくる「パラメータ」という言葉は、今後の回で詳しく説明します。

ここでは、AIの中にある大量の調整つまみのようなものだと考えてください。

人間が楽器の音を調整するとき、音量、低音、高音、響きなどを細かく調整します。それと似たように、AIの中にも、答え方を決めるための非常に多くの数値があります。

この数値が学習によって少しずつ調整されていき、より自然な文章を作れるようになります。

大規模言語モデルは、この調整つまみの数が非常に多く、学習するデータも膨大です。そのため、さまざまな質問や文章作成に対応できるのです。

大規模言語モデルは「意味」を理解しているのか

ここで、少し難しい問題があります。

大規模言語モデルは、本当に言葉の意味を理解しているのでしょうか。

これは簡単には答えられない問題です。

大規模言語モデルは、言葉と言葉の関係を非常に高度に扱うことができます。質問に答えたり、文章を要約したり、物語を書いたり、プログラムを作ったりできます。

そのため、私たちから見ると、まるで意味を理解しているように見えます。

しかし、人間の理解とは違います。

人間は、現実の世界で体験したり、感情を持ったり、目的を考えたりしながら言葉を使います。

一方、大規模言語モデルは、大量のデータから学んだパターンをもとに、入力に合う出力を作っています。

たとえば、「りんごは赤い果物です」と言えるAIがあったとしても、そのAIが実際にりんごを見たり、持ったり、食べたりしたわけではありません。

つまり、大規模言語モデルは言葉をとても上手に扱えますが、人間と同じように世界を経験しているわけではないのです。

大規模言語モデルでできること

大規模言語モデルは、言葉を使う作業にとても強いです。

たとえば、次のようなことができます。

• 質問に答える
• 文章を書く
• 文章を要約する
• 文章を翻訳する
• メール文を作る
• 企画のアイデアを出す
• 文章を読みやすく直す
• プログラムのコードを書く
• エラーの原因を説明する
• 学習内容をわかりやすく説明する

特に便利なのは、言葉でそのまま指示できることです。

たとえば、「この文章をもっとやさしくして」「このメールを丁寧な表現にして」「このコードの間違いを教えて」のように、普通の言葉で頼むことができます。

これにより、専門的なソフトの操作やプログラミングを知らない人でも、AIを使いやすくなりました。

大規模言語モデルが苦手なこと

大規模言語モデルはとても便利ですが、苦手なこともあります。

まず、事実をいつも正確に答えられるわけではありません。

大規模言語モデルは、自然な文章を作るのが得意です。そのため、間違った内容でも、もっともらしい文章にしてしまうことがあります。

これが、前回も少し触れた「ハルシネーション」です。

また、最新のニュース、現在の価格、法律の変更、医療情報など、時期によって変わる情報にも注意が必要です。

さらに、計算や細かい数字の扱いが苦手な場合もあります。簡単な計算ならできても、複雑な計算や厳密な確認が必要な場面では、人間のチェックや専用ツールが必要です。

• 事実確認が必要な情報
• 最新ニュースや現在の価格
• 法律・医療・金融などの重要判断
• 複雑な計算
• 責任ある最終判断

大規模言語モデルは、答えを作る力は強いですが、必ず正しい答えを保証する機械ではありません。

そのため、重要な場面では、AIの答えを出発点として使い、最後は人間が確認することが大切です。

検索エンジンとは何が違うのか

大規模言語モデルは、検索エンジンともよく比べられます。

検索エンジンは、インターネット上にあるページを探して、関連するページの一覧を表示します。

一方、大規模言語モデルは、入力された質問に対して、その場で文章を作ります。

検索エンジンは「情報の場所を探す道具」です。

大規模言語モデルは「情報をもとに文章を作る道具」です。

どちらが上というより、役割が違います。

調べ物をするときは検索エンジンが便利です。説明文を作ったり、考えを整理したり、文章の下書きを作ったりするときは、大規模言語モデルが便利です。

大規模言語モデルを使うときのコツ

大規模言語モデルをうまく使うには、頼み方が大切です。

AIは、こちらの指示をもとに答えを作ります。そのため、指示があいまいだと、答えもあいまいになりやすくなります。

たとえば、「AIについて教えて」だけでは範囲が広すぎます。

一方で、「中学生にもわかるように、生成AIと大規模言語モデルの違いを、たとえ話を使って説明して」と頼むと、かなり答えやすくなります。

指示するときは、次のような情報を入れるとよいです。

• 誰に向けた説明か
• どのくらいの長さにするか
• どんな雰囲気にするか
• 何を重視するか
• どの形式で出してほしいか

これは、次回以降に扱う「プロンプト」の話にもつながります。

大規模言語モデルは、こちらの頼み方によって答え方が大きく変わるAIなのです。

まとめ

大規模言語モデルとは、大量の文章から言葉のパターンを学び、人間のような文章を作るAIです。

英語では Large Language Model と呼ばれ、LLMと略されます。

ChatGPTのような会話AIの中心には、この大規模言語モデルがあります。

大規模言語モデルは、次に来る言葉を予測する仕組みをもとに、質問への回答、文章作成、要約、翻訳、プログラミング補助などを行います。

ただし、人間と同じように世界を体験しているわけではありません。また、いつも正しい答えを出せるわけでもありません。

大切なのは、大規模言語モデルを「何でも知っている先生」としてではなく、言葉を使った作業を助けてくれる強力な相棒として使うことです。

次回は、「トークンとは何か」について説明します。

大規模言語モデルは、文章を人間のようにそのまま読んでいるわけではありません。文章を細かい単位に分けて処理しています。その単位が「トークン」です。

トークンを理解すると、AIがなぜ長い文章を苦手にすることがあるのか、なぜ文字数制限のようなものがあるのかが見えてきます。