トークンとは何か――AIが文章を読むための「言葉の部品」をやさしく理解する

前回は、「大規模言語モデルとは何か」について説明しました。

大規模言語モデルとは、大量の文章から言葉のパターンを学び、人間のような文章を作るAIのことです。

では、そのAIは、私たちが入力した文章をどのように読んでいるのでしょうか。

人間は、文章を「文字」や「単語」や「文」として読んでいます。

たとえば、「今日は学校へ行きます」という文を見たとき、人間なら「今日」「学校」「行きます」といった意味のまとまりとして理解します。

しかし、AIは人間とまったく同じように文章を読んでいるわけではありません。

AIは、文章をもっと細かい単位に分けて処理しています。

その単位が、トークンです。

トークンとは何か

トークンとは、AIが文章を処理するために使う、細かい言葉の単位です。

一言でいうと、トークンとは、AIにとっての「言葉の部品」です。

人間にとって文章は、文字や単語の集まりです。

しかし、AIは文章をそのまま丸ごと読んでいるわけではありません。

まず文章を細かい部品に分け、その部品をもとに計算します。

たとえば、人間が「おにぎり」を食べるとき、一口ずつ食べます。大きなおにぎりを丸ごと一気に飲み込むわけではありません。

AIもそれに少し似ています。長い文章をそのまま一気に扱うのではなく、細かい単位に分けてから処理します。

この細かい単位がトークンです。

トークンは文字と同じではない

ここで大事なのは、トークンは文字と同じではないということです。

「1文字 = 1トークン」と決まっているわけではありません。

また、「1単語 = 1トークン」とも限りません。

トークンは、文字、単語、単語の一部、記号などに分かれることがあります。

たとえば英語では、短い単語が1つのトークンになることもありますし、長い単語がいくつかのトークンに分かれることもあります。

日本語の場合は、英語のように単語と単語の間にスペースがないため、分け方が少し複雑になります。

そのため、日本語の文章では、人間が思っている文字数や単語数と、AIが数えるトークン数がずれることがあります。

つまり、トークンは人間にとっての文字数や単語数とは少し違う、AI側の数え方なのです。

なぜAIはトークンに分けるのか

では、なぜAIは文章をトークンに分けるのでしょうか。

理由は、コンピューターは人間の言葉をそのまま理解できないからです。

コンピューターが得意なのは、数値を計算することです。

そのため、AIは文章をまずトークンに分け、それぞれのトークンを数値として扱います。

そして、その数値同士の関係を計算しながら、文章の意味や流れを処理していきます。

少しイメージしやすく言うと、AIは文章を次のような流れで扱います。

• 人間が文章を入力する
• AIが文章をトークンに分ける
• それぞれのトークンを数値に変える
• トークン同士の関係を計算する
• 次に出すトークンを予測する
• 予測したトークンをつなげて文章にする

私たちから見ると、AIは普通に日本語を読んで返事をしているように見えます。

しかし、AIの内部では、文章をトークンという単位に分け、それを数値として計算しているのです。

トークンはレゴブロックのようなもの

トークンは、レゴブロックにたとえるとわかりやすいです。

レゴブロックは、一つひとつは小さな部品です。

しかし、それを組み合わせることで、家、車、ロボット、町のような大きなものを作ることができます。

トークンも同じです。

一つひとつのトークンは、文字や言葉の小さな部品です。

しかし、それを順番につなげることで、文章になります。

AIは、前にあるトークンを見ながら、次にどのトークンを出すと自然かを予測します。

たとえば、次のような文章があるとします。

「今日はとても天気が」

このあとには、「いい」「悪い」「よい」などが続きそうです。

AIは、このように前のトークンの流れを見て、次に続くトークンを選びます。

そして、その作業を何度も繰り返すことで、長い文章を作っていきます。

AIは一気に文章を書いているわけではない

ChatGPTのようなAIに質問すると、すぐに長い文章が返ってくることがあります。

そのため、AIが頭の中で答えを完成させてから、一気に表示しているように感じるかもしれません。

しかし、実際には、多くの場合、AIはトークンを一つずつ、または細かい単位で順番に生成しています。

つまり、文章全体を最初から完全に完成させているというより、前に出した内容をもとに、次に出す内容を少しずつ決めているのです。

これは、人間が文章を書くときにも少し似ています。

私たちも、作文を書くときに、最初から最後まで完璧な文章が頭の中にあるとは限りません。

最初の一文を書き、それに続く文を考え、さらにその次を考えながら文章を作っていきます。

AIも、入力された文章と、それまでに自分が出した文章をもとに、次に続くトークンを生成していきます。

トークン数が増えると何が起きるのか

トークンは、AIにとっての処理単位です。

そのため、トークン数が増えるほど、AIが処理しなければならない量も増えます。

短い質問であれば、AIは少ないトークンで処理できます。

しかし、長い資料を丸ごと読ませたり、長い会話を続けたりすると、トークン数はどんどん増えていきます。

トークン数が増えると、次のような問題が出ることがあります。

• 処理に時間がかかる
• 利用料金が増える場合がある
• 一度に扱える文章の量を超えることがある
• 古い会話の内容が参照されにくくなることがある
• 重要な情報が長文の中に埋もれることがある

特に、仕事でAIを使うときには、トークン数の考え方が重要になります。

たとえば、長い議事録を要約したい場合、その全文を一度にAIへ渡せるとは限りません。

その場合は、文章をいくつかに分けたり、先に重要な部分を抜き出したりする必要があります。

トークンと文字数の違い

AIを使っていると、「何文字まで入力できますか」と考えたくなることがあります。

しかし、AIの世界では、文字数よりもトークン数で考えることが多いです。

文字数とトークン数は、完全には一致しません。

たとえば、同じ100文字でも、使っている言語や記号、文章の内容によってトークン数は変わります。

日本語、英語、数字、記号、絵文字、プログラムのコードなどでは、トークンの分け方が異なります。

そのため、「何文字まで使えるか」ではなく、「どれくらいのトークン数になるか」という考え方が必要になります。

ただし、ふだんAIを使うだけであれば、正確なトークン数を毎回数える必要はありません。

まずは、AIには一度に扱える文章量に限界があり、その基準がトークンであると理解しておけば十分です。

トークンとコンテキストウィンドウの関係

トークンを理解すると、次に重要になるのが「コンテキストウィンドウ」です。

コンテキストウィンドウとは、AIが一度に見ることのできる情報の範囲です。

たとえば、AIと長く会話していると、最初の方に話した内容を忘れたように見えることがあります。

これは、AIが本当に人間のように忘れているというより、会話全体が長くなりすぎて、参照できる範囲から外れてしまうことがあるためです。

AIは、入力された文章や会話の履歴をトークンとして扱います。

そして、一度に扱えるトークン数には上限があります。

その上限の範囲が、コンテキストウィンドウです。

たとえば、机の上で勉強する場面を想像してください。

机が広ければ、教科書、ノート、参考書、プリントをたくさん広げることができます。

机が狭ければ、一度に広げられるものは少なくなります。

コンテキストウィンドウは、この「机の広さ」に似ています。

トークンは、机の上に置く紙やノートのようなものです。

机の上に置ける量には限界があるので、あまりに多くの情報を渡すと、すべてを一度に扱えなくなることがあります。

なぜ長い文章をAIに読ませるときに工夫が必要なのか

トークンには上限があるため、長い文章をAIに読ませるときには工夫が必要です。

たとえば、100ページの資料をそのまま全部AIに渡して、「要約して」と頼んでも、モデルやサービスによっては一度に処理できない場合があります。

また、処理できたとしても、重要な部分が長文の中に埋もれてしまうことがあります。

そのため、長い文章を扱う場合には、次のような工夫が有効です。

• 文章を章ごとに分ける
• 先に目的を伝える
• 重要な箇所を指定する
• 一度にすべてを頼まず、段階的に処理する
• 要約してから、さらに詳しく聞く

たとえば、「この資料を要約して」と頼むよりも、「この資料から、初心者向け記事に使える重要なポイントを5つ抜き出してください」と頼む方が、AIは答えやすくなります。

AIに何を見てほしいのか、どの情報を重視してほしいのかを伝えることで、限られたトークンをより有効に使うことができます。

トークンは料金にも関係する

AIサービスを仕事で使う場合、トークンは料金にも関係することがあります。

特に、APIと呼ばれる仕組みを使ってAIをシステムに組み込む場合、入力したトークン数と、AIが出力したトークン数に応じて料金が決まることがあります。

APIとは、簡単にいうと、自分のサイトやアプリからAIを呼び出して使うための仕組みです。

この場合、長い文章を何度も送ったり、AIに長い回答を出させたりすると、その分トークン数が増えます。

つまり、トークンはAIの「作業量」を表す目安にもなります。

家庭で電気をたくさん使うと電気代が増えるように、AIでもたくさんのトークンを処理すると、その分コストがかかることがあります。

ただし、普通にチャットサービスとしてAIを使っている場合は、細かい料金を意識しなくてもよいことが多いです。

一方、会社のシステムやアプリにAIを組み込む場合には、トークン数を考えることが大切になります。

トークンを理解するとAIの見え方が変わる

トークンという考え方を知ると、AIの動きが少し理解しやすくなります。

たとえば、次のような疑問にもつながります。

• なぜAIには入力できる文章量の限界があるのか
• なぜ長い会話を続けると前の内容が薄れることがあるのか
• なぜ日本語と英語で処理のされ方が違うことがあるのか
• なぜ長いコードを扱うときに注意が必要なのか
• なぜAI APIの料金に入力と出力の量が関係するのか

トークンは、見た目にはわかりにくい言葉です。

しかし、AIの内部ではとても重要な役割を持っています。

人間が文章を読むときには、文字や言葉を目で見て意味を考えます。

AIは、文章をトークンに分け、それを数値として扱い、計算によって次の文章を作ります。

この違いを知るだけでも、「AIはなぜ人間と同じようで、同じではないのか」が少し見えてきます。

まとめ

トークンとは、AIが文章を処理するために使う細かい単位です。

人間にとっての文字や単語とは少し違い、AIが計算しやすいように文章を分けた「言葉の部品」のようなものです。

AIは、入力された文章をトークンに分け、それを数値として扱いながら、次に続くトークンを予測して文章を作ります。

トークン数が増えると、AIが処理する量も増えます。そのため、長い文章や長い会話を扱うときには、トークン数が重要になります。

また、トークンはコンテキストウィンドウやAI APIの料金にも関係します。

ふだんAIを使うだけなら、正確なトークン数を毎回数える必要はありません。

ただし、AIは文章をトークンという単位に分けて処理していると知っておくと、AIの得意なことや限界が理解しやすくなります。

次回は、「コンテキストウィンドウとは何か」について説明します。

コンテキストウィンドウを理解すると、AIがどこまで会話や文章を覚えていられるのか、長い資料を読ませるときに何に注意すればよいのかが見えてきます。