Attentionとは何か――AIが文章の中で「どこに注目するか」を決める仕組み

前回は、「Transformerとは何か」について説明しました。

Transformerとは、文章の中にある言葉同士の関係を見ながら、文脈を扱いやすくするAIの仕組みです。現在の大規模言語モデルの多くは、このTransformerをもとに作られています。

そして、そのTransformerの中心にある重要な仕組みが、Attentionです。

Attentionは、日本語では「注意」や「注目」と訳されます。

一言でいうと、Attentionとは、AIが文章を読むときに、どの言葉にどれくらい注目するかを決める仕組みです。

人間が文章を読むときも、すべての言葉を同じ重さで見ているわけではありません。

大事な言葉、前に出てきた名前、指示語が指しているもの、文の意味を決める言葉などに自然と注目しています。

Attentionは、AIがそれに近いことを行うための仕組みです。

Attentionとは何か

Attentionとは、文章の中で、ある言葉が他のどの言葉と関係しているのかを見つける仕組みです。

たとえば、次の文を見てください。

「太郎は花子に本を渡した。彼女はそれをとても喜んだ。」

この文で、「彼女」は誰を指しているでしょうか。

多くの人は、花子だと考えるでしょう。

では、「それ」は何を指しているでしょうか。

これは、本を指していると考えられます。

人間はこのような関係を自然に読み取っています。

しかし、AIにとっては、文章の中で離れた場所にある言葉同士の関係を見つける必要があります。

Attentionは、このような関係を見つけるために使われます。

「彼女」という言葉を考えるとき、AIは「太郎」「花子」「本」「渡した」などの言葉との関係を見ます。

その中で、「彼女」は「花子」と関係が強そうだと判断します。

このように、AIが文脈の中で重要な言葉に注目する仕組みがAttentionです。

Attentionは「大事なところに線を引く力」に似ている

Attentionは、教科書に線を引きながら読むことに似ています。

授業で教科書を読むとき、すべての言葉に同じように線を引く人はあまりいません。

重要なキーワード、テストに出そうな言葉、先生が強調した部分に線を引きます。

文章を読むときも同じです。

全部の言葉を同じ重さで見るのではなく、意味を理解するために大事な言葉に注目します。

Attentionも、これに似ています。

AIは文章の中のトークン同士の関係を見ながら、どこに強く注目するかを計算します。

トークンとは、第3回で説明したように、AIが文章を処理するための「言葉の部品」です。

たとえば、「彼女」というトークンを考えるとき、AIは文の中にある他のトークンを見て、「花子」に強く注目するかもしれません。

「それ」というトークンを考えるときは、「本」に強く注目するかもしれません。

このように、Attentionは、文章の中で意味を決めるために大事なつながりを見つける仕組みです。

なぜAttentionが必要なのか

文章は、言葉が順番に並んでいるだけではありません。

言葉と言葉の間には、さまざまな関係があります。

たとえば、次の文を見てください。

「昨日、駅前の本屋で買った小説を、夜に読み始めました。」

この文で「小説」と関係が強い言葉は何でしょうか。

「本屋」「買った」「読み始めました」などが関係していそうです。

一方で、「昨日」や「駅前」も文脈としては関係しますが、「小説が何なのか」を考えるうえでは少し関係の強さが違います。

人間は、このような関係の強さを自然に判断しています。

AIも、文章をうまく扱うには、どの言葉とどの言葉が強く関係しているのかを見なければなりません。

Attentionは、そのために使われます。

もしAIがすべての言葉を同じ重さで見てしまうと、どこが重要なのかを判断しにくくなります。

Attentionによって、AIは文脈の中で重要な部分に注目しやすくなるのです。

Attentionは「近い言葉」だけを見るわけではない

Attentionの大きな特徴は、近くにある言葉だけでなく、離れた場所にある言葉にも注目できることです。

文章では、関係のある言葉が必ず近くにあるとは限りません。

たとえば、次の文を見てください。

「花子が昨日図書館で借りた本は、とても面白かったので、彼女は一晩で読み終えました。」

この文で「彼女」は、花子を指していると考えられます。

しかし、「彼女」と「花子」は文の中で少し離れています。

人間は文全体を見て関係を理解できます。

Attentionも、離れた位置にある言葉同士の関係を扱いやすくします。

これは、長い文章を扱ううえでとても重要です。

小説、説明文、会議録、プログラムコードなどでは、前の方に出てきた情報が後の内容に関係することがよくあります。

Attentionは、こうした離れた関係を見るための大切な仕組みです。

Self-Attentionとは何か

Attentionについて調べると、Self-Attentionという言葉がよく出てきます。

Self-Attentionは、日本語では「自己注意」と訳されることがあります。

少し難しい言葉ですが、考え方は次のようなものです。

Self-Attentionとは、同じ文章の中にある言葉同士が、お互いにどれくらい関係しているかを見る仕組みです。

たとえば、次の文を考えてみます。

「犬がボールを追いかけた。それは公園の端まで転がった。」

この文で「それ」は、ボールを指していると考えられます。

Self-Attentionでは、「それ」という言葉が、同じ文章の中にある「犬」「ボール」「追いかけた」「公園」「転がった」などと、どれくらい関係しているかを見ます。

その結果、「それ」は「ボール」と関係が強そうだと判断できます。

つまり、Self-Attentionは、文章の中の言葉同士の関係を、文章自身の中で調べる仕組みです。

Attentionのイメージ

Attentionの働きを、もう少し図式的に考えてみましょう。

次の文があります。

「私は駅前の本屋で小説を買い、夜にそれを読みました。」

この文の中で「それ」は何を指しているでしょうか。

「それ」は「小説」を指していると考えられます。

このとき、AIは「それ」という言葉を処理するときに、文の中の他の言葉を見ます。

もちろん、実際のAIの内部では、このように日本語で表を作って考えているわけではありません。

AIの中では、トークン同士の関係が数値として計算されています。

しかし、イメージとしては、「この言葉を理解するには、どの言葉を強く見るべきか」を決めていると考えるとわかりやすいです。

Attentionは文章の意味を「完全に理解」しているのか

Attentionがあると、AIは文章の中の関係をかなり上手に扱えるようになります。

しかし、それは人間と同じ意味で文章を完全に理解しているということではありません。

AIは、トークン同士の関係を計算し、どの部分に注目するかを決めています。

その結果として、自然な文章を作ったり、質問に答えたりできます。

しかし、AIが現実世界を人間のように体験しているわけではありません。

たとえば、AIは「コップを落とすと割れることがある」と文章で説明できます。

しかし、実際にコップを持ったり、落としたり、割れる音を聞いたりしているわけではありません。

Attentionは、文章の中の関係を見る強力な仕組みです。

しかし、それだけで人間と同じ理解や経験を持っているわけではありません。

Multi-Head Attentionとは何か

Attentionについてもう少し進むと、Multi-Head Attentionという言葉が出てきます。

これは日本語では「マルチヘッドアテンション」と呼ばれることがあります。

名前は難しいですが、考え方は比較的わかりやすいです。

Multi-Head Attentionとは、複数の視点で、言葉同士の関係を見る仕組みです。

人間が文章を読むときも、いろいろな視点で読みます。

たとえば、次の文を見てください。

「太郎は花子に本を渡した。」

この文を見るとき、人間は次のような関係を同時に考えています。

• 誰が行動したのか：太郎
• 誰に渡したのか：花子
• 何を渡したのか：本
• どんな行動なのか：渡した

つまり、一つの文にも、主語、相手、物、行動など、いろいろな関係があります。

Multi-Head Attentionでは、複数のAttentionがそれぞれ違う関係に注目します。

ある視点では「誰が」に注目し、別の視点では「何を」に注目し、さらに別の視点では「誰に」に注目するようなイメージです。

これにより、AIは文章の中にある複数の関係を同時に扱いやすくなります。

AttentionとTransformerの関係

Attentionは、Transformerの中心にある仕組みです。

前回説明したTransformerは、文章の中にある言葉同士の関係を見ながら文脈を扱う仕組みでした。

その関係を見るための重要な部品がAttentionです。

つまり、次のように考えるとわかりやすいです。

Transformerは、Attentionを使って、文章の中にある複雑な関係を扱います。

そのため、翻訳、要約、質問応答、文章生成などで高い性能を出せるようになりました。

Attentionは画像や音声にも使われる

Attentionは、もともと文章を扱うAIで大きく注目されました。

しかし、現在では文章だけでなく、画像、音声、動画などにも応用されています。

たとえば、画像を扱うAIでは、画像の中のどの部分に注目するかが重要になります。

猫の画像を見ているとき、AIは背景よりも、耳、目、ひげ、顔の形などに注目するかもしれません。

医療画像を扱うAIでは、画像の中の異常がありそうな部分に注目することが重要になります。

音声を扱うAIでは、音のどの部分が言葉の意味に関係しているかを見る必要があります。

このように、Attentionの考え方は、さまざまな種類のデータに応用されています。

• 文章：言葉同士の関係を見る
• 画像：画像の中の重要な場所を見る
• 音声：音の流れの中で重要な部分を見る
• 動画：時間の流れと画面内の重要な部分を見る

これは、後の回で説明するマルチモーダルAIとも関係します。

Attentionの強み

Attentionの強みは、文章の中で重要な関係を見つけやすいことです。

特に、離れた場所にある言葉同士の関係を扱えることが大きな特徴です。

また、Multi-Head Attentionによって、複数の視点で文章を読むこともできます。

• 重要な言葉に注目できる
• 離れた言葉同士の関係を扱いやすい
• 複数の視点で文を読める
• 翻訳や要約に役立つ
• 大規模言語モデルの性能向上に大きく貢献した

たとえば、長い文章の中で、前に出てきた人物名や条件が後の文に関係する場合、Attentionの仕組みが役立ちます。

また、文章の中で「それ」「これ」「彼」「彼女」のような指示語が何を指しているのかを考えるときにも重要です。

Attentionの限界

Attentionはとても強力ですが、万能ではありません。

まず、Attentionを使っていても、AIが必ず正しい答えを出すわけではありません。

AIは文章の中の関係を見ながら自然な出力を作れますが、それが事実として正しいとは限りません。

つまり、Attentionがあってもハルシネーションは起こります。

また、長い文章を扱う場合には、計算量が増えるという問題もあります。

文章が長くなるほど、トークン同士の関係を見る組み合わせが増えるため、計算が重くなります。

さらに、AIがどこに注目しているかを人間が完全に理解できるとは限りません。

Attentionの重みを見ることで、ある程度の手がかりは得られる場合があります。

しかし、それだけでAIの判断理由が完全に説明できるわけではありません。

• 事実の正しさを保証するものではない
• ハルシネーションを完全に防ぐわけではない
• 長い文章では計算が重くなりやすい
• AIの判断理由を完全に説明できるわけではない

Attentionは、AIが文脈を扱ううえで重要な仕組みです。

しかし、AIを安全に使うためには、事実確認や人間の判断も必要です。

Attentionを理解するとAIの答え方が見えてくる

Attentionを理解すると、AIがなぜ文脈に合った答えを作れるのかが少し見えてきます。

AIは、文章の中の言葉をただ順番に並べて見ているだけではありません。

どの言葉がどの言葉と関係しているのか、どの言葉に注目すべきなのかを計算しています。

そのため、AIは会話の流れをある程度保ったり、前に出てきた言葉を参照したり、文章全体の意味に合った答えを作ったりできます。

ただし、AIが人間のように意味を完全に理解しているわけではありません。

AIは、学習したパターンと入力された文脈をもとに、関係のありそうな言葉に注目して出力を作っています。

この違いを理解しておくと、AIのすごさと限界の両方が見えやすくなります。

まとめ

Attentionとは、AIが文章を読むときに、どの言葉にどれくらい注目するかを決める仕組みです。

文章の中では、言葉と言葉がさまざまな形で関係しています。

Attentionは、その関係の強さを見ながら、文脈を扱いやすくします。

特にSelf-Attentionは、同じ文章の中にある言葉同士の関係を見る仕組みです。

Multi-Head Attentionは、複数の視点から言葉同士の関係を見る仕組みです。

AttentionはTransformerの中心にあり、現在の大規模言語モデルを支える重要な技術です。

翻訳、要約、文章生成、質問応答など、多くのAI技術に関係しています。

ただし、Attentionは万能ではありません。事実の正しさを保証するものではなく、ハルシネーションを完全に防ぐものでもありません。

Attentionを理解すると、AIがなぜ文脈に合った自然な文章を作れるのか、そしてなぜそれでも間違えることがあるのかが見えてきます。

次回は、「事前学習とは何か」について説明します。

事前学習とは、AIが大量のデータから基本的なパターンを学ぶ段階です。AIがどのようにして言葉や画像の特徴を身につけていくのかを、やさしく見ていきます。