事前学習とは何か――AIが大量のデータから「基礎力」を身につける仕組み

前回は、「Attentionとは何か」について説明しました。

Attentionとは、AIが文章を読むときに、どの言葉にどれくらい注目するかを決める仕組みです。Transformerの中心にある技術で、AIが文章の中の言葉同士の関係を見るために使われます。

では、AIはそもそも、どうやって言葉の使い方や文章のパターンを身につけているのでしょうか。

ChatGPTのようなAIは、最初から会話ができるわけではありません。大量の文章やデータを使って、言葉のつながり、文法、知識の断片、説明の仕方などを学んでいます。

その最初の大きな学習段階が、事前学習です。一言でいうと、事前学習とは、AIが本格的に使われる前に、大量のデータから基本的なパターンを学ぶことです。

事前学習とは何か

事前学習とは、AIが特定の仕事をする前に、大量のデータを使って基礎的な能力を身につける学習のことです。英語では pretraining と呼ばれます。pre は「前もって」、training は「訓練」や「学習」という意味です。つまり、事前学習とは「前もって行う学習」です。

たとえば、人間で考えてみましょう。

作文を書く前に、私たちは日本語の読み書き、漢字、文法、言葉の意味、文章の流れなどをすでに学んでいます。いきなり「作文を書いて」と言われても、文字や言葉を知らなければ書けません。作文を書く前に、国語の授業や読書を通じて、言葉の基礎を身につけているわけです。

AIの事前学習も、それに少し似ています。AIは、個別の質問に答える前に、大量の文章やデータから、言葉や情報のパターンを学んでおきます。

AIは事前学習で何を学ぶのか

文章を扱う大規模言語モデルの場合、事前学習では大量のテキストを使います。

その中でAIは、言葉の使われ方や文章の構造を学びます。

• 単語や表現の使われ方
• 文法のパターン
• 文章の流れ
• 質問と回答の関係
• 説明文の書き方
• 会話の進め方
• 専門用語の使われ方
• 物語や論説文の構成
• プログラムコードの書き方

たとえば、「東京は日本の＿＿です」という文があれば、多くの場合、空欄には「首都」が入りそうだと学びます。

また、「雨が降りそうなので、傘を＿＿」という文であれば、「持つ」「持っていく」「用意する」などが続きやすいと学びます。

このような予測を大量の文章で繰り返すことで、AIは言葉のつながりを学んでいきます。

もちろん、実際の事前学習はもっと複雑です。

AIは文章をトークンという細かい単位に分け、それぞれの関係を計算しながら、次に来るトークンや隠されたトークンを予測します。

ここでいうトークンとは、第3回で説明したように、AIが文章を処理するための「言葉の部品」です。

事前学習は「基礎練習」に似ている

事前学習は、スポーツや音楽の基礎練習にたとえるとわかりやすいです。

たとえば、野球をするには、試合に出る前に、キャッチボール、素振り、走り込み、守備練習などをします。

ピアノを弾くには、曲を演奏する前に、指の動かし方、音階、リズム、楽譜の読み方などを練習します。

いきなり試合や本番だけをやっても、うまくなりません。

基礎的な力を身につけておくから、いろいろな場面に対応できるようになります。

AIの事前学習も同じです。

特定の質問に答える前に、大量の文章から言葉の基本を学んでおくことで、要約、翻訳、文章作成、質問応答など、さまざまな作業に対応しやすくなります。

なぜ「事前」学習というのか

事前学習は、AIが実際に利用者の質問に答える前に行われます。

私たちがChatGPTのようなAIに質問しているとき、その場でAIがゼロから日本語や英語を学んでいるわけではありません。

AIは、あらかじめ大規模な学習を終えています。

その学習済みの能力を使って、私たちの質問に答えています。

つまり、事前学習は、AIの本番前の大きな準備です。

この表のように、事前学習、ファインチューニング、推論はそれぞれ役割が違います。

特に初心者が混同しやすいのは、「AIに質問すること」と「AIが学習すること」です。

通常、私たちがAIに質問しているときに行われているのは、主に推論です。

その場でAI本体が毎回学習し直しているわけではありません。

事前学習と推論の違い

事前学習と推論は、生成AIを理解するうえでとても重要な違いです。

事前学習は、AIが大量のデータから基礎を身につける段階です。

推論は、学習済みのAIが、入力された質問や指示に対して答えを出す段階です。

人間でたとえるなら、事前学習は普段の勉強です。

推論は、テスト本番で問題を解くことです。

学校で勉強した内容をもとに、テストで答えを書く。

AIも、事前学習で身につけたパターンをもとに、推論時に答えを生成します。

この違いを理解すると、「AIに質問したら、その内容をAIが全部覚えるのか」という疑問も整理しやすくなります。

多くの場合、チャットで入力した内容は、その場の回答には使われますが、AI本体がその瞬間に恒久的に学習し直すわけではありません。

ただし、サービスによっては、入力データの扱いや学習への利用方針が異なります。

そのため、個人情報や機密情報を入力するときには、利用しているサービスの設定や規約を確認することが大切です。

事前学習とファインチューニングの違い

事前学習と一緒に出てくる言葉に、ファインチューニングがあります。

ファインチューニングとは、事前学習済みのモデルを、特定の目的に合わせて追加で調整することです。

事前学習が「広い基礎学習」だとすると、ファインチューニングは「目的に合わせた専門練習」です。

たとえば、あるAIが一般的な文章をたくさん学んでいるとします。

そのAIに、医療文書、法律文書、カスタマーサポートの会話、企業独自の文章などを追加で学ばせることで、特定の分野に合った答え方をしやすくすることがあります。

ただし、最近ではすべてをファインチューニングで解決するわけではありません。

会社の資料やマニュアルをAIに参照させたい場合は、RAGという仕組みを使うこともあります。

RAGは、必要な資料を検索してAIに渡し、その資料をもとに答えさせる方法です。

ファインチューニングとRAGの違いは、後の回で詳しく説明します。

事前学習にはどんなデータが使われるのか

大規模言語モデルの事前学習には、非常に多くの文章データが使われます。

具体的には、書籍、Webページ、記事、会話文、プログラムコード、百科事典のような情報など、さまざまな種類のテキストが使われることがあります。

ただし、どのデータがどのように使われているかは、モデルや企業によって異なります。

また、学習データには著作権、個人情報、偏り、不適切な内容などの問題が関係することがあります。

AIがどのようなデータで学習しているかは、AIの性能だけでなく、安全性や公平性にも影響します。

• 文章データ
• 書籍や記事
• Webページ
• 会話データ
• 百科事典的な情報
• プログラムコード
• 画像と説明文の組み合わせ

画像生成AIの場合は、画像とその説明文の組み合わせが使われることがあります。

音声AIの場合は、音声データや文字起こしデータが使われます。

このように、事前学習に使われるデータは、AIが何を扱うモデルなのかによって変わります。

事前学習は「知識を丸暗記すること」なのか

事前学習と聞くと、AIが大量の情報を丸暗記しているように感じるかもしれません。

しかし、実際には単純な丸暗記とは違います。

AIは、データの中にあるパターンを学びます。

文章であれば、言葉のつながり、説明の構造、文脈、表現のパターンなどを学びます。

たとえば、「春になると桜が咲く」という文章を何度も見ることで、AIは「春」「桜」「咲く」という言葉の関係を学びます。

しかし、それは人間が春の空気を感じたり、桜の花を見上げたりする経験とは違います。

AIは、データの中にある関係を数値として学んでいます。

そのため、AIは自然な文章を作ることができますが、事実を完全に正しく記憶しているとは限りません。

これが、ハルシネーションが起きる理由の一つでもあります。

事前学習でAIはなぜ賢くなるのか

事前学習によってAIが賢く見えるのは、大量のデータから非常に多くのパターンを学ぶからです。

たとえば、文章の中には、説明、質問、答え、比較、理由、例、結論など、さまざまな構造があります。

AIはそれらを大量に見ることで、「質問にはこのように答える」「説明ではまず定義を述べ、その後に例を出す」「比較では表を使うとわかりやすい」といったパターンを学びます。

そのため、私たちが質問すると、AIはその質問に合う形の文章を作ることができます。

また、事前学習では、さまざまな分野の文章を見るため、科学、歴史、文学、プログラミング、ビジネス、日常会話など、多くの話題に対応しやすくなります。

ただし、これは「何でも正確に知っている」という意味ではありません。

AIは、学習したパターンを使って答えを作っているため、情報が古かったり、不正確だったり、推測が混じったりすることがあります。

事前学習には大量の計算が必要

大規模なAIの事前学習には、非常に多くの計算が必要です。

大量の文章を読み込み、トークンに分け、ニューラルネットワークの中で計算し、予測の間違いをもとに重みを調整します。

これを何度も繰り返すため、強力なコンピューターが必要になります。

特に、大規模言語モデルの学習では、GPUなどの計算装置が大量に使われることがあります。

GPUは、もともと画像処理に使われることが多かった装置ですが、大量の計算を並行して行うのが得意なため、AIの学習にも広く使われています。

このように、事前学習は、データだけでなく、計算資源、電力、時間、費用が必要な大きな作業です。

事前学習だけで十分なのか

事前学習はとても重要ですが、それだけで実用的なAIが完成するとは限りません。

事前学習を終えたAIは、たしかに多くの言葉のパターンを学んでいます。

しかし、そのままだと、ユーザーの質問に対して安全で役に立つ答えを返すとは限りません。

そこで、追加の調整が行われることがあります。

たとえば、人間にとってわかりやすい答え方を学ばせたり、危険な質問には答えないようにしたり、指示に従いやすくしたりします。

こうした調整によって、AIはより実用的なチャットAIや業務支援AIになります。

つまり、事前学習はAIの土台を作る段階ですが、その後の調整も重要です。

事前学習と安全性

事前学習に使うデータは、AIの性質に大きく影響します。

もし学習データに偏った情報が多ければ、AIの答えにも偏りが出る可能性があります。

もし不適切な表現や危険な内容が多く含まれていれば、AIがそれをまねしてしまう可能性もあります。

そのため、AIを開発する側は、学習データの選び方や、学習後の安全対策を工夫する必要があります。

AIの安全性は、単に「AIが賢いかどうか」だけの問題ではありません。

どのようなデータで学び、どのような価値観やルールに沿って調整されているかも重要です。

これは今後、AIの社会的な使われ方を考えるうえでも大きなテーマになります。

事前学習を理解するとAIの見方が変わる

事前学習を理解すると、AIがどのようにして多くの話題に答えられるようになったのかが見えてきます。

AIは、ユーザーに質問されてから初めてすべてを学んでいるわけではありません。

事前に大量のデータから基礎的なパターンを学んでいます。

そのため、文章を書いたり、要約したり、翻訳したり、質問に答えたりできるのです。

一方で、AIは人間のように経験して学んでいるわけではありません。

データの中にあるパターンを数値として学んでいるため、自然な答えを作れても、事実を間違えることがあります。

つまり、事前学習はAIの力の源であると同時に、AIの限界を理解するための手がかりでもあります。

まとめ

事前学習とは、AIが本格的に使われる前に、大量のデータから基本的なパターンを学ぶことです。

英語では pretraining と呼ばれます。

大規模言語モデルの場合、事前学習では大量の文章を使い、言葉のつながり、文法、説明の仕方、会話の流れ、知識の断片などを学びます。

事前学習は、AIにとっての基礎練習のようなものです。

この基礎があるからこそ、AIは文章作成、要約、翻訳、質問応答、プログラミング補助など、さまざまな作業に対応できます。

ただし、事前学習は単純な丸暗記ではありません。AIはデータの中にあるパターンを学んでいます。

そのため、自然な文章を作ることは得意でも、事実を必ず正確に答えられるわけではありません。

また、事前学習だけで実用的なAIが完成するわけではなく、その後の調整や安全対策も重要です。

事前学習を理解すると、AIがなぜ多くのことをできるのか、そしてなぜ間違えることがあるのかが見えてきます。

次回は、「推論とは何か」について説明します。

推論とは、学習済みのAIが、入力された質問や指示に対して答えを出す段階です。AIが学習しているときと、私たちの質問に答えているときの違いを、やさしく整理していきます。