小規模言語モデルとは何か――小さくても賢いAIをやさしく理解する

前回は、「オープンウェイトAIとは何か」について説明しました。オープンウェイトAIとは、学習済みAIモデルの「重み」を公開し、利用者が自分のパソコンやサーバーで動かせるようにしたAIです。

そこで、一つ疑問が出てきます。

AIを自分のパソコンやスマートフォンで動かすには、どれくらい大きなコンピューターが必要なのでしょうか。ChatGPTのような高性能なAIを支えるモデルには、非常に大きなものがあります。しかし最近では、もっと小さく、必要な計算量を抑えたAIも重要になっています。

それが、小規模言語モデルです。英語では、Small Language Model の頭文字を取って、SLMと呼ばれることがあります。一言でいうと、小規模言語モデルとは、大規模言語モデルより小さく、少ない計算量でも動かしやすい言語AIです。

小規模言語モデルとは何か

小規模言語モデルは、大規模言語モデルと基本的には同じ仲間です。大量の文章などから言葉のパターンを学び、質問に答えたり、文章を作ったり、要約したりできます。

違うのは、モデルの規模です。第22回で少し触れたように、ニューラルネットワークには「パラメータ」と呼ばれる大量の数値があります。パラメータには、AIが学習によって身につけたパターンが反映されています。

一般に、非常に多くのパラメータを持つモデルは大きくなり、動かすためにも大きな計算能力が必要になります。

一方、小規模言語モデルは、モデルの大きさを抑えることで、より少ない計算資源で動かせるようにしています。ただし、「何個以下ならSLM」という世界共通の厳密な境界があるわけではありません。大規模なモデルと比べて小さく、軽量であることを表す言葉として使われることが多いと考えてください。

大規模言語モデルとの違い

大規模言語モデルは、英語では Large Language Model、略してLLMと呼ばれます。

小規模言語モデルは Small Language Model、略してSLMです。

名前の通り、一番わかりやすい違いは規模です。

ここで注意したいのは、LLMとSLMは「賢いAI」と「賢くないAI」という分け方ではないことです。得意な仕事や、使う場所が違うと考えた方がわかりやすいでしょう。

小規模言語モデルは「小さな専門家」に似ている

LLMとSLMの違いは、人間の組織にたとえるとわかりやすいです。

大規模言語モデルは、非常に幅広い分野の相談に対応できる大きな総合相談所のようなものです。歴史について聞いても、プログラミングについて聞いても、文章作成を頼んでも対応できます。

一方、小規模言語モデルは、小さな専門家に近い場合があります。何でも世界最高レベルでできる必要はありません。たとえば、

• 文章を要約する
• 問い合わせを分類する
• 決まった形式で文章を作る
• 端末上で簡単な質問に答える
• 文章から必要な情報を取り出す

といった限られた仕事なら、小さなモデルでも十分な場合があります。難しい仕事を何でも頼める巨大なAIを毎回使うより、その仕事に十分な小さなAIを使った方が効率的なこともあるのです。

なぜ大きなAIが作られてきたのか

AIの発展では長い間、「モデルを大きくすると性能が上がる」という考え方が重要でした。より多くのデータを使い、より多くのパラメータを持つモデルを作ることで、文章理解、推論、プログラミングなどの能力が大きく向上してきました。その結果、非常に大きなAIモデルが作られるようになりました。

しかし、大きなモデルには問題もあります。

• 大量の計算能力が必要になる
• 大容量のメモリが必要になる
• 電力を多く使う
• 応答にかかる費用が増える
• 一般的なパソコンやスマートフォンでは動かしにくい

そこで、「もっと少ない計算量で十分な性能を出せないか」という研究や開発が進んできました。その結果、小さいモデルでも多くの実用的な仕事をこなせるようになっています。

大きいAIほど必ず優秀なのか

では、モデルは大きければ大きいほどよいのでしょうか。必ずしもそうではありません。もちろん、非常に難しい問題や幅広い知識が必要な仕事では、大規模なモデルが有利な場合があります。しかし、すべての仕事にそれほど大きな能力が必要とは限りません。

たとえば、「この問い合わせを、質問・苦情・要望の3つに分類してください」という仕事を考えてみましょう。このためだけに、世界中の歴史や高度な数学まで扱える巨大なAIを使う必要があるでしょうか。小さなモデルが十分な精度で分類できるなら、その方が速く、安く動かせるかもしれません。

AIでは、「一番大きなモデルを使う」ことより、仕事に必要な能力を持つモデルを選ぶことが重要になっています。

小さなAIでも賢くできる理由

モデルが小さくても、高い性能を出せる場合があります。その理由の一つが、学習方法の進歩です。単純に大量のデータを入れるだけでなく、質のよいデータを選んだり、特定の能力を重点的に学習させたりする技術が進んでいます。また、大きなAIから小さなAIへ能力を移す方法もあります。

これは「知識蒸留」と呼ばれることがあります。非常に優秀な先生役のAIが作った回答などを利用して、より小さなAIを訓練するイメージです。

さらに、モデル内部の数字を効率よく表現することで、必要なメモリを減らす技術もあります。つまり、AIの性能は単純な「大きさ」だけで決まるものではありません。

スマートフォンの中でAIが動く

小規模言語モデルが注目される大きな理由の一つが、スマートフォンやパソコンなどの端末上で動かせる可能性です。このように、クラウド上の大きなサーバーではなく、手元の端末でAIを動かすことを「オンデバイスAI」と呼ぶことがあります。

たとえば、スマートフォンの中でAIが動けば、次のようなことが考えられます。

• 文章を要約する
• メールの文章を整える
• 写真の内容を整理する
• 音声を処理する
• 簡単な質問に答える

これらを行うたびに、すべてのデータを外部のサーバーへ送る必要がなくなる場合があります。

オンデバイスAIのメリット

AIを端末上で動かすことには、いくつか利点があります。

1. プライバシーを守りやすい

データを外部のAIサービスへ送らず、端末の中だけで処理できれば、個人情報や機密情報を外へ出さない仕組みを作れます。たとえば、個人的なメモや写真などを、端末内だけでAIに整理させることができます。

2. インターネットがなくても使える

モデルが端末内にあれば、インターネットへ接続できない場所でも利用できる場合があります。通信環境が不安定な場所や、外部との通信を避けたい環境でも役立ちます。

3. 応答を速くできる

クラウドへデータを送り、処理結果を受け取る通信時間がありません。端末の性能や処理内容によっては、素早い応答ができます。

4. 利用コストを抑えられる

クラウドAIでは、利用するたびにサーバー側で計算が行われます。大量に利用すると、その計算費用も大きくなります。端末側で処理できれば、クラウドでの計算量を減らせます。

小規模言語モデルの強み

特に、決まった仕事を大量に行うシステムでは、速度と費用の差は大きな意味を持ちます。

小規模言語モデルの弱点

もちろん、小規模言語モデルにも弱点があります。一般的には、非常に複雑な問題や幅広い知識が必要な仕事では、大規模な高性能モデルに及ばない場合があります。

• 複雑な推論が苦手な場合がある
• 幅広い知識では大型モデルに及ばないことがある
• 長い文章を扱える量が少ないモデルもある
• 難しいプログラミングでは性能差が出ることがある
• 多くの条件を同時に処理すると間違いやすくなる場合がある

したがって、小さければよいわけでもありません。重要なのは、仕事に合った大きさを選ぶことです。

大きなAIと小さなAIを組み合わせる

これからのAIでは、「LLMかSLMか、どちらか一つを選ぶ」という形だけではなくなる可能性があります。

仕事によって使い分ける方法です。

たとえば、簡単な文章分類は端末上の小規模モデルで処理します。難しい問題が来た場合だけ、クラウド上の高性能な大規模モデルへ送ります。人間の会社でも、すべての仕事を社長や一番高度な専門家に任せるわけではありません。簡単な仕事は適切な担当者が行い、本当に難しい問題だけ専門家へ回します。

AIでも同じ考え方ができます。

• 簡単な処理 → 小規模モデル
• 難しい推論 → 大規模モデル
• 機密情報 → ローカルモデル
• 最新情報が必要 → クラウドAIや検索

こうした使い分けによって、性能、速度、費用、プライバシーのバランスを取ることができます。

小規模言語モデルとオープンウェイトAIの関係

前回説明したオープンウェイトAIとも深い関係があります。小規模なオープンウェイトモデルなら、自分のパソコンへダウンロードして動かしやすくなります。そのため、ローカルAIを試すときには、小型のオープンウェイトモデルが選ばれることがあります。また、モデルを自分の目的に合わせてファインチューニングすることもできます。

つまり、

• オープンウェイト：モデルを自分で利用できるようにする考え方
• 小規模言語モデル：軽く動かしやすいモデル

という違いがあります。

小規模だから必ずオープンウェイトというわけではありませんし、オープンウェイトだから必ず小規模というわけでもありません。

小規模言語モデルとエージェントAI

エージェントAIでも、小規模言語モデルが役立つ可能性があります。エージェントは、一つの仕事をする間に何度もAIを呼び出すことがあります。

たとえば、

• 問い合わせを分類する
• 使うツールを選ぶ
• 検索結果を確認する
• 簡単な要約を作る

といった処理です。

すべてを最も大きなAIで処理すると、時間や費用が大きくなる場合があります。簡単な判断は小さなモデルに任せ、難しい判断だけ高性能なモデルを使う設計も考えられます。AIが普及するほど、「最高性能のAIを一つ使う」だけでなく、「複数のAIを適材適所で使う」という考え方が重要になります。

仕事では小規模言語モデルが役立つことも多い

会社でAIを使う場合、すべての仕事が難しい推論を必要とするわけではありません。

たとえば、次のような仕事があります。

• 問い合わせを種類別に分ける
• 文章から名前や日付を抜き出す
• 短い文章を要約する
• 決まった形式へ文章を変換する
• 文章がルールに合っているか確認する

こうした仕事では、小規模モデルでも十分な場合があります。もし毎日何万件もの処理を行うなら、1回あたりの小さな費用差でも、全体では大きな違いになります。そのため、企業にとってSLMは単に「性能の低いLLM」ではなく、用途によっては非常に実用的な選択肢です。

SLMを選ぶときは何を見るのか

小規模言語モデルを選ぶ場合も、モデルの大きさだけを見るべきではありません。

• 目的の仕事を正確にできるか
• 日本語に十分対応しているか
• 必要なメモリはどれくらいか
• 回答速度は十分か
• 長い文章をどこまで扱えるか
• 画像や音声も扱えるか
• ライセンスは目的に合っているか
• ファインチューニングできるか

ここでも、第21回で説明したAIベンチマークだけで判断するのではなく、実際にやらせたい仕事で試すことが重要です。

「巨大化」だけがAIの進歩ではない

AIの進歩というと、より巨大なモデルを作ることが注目されがちです。確かに、大規模化はAIの性能向上に大きな役割を果たしてきました。しかし、AIの進歩にはもう一つの方向があります。同じ能力を、より小さく、速く、安く実現することです。これは、コンピューターの歴史でも繰り返されてきました。昔は巨大なコンピューターでしかできなかったことが、やがて家庭のパソコンでできるようになり、さらにスマートフォンでできるようになりました。

AIでも、似た変化が起きています。

巨大なデータセンターだけで動いていた能力の一部が、少しずつ身近な端末へ降りてきています。

まとめ

小規模言語モデルとは、大規模言語モデルより小さく、少ない計算量でも動かしやすい言語AIです。英語ではSmall Language Model、略してSLMと呼ばれます。小規模と大規模の間に厳密な境界があるわけではなく、一般には比較的小さく軽量なモデルを指します。小規模言語モデルは、大規模モデルより高速、低コストで動かしやすく、パソコンやスマートフォンなどで利用できる場合があります。また、端末内で処理できれば、データを外部へ送らない仕組みを作りやすくなります。

一方で、非常に難しい推論や幅広い知識が必要な問題では、大規模モデルの方が優れている場合があります。重要なのは、「一番大きなAIを使うこと」ではありません。その仕事に必要な能力を持つ、適切な大きさのAIを選ぶことです。

これからのAIでは、大規模モデルと小規模モデルを競わせるだけでなく、それぞれの得意分野に合わせて組み合わせる使い方も重要になります。規模言語モデルの進化は、AIをクラウド上の特別なサービスから、スマートフォンやパソコンの中で日常的に動く技術へ近づけています。

次回は、「AIの安全性とは何か」について説明します。

AIが文章を作るだけでなく、検索し、判断し、外部ツールを使って行動できるようになるほど、「何ができるか」だけでなく「何をさせてよいのか」が重要になります。AIの安全性とは何を守るためのものなのかを、やさしく理解していきます。