ハルシネーションとは何か――AIがもっともらしい間違いをする理由をやさしく理解する

前回は、「プロンプトとは何か」について説明しました。

プロンプトとは、AIに対する質問や指示のことです。AIは、こちらの頼み方によって答え方が大きく変わります。

しかし、どれだけ上手にプロンプトを書いても、AIがいつも正しい答えを出すとは限りません。

生成AIを使ううえで、必ず知っておきたい注意点があります。

それが、ハルシネーションです。

一言でいうと、ハルシネーションとは、AIが事実ではない内容を、もっともらしく答えてしまう現象のことです。

たとえば、存在しない本を紹介したり、実際にはない法律を説明したり、間違った数字を自信ありげに答えたりすることがあります。

文章としては自然なので、読む側が気づきにくいこともあります。

だからこそ、ハルシネーションを理解しておくことはとても重要です。

ハルシネーションとは何か

ハルシネーションは、英語の hallucination から来ている言葉です。

もともとは「幻覚」という意味があります。

AIの世界では、AIが実際には存在しない情報や、正しくない内容を、まるで本当のことのように出力してしまう現象を指します。

たとえば、次のようなものです。

• 存在しない人物の発言を作ってしまう
• 実在しない本や論文を紹介してしまう
• 会社名や商品名を間違える
• 日付や数字を間違える
• 法律や制度の内容を古い情報で説明してしまう
• 実際には確認できない出典を示してしまう

ここで問題なのは、AIの答えが明らかに変なら気づけますが、ハルシネーションは一見すると自然に見えることが多いという点です。

間違っているのに、文章としてはとても上手にまとまっている。

これがハルシネーションの怖いところです。

AIはなぜもっともらしい間違いをするのか

AIがハルシネーションを起こす理由を理解するには、これまでの回で説明した内容を思い出す必要があります。

大規模言語モデルは、大量の文章から言葉のパターンを学び、次に続く言葉を予測しながら文章を作ります。

つまり、AIは基本的に「正しい事実を記録した辞書」ではありません。

AIは、入力された文章に対して、どのような答えが自然かを計算しながら文章を作っています。

そのため、情報があいまいなときや、AIが十分な材料を持っていないときでも、自然な文章を作ろうとします。

その結果、事実ではない内容を、それらしい形で補ってしまうことがあります。

人間でたとえるなら、よく知らない話題について聞かれたときに、知っている言葉や雰囲気をつなぎ合わせて、それらしい説明をしてしまうようなものです。

もちろん、人間なら「わかりません」と言うこともできます。

AIも「わかりません」と答えることはありますが、常にそうできるとは限りません。

特に、プロンプトの書き方や質問の内容によっては、AIが答えを作ろうとしてしまうことがあります。

ハルシネーションは「嘘」と同じなのか

ハルシネーションを「AIが嘘をついた」と表現することがあります。

しかし、厳密にいうと、人間の嘘とは少し違います。

人間の嘘は、本人が本当ではないと知りながら、相手をだますために言うものです。

一方、AIには人間のような意図や悪意があるわけではありません。

AIは、事実を知ったうえでだましているというより、入力に対して自然な文章を生成した結果、間違った内容を出してしまうことがあります。

そのため、ハルシネーションは「AIの悪意ある嘘」というより、生成AIの仕組みから起こりうる、もっともらしい誤回答と考える方が正確です。

ただし、使う側から見ると、結果として間違った情報が出てくることに変わりはありません。

だからこそ、「AIが悪気なく間違えることがある」と理解しておく必要があります。

どんな場面でハルシネーションが起きやすいのか

ハルシネーションは、どのような質問でも起こる可能性があります。

ただし、特に起きやすい場面があります。

たとえば、「この会社の最新の売上を教えて」と聞いた場合、AIが古い情報をもとに答えてしまうことがあります。

また、「このテーマに関する論文を5本紹介して」と聞いた場合、実在しない論文タイトルを作ってしまうこともあります。

特に、日付、金額、人数、法律名、論文名、URL、引用文などは注意が必要です。

ハルシネーションの例

ハルシネーションのイメージをつかむために、いくつか例を見てみましょう。

たとえば、AIに「ある人物の有名な発言を教えて」と聞いたとします。

AIが、その人物が言いそうな自然な言葉を作ってしまうことがあります。

文章としては名言のように見えますが、実際にはその人物が言った記録がないかもしれません。

また、「この本の内容を要約して」と聞いたとき、AIがその本を正確に知らない場合、タイトルや著者名から内容を推測して要約してしまうことがあります。

実際の本の内容とは違っていても、自然な要約に見えることがあります。

さらに、プログラムの相談でも、存在しない関数やライブラリの使い方を説明してしまうことがあります。

このように、ハルシネーションは文章だけでなく、調査、学習、仕事、プログラミングなど、さまざまな場面で問題になります。

ハルシネーションを完全になくすことはできるのか

現在の生成AIでは、ハルシネーションを完全になくすことは難しいです。

AIの性能は向上していますし、検索機能や外部データとの連携によって、間違いを減らす工夫も進んでいます。

しかし、生成AIは文章を作る仕組みを持っているため、状況によっては事実ではない内容を生成してしまう可能性があります。

つまり、ハルシネーションは単なるバグではなく、生成AIの性質と関係しています。

だからこそ、AIを使う側が「AIは間違えることがある」と理解しておくことが大切です。

AIをまったく信用しないという必要はありません。

しかし、AIの答えを何でもそのまま信じるのも危険です。

大切なのは、AIを便利な下書きや相談相手として使い、重要な部分は確認するという姿勢です。

ハルシネーションを減らすための工夫

ハルシネーションを完全になくすことは難しくても、減らすための工夫はできます。

まず、プロンプトを具体的にすることです。

あいまいな質問をすると、AIが不足している情報を補ってしまいやすくなります。

たとえば、「この件について教えて」ではなく、「この文章に書かれている範囲だけをもとに説明してください」と伝えると、AIが勝手に情報を広げにくくなります。

また、出典が必要な場合は、「出典が確認できない場合は、わからないと答えてください」と指示するのも有効です。

• 質問を具体的にする
• 根拠にしてよい情報を指定する
• わからない場合はわからないと答えるように指示する
• 最新情報は検索や公式情報で確認する
• 数字や固有名詞は必ず確認する
• 法律・医療・金融などは専門家の確認を前提にする

AIに「正確に答えてください」と言うだけでは不十分な場合があります。

それよりも、「以下の資料だけを根拠にしてください」「推測で補わないでください」「不明な点は不明と書いてください」のように、具体的に指示する方が効果的です。

確認が必要な情報の見分け方

AIの答えをすべて疑い続けるのは大変です。

そこで、特に確認すべき情報を知っておくとよいです。

次のような情報は、AIの答えをそのまま使わず、別の方法で確認することをおすすめします。

• 日付
• 金額
• 人数
• 法律名
• 制度の内容
• 医療や健康に関する情報
• 会社名や商品名
• 論文名や本のタイトル
• 引用文
• URL

これらは、少し間違えるだけでも大きな問題につながることがあります。

たとえば、イベントの日付を間違えれば、参加者に迷惑がかかります。

商品の価格を間違えれば、トラブルになるかもしれません。

法律や医療情報を間違えれば、深刻な影響が出ることもあります。

そのため、AIが自然な文章で答えていたとしても、重要な情報は必ず確認しましょう。

AIの答えを確認する方法

AIの答えを確認するには、いくつかの方法があります。

• 公式サイトを見る
• 一次情報にあたる
• 複数の信頼できる情報源で確認する
• 日付が新しい情報か確認する
• 専門家に確認する
• AIに「根拠はどこか」と聞く

ここで大切なのは、AIに根拠を聞いた場合でも、その根拠自体が正しいか確認する必要があるということです。

AIが示した出典が実在しないこともあります。

そのため、出典名やURLが出てきた場合でも、本当に存在するか、内容が一致しているかを確認する必要があります。

特に重要な情報では、公式サイト、行政機関、企業の発表、論文の原文など、できるだけ一次情報を見ることが大切です。

ハルシネーションとRAG

ハルシネーションを減らす方法の一つとして、RAGという技術があります。

RAGとは、AIに外部の資料を検索させ、その情報をもとに回答させる仕組みです。

たとえば、会社のマニュアルやFAQをAIに参照させ、その内容に基づいて答えさせるような使い方があります。

AIが何も見ずに答えるよりも、実際の資料を見ながら答えた方が、間違いを減らしやすくなります。

ただし、RAGを使えばハルシネーションが完全になくなるわけではありません。

検索で取り出した資料が間違っていたり、AIが資料の読み取り方を間違えたりすることもあります。

それでも、根拠となる資料を与えて回答させることは、ハルシネーション対策として重要です。

RAGについては、後の回で詳しく説明します。

ハルシネーションを怖がりすぎる必要はない

ハルシネーションは、生成AIを使ううえで大きな注意点です。

しかし、だからといって、AIを使わない方がよいということではありません。

人間も間違えます。

本やインターネットの記事にも間違いがあることがあります。

大切なのは、AIを「絶対に正しい存在」として扱わないことです。

AIは、文章を作ったり、考えを整理したり、アイデアを出したりするのが得意です。

その一方で、事実確認が必要な場面では、人間の確認が必要です。

AIを使うときは、次のように考えるとよいでしょう。

AIは、答えを完成させる機械ではなく、考えるための材料を出してくれる道具である。

この考え方を持っていれば、AIを怖がりすぎず、かといって信じすぎず、うまく使うことができます。

まとめ

ハルシネーションとは、AIが事実ではない内容を、もっともらしく答えてしまう現象です。

AIの文章は自然に見えるため、間違っていても気づきにくいことがあります。

ハルシネーションは、AIが悪意を持って嘘をついているというより、生成AIの仕組みから起こりうる誤回答です。

特に、最新情報、数字、固有名詞、法律、医療、論文、引用、URLなどは注意が必要です。

ハルシネーションを減らすには、プロンプトを具体的にし、根拠にする情報を指定し、重要な情報は必ず確認することが大切です。

AIは非常に便利な道具ですが、万能ではありません。

AIの答えを出発点として使い、最後の確認や判断は人間が行う。

この姿勢が、生成AIを安全に使うための基本になります。

次回は、「ニューラルネットワークとは何か」について説明します。

ニューラルネットワークは、現代のAIを支える基本的な仕組みです。AIがどのように学習し、パターンを見つけているのかを、できるだけやさしく説明します。

追記

ここにChatGPTがいかに優れたAIかを示す好例があります。

この絵はChatGPTに、このブログ記事のキャッチ画像を描くように依頼した際に最初に出してきた画です。

日本で一番高い山は→富士山です→×→北岳です→〇。

思い切り間違えた画を出して、これぞハルシネーションの好例をビジュアルで提示してくれました。
さすがチャッピー！やることが粋です。

皆さんもハルシネーションにはお気を付け下さい。