生成AIに調べ物を頼んだら、それらしい判例や論文を挙げてきた。安心して資料に貼った——でも、その判例はそもそも実在しなかった。こんな事故が、いま世界中で実際に起きています。しかもAIは、嘘を嘘とわかる書き方では出しません。本物の情報と寸分違わない、自信たっぷりの文体で、しれっと混ぜてくる。だから怖いのです。
この「事実に基づかない情報を、もっともらしく生成してしまう現象」を、ハルシネーション(hallucination、幻覚)と呼びます。今回は、なぜこれが起きるのか(実はこれまでの記事が、全部その伏線でした)、なぜ消せないのか、そしてどう付き合えばいいのかを、実際の事故もまじえて整理します。
ハルシネーションとは、生成AIが事実に基づかない情報を、あたかも事実であるかのように生成してしまう現象です。存在しない判例、書かれていない論文、実在しないURL、微妙に違う数値——それらを、本物の情報とまったく同じ自信度・同じ文体で出力します。
厄介なのは、「ここは自信がありません」という顔を一切しないこと。人間なら曖昧なことは口ごもったり「たぶん」と前置きしたりしますが、AIは間違っているときも堂々としています(むしろ間違っているときほど、自信満々なことすらあります)。だから読み手は「変だな」と気づけないまま、資料や顧客対応にそのまま使ってしまう。ここに、ハルシネーションの本当の危うさがあります。
ではなぜ、AIは平気で嘘をつくのか。実はその答えは、この連載でこれまで説明してきたAIの仕組みそのものにあります。
理由1:AIは「正しい言葉」ではなく「それらしい言葉」を選んでいる
生成AIは「考えて」いないで見たとおり、AIは事実のデータベースを引いて答えているのではなく、「この文脈なら次に来そうな言葉」を確率で選んで文章をつむいでいます。つまりAIが得意なのは「もっともらしさ」を作ることであって、「正しさ」そのものは保証されていません。学習データに答えがそのまま無い質問でも、文章として自然な「それらしい回答」を作れてしまう——これが根っこです。
理由2:「わからない」より、答えた方が得をするように育っている
OpenAIが2025年に公開した研究では、AIの学習・評価のしくみ自体が「(間違っていても)自信を持って答える」ことを「わかりません」と答えるより高く評価してしまう構造になっている、と指摘されています。試験で、空欄より適当にでも書いた方が部分点をもらえるかも、というのと同じ。だからAIは「知らないなら黙る」より「推測してでも埋める」方向にクセづきやすいのです。
理由3:知らないこと(カットオフの外)は、推測で埋める
AIは「いつまでの世界」を知っているかで触れたように、AIは学習した時点までの知識しか持ちません。その外側——最新の出来事、社内だけの情報、ニッチな統計——を聞かれると、近そうな情報から推測で埋めてしまいます。
理由4:数値・固有名詞・URLに、特に弱い
文章の自然さは得意でも、「厳密に1つだけ正しい値」が求められる計算・日付・URL・文献情報などは、似た形のもっともらしい値を「作文」しがちです。金額や引用元をAIにそのまま任せるのが危ないのは、このためです。
ここが一番大事なところです。ハルシネーションは、モデルが新しくなれば消えるバグではなく、確率で言葉を選ぶという仕組みがある限り、一定確率で起き続ける仕様です。
だから、「賢いAIを選べば大丈夫」「考えさせれば正確」という発想はいったん捨てて、消えない前提で付き合い方を設計する——これがこの記事の結論の骨です。
とはいえ、すべての作業で神経質になる必要はありません。大事なのは「AIを使うかどうか」ではなく、どこまでAIの答えを鵜呑みにできるかを、仕事ごとに見極めること。目安はこうです。
| リスク | こんな仕事 | 付き合い方 |
|---|---|---|
| 高い | 判例・法令・統計数値の引用、契約条件、顧客への公式回答——正解が1つで、間違いが外に出る/法的な力を持つ | 必ず人間が全てチェック |
| 中くらい | 市場調査のまとめ、競合分析、社内レポートの下書き——社内向けだが判断に影響する | 要点だけ元資料と照合 |
| 低い | アイデア出し、文章のトーン調整、手元にある文章の要約——正解が1つに定まらない/間違っても実害が小さい | そのまま使ってOK |
判断軸はシンプルに、「この答えが間違っていたら、誰にどんな損害が出るか」。損害が「自分の作業のやり直し」で済むならAI単独でいい。でも「対外的な発言」「金額」「法的判断」に関わるなら、必ず人間の原典確認をはさむ。この線引きだけで、事故のほとんどは防げます。
消せない前提で、発生確率を下げ、出てしまった嘘を検知する。実務では次の3つを組み合わせます。
対策1:Web検索やRAGで、AIの「記憶」だけに頼らせない
AIに丸暗記から答えさせるより、「調べてから答えさせる」方が幻覚は減ります。ChatGPT・Claude・GeminiのWeb検索をオンにすると、回答に出典リンクが付き、元ページを確認できます。さらにRAG——社内マニュアルなど決まった資料だけを参照させるしくみ——を使えば、「その資料に無いことは答えない」形に寄せられます。GoogleのNotebookLMのように、アップロードした資料だけを情報源にするツールも有効です。
過信は禁物:検索やRAGを使っても、AIが検索結果を誤読して幻覚が残ることはあります。「出典が付いた=正しい」ではなく「出典を確認できる状態になった」だけ。リンク先を実際に開く習慣はセットです(提示されたURL自体が実在しない、なんてこともあります)。
対策2:プロンプトで出典を求め、自分で検算・自己チェックさせる
指示の書き方でも、かなり抑えられます。効くのは精神論(「嘘をつかないで」)ではなく、具体的な行動の指定です。
- 事実・数値・法令名・文献名には、必ず出典(URL・文献名・年)を明記して
- 出典を示せない情報は、断定せず「未確認」と明記して
- わからないことは「わかりません」とだけ答え、それらしい代替案を作文しないで
回答が出たあと、「いま挙げた事実を1つずつ、『出典で確認できる/推測で未確認』に仕分けして再提示して」と追わせると、あやしい箇所が自分で炙り出されます。数値なら「別の手順でもう一度計算して、2つが一致するか確かめて」と検算させると気づきやすい。
対策3:最後は人間——ファクトチェックを業務の「工程」にする
どれだけ工夫しても、最後の砦は人間です。ポイントは、確認を個人の心がけでなく業務の工程として組み込むこと。
これは大げさな話ではありません。すでに、実害の出た事例があります。
航空会社のチャットボットが誤案内、会社が敗訴。あるお客さまが、航空会社のAIチャットボットの案内どおりに手続きしたところ、その案内が事実と違っていた。裁判所は「チャットボットの回答も会社の公式見解」として、会社の責任を認めました(Air Canada、2024年)。社外向けにAIチャットを置くなら、この前提でルールを作る必要があります。
弁護士が「実在しない判例」を提出して制裁。米ニューヨークの弁護士が、ChatGPTに調べさせた判例6件をそのまま裁判所に提出したところ、それらはすべてAIが作り上げた実在しない判例でした。しかもこの弁護士は事前にChatGPTへ「この判例は本物か」と念押しし、AIは「本物です」と答えていた——その確認ごと、丸ごと作り話だったのです。裁判所は弁護士に制裁を科しました(Mata v. Avianca、2023年)。専門家ですら「AIがそれらしく出してきたから」で確認を怠ると、足をすくわれるという教訓です。
次にAIへ数値や引用を含む回答を頼むときは、「出典を明記して」と一言そえて、出てきたURLを1つだけでも開いてみてください。その一手間が、「もっともらしい嘘」から身を守る、いちばん確実な習慣です。
ハルシネーションが起きる仕組み
最新モデルでも幻覚は残る(要約タスクで数%)
航空会社チャットボットの誤案内で会社が敗訴
弁護士が架空の判例を提出して制裁
AIを「安全に」使いこなすチームへ
パンハウスの生成AI研修では、AIの仕組みからリスク管理・ファクトチェック・業務活用まで体系的に学べます。「なんとなく怖い」から「リスクを見極めて使う」へ。お気軽にご相談ください。
この記事を書いた人
© 2026 panhouse Inc. All rights reserved.