LLMハルシネーション(Hallucination)現象と緩和技法

1. 概要

A. 定義と登場背景

LLMハルシネーション(Hallucination)とは、大規模言語モデルが事実と異なる、あるいは提示された根拠に合致しない内容を、あたかも真であるかのように流暢かつ自信を持って生成する現象である。単なる誤字や文法エラーではなく、もっともらしい形式を備えながら内容の真実性(truthfulness)が欠如した出力である点が核心である。

LLMは膨大なコーパスから「次トークンの確率分布」を学習した確率的言語生成器である。モデルの目的関数は「事実を述べよ」ではなく「学習分布から最ももっともらしい次トークンを予測せよ」に合わせられている。したがってモデルは知識の空白に出会ったときも、沈黙したり「分からない」と答えたりするより、統計的に自然な文をつなぎ合わせて空欄を埋めようとする傾向を示す。この構造的特性がハルシネーションの根本原因である。

重要な点は、ハルシネーションがモデルの「嘘をつこうとする意図」から生じるのではなく、真実性に対する内部表象なしに形式的もっともらしさのみを最適化した結果であるということである。モデルは自分が知っていることと知らないことを明確に区別する装置を基本的に備えておらず、ゆえに知っている質問と知らない質問に同じ流暢さで答える。ハルシネーション緩和が難しい根本理由もここにある — 問題の根が特定のバグではなく生成パラダイム自体に内在するからである。

ハルシネーションが重要な問題として浮上した理由は、LLMの活用範囲が相談・検索補助を越えて医療・法律・金融・公共行政など高リスク(high-stakes)領域へ拡大したからである。流暢な虚偽はユーザーが誤りに気づきにくくし、誤った意思決定・法的責任・ブランド信頼の毀損へ直結する。実際にある弁護士がChatGPTが作り上げた偽の判例を法廷に提出して制裁を受けた事例(2023年、米国)は、ハルシネーションが抽象的リスクではなく具体的損失であることを示している。

2025年9月にOpenAIが発表した「Why Language Models Hallucinate」は、ハルシネーションをモデルの欠陥ではなく学習・評価体系が作り出した誘因(incentive)の産物として再解釈し注目された。正答率(accuracy)のみでモデルを採点すると、分からない問題に対して「分からない」と答えるより当て推量で当てにいく戦略が点数上有利になる。すなわちベンチマークが不確実性の表明を罰し自信ある推量を報酬する限り、モデルはハルシネーションを学習することになる、ということである。これはハルシネーション対応がアルゴリズムのみならず評価設計とガバナンスの問題であることを示唆する。

B. 必要性と特徴

ハルシネーション緩和が必要な理由は、信頼性(Reliability)がLLMサービスの採用と普及を左右する一次品質要素だからである。いくら要約・翻訳・コーディングの生産性が高くても、一度の致命的な虚偽情報が発生すれば組織は当該システムを運用から排除する。特に規制産業では説明可能性・追跡性・検証可能性が導入条件であるため、出力の事実性を担保できないモデルはパイロット段階を越えられない。

ハルシネーションの特徴は三つに要約される。第一に流暢さと誤りの共存であり、文は滑らかだが内容は誤っており、表面上は誤りを識別しにくい。第二に自信の過剰(overconfidence)であり、モデルが誤った答えにも高い確信を与えてユーザーの警戒心を下げる。第三に非決定性と再現困難であり、同じ質問にも毎回異なるハルシネーションが現れ、事前テストですべて濾し取ることが難しい。この三つが結合してハルシネーションは「検知・緩和は可能だが完全除去は不可能」な難題となる。

したがって現実的な目標はハルシネーションの完全撲滅ではなく許容可能な水準への制御である。リスク度に応じて差別化された防御線を設計し、残るリスクは人の検討・出典表記・免責告知で管理するリスクベースのアプローチが技術士的な定石である。

一方、ハルシネーションを「除去すべきバグ」とのみ見る視点は一面的である。小説・アイデア発想・ブレインストーミングのように創造性が価値である課題では、事実に縛られない自由な生成がむしろ効用となる。すなわちハルシネーションと創造性は同一の確率的生成能力の両面であり、問題の本質は「事実性が要求される文脈で制御されないこと」である。ゆえに緩和の目標も生成能力を殺すことではなく、課題の性格(事実ベース vs 創造)に応じて事実性拘束の強度を調節する文脈認知型の制御として設定されるべきである。

2. ハルシネーションの類型と発生メカニズム

ハルシネーションの類型をまず区別する理由は、類型を特定してこそ正しい緩和策と評価指標を選べるからである。同じ「誤った答え」でも、世界の事実と食い違うのか、与えられた文書と食い違うのかに応じて処方が正反対になる。以下では代表的な分類軸に沿ってハルシネーションを分けてみる。

ハルシネーションは「何に照らして誤っているか」に応じて大きく二つに分かれる。一つは世界の事実に反する事実性(Factuality)ハルシネーションであり、もう一つは提示された入力・文脈・根拠文書に反する忠実性(Faithfulness)ハルシネーションである。要約課題で原文にない内容を作り出すのが後者の典型である。また入力情報自体を歪める内在的(intrinsic)ハルシネーションと、入力にない外部情報を恣意的に付け加える外在的(extrinsic)ハルシネーションにも区別する。この分類が重要な理由は類型ごとに有効な緩和策が異なるからである — 事実性ハルシネーションは外部知識連結(RAG)が、忠実性ハルシネーションは根拠拘束(grounding)・制約デコーディングが有効である。

以下の構造図はハルシネーションがLLMパイプラインのどの地点から生じるかを全体的に俯瞰する。データ・学習・推論・評価の各段階がハルシネーションの異なる源泉として作動する。

flowchart TB
  subgraph DATA["データ段階"]
    D1["学習コーパスの誤り・偏り・旧式情報"]
    D2["知識の空白(ロングテール・最新事象)"]
  end
  subgraph TRAIN["学習段階"]
    T1["確率的目的関数(次トークン予測)"]
    T2["RLHFの迎合(sycophancy)誘因"]
  end
  subgraph INFER["推論段階"]
    I1["サンプリングデコーディングの無作為性"]
    I2["文脈窓の限界・プロンプトの曖昧性"]
  end
  subgraph EVAL["評価段階"]
    E1["正答率中心の採点(推量を報酬)"]
  end
  DATA --> OUT["ハルシネーション出力(流暢な虚偽)"]
  TRAIN --> OUT
  INFER --> OUT
  EVAL -.誘因を提供.-> TRAIN

データ面ではハルシネーションは学習コーパスの誤り・偏り・時宜性不足から芽生える。モデルが学んだことのないロングテール知識や、学習時点以降の最新事象(知識カットオフ以降)については根拠がなく作り出すほかない。例えば特定人物の生年や新製品の仕様のように「希少で頻繁に変わる事実」はハルシネーションの常連領域である。コーパスに一度しか登場しない事実は統計的信号が弱く、モデルがこれを安定して記憶できず似たパターンの別の値で置き換えてしまう傾向がある。OpenAIの研究がハルシネーションの相当部分を「学習データでまれに現れる事実」と結びつけるのもこのためである。

学習面では先に説明した確率的目的関数が一次原因である。これに人間フィードバックに基づく強化学習(RLHF)が「ユーザーが好む答え」を報酬することで、モデルが正確性より耳に心地よい答え(迎合・sycophancy)を出すよう偏りうる。ユーザーが誤った前提を敷いて質問すると、モデルがその前提に迎合して誤った答えを確信を持って出す現象が代表的である。

推論面では多様性のために導入した確率的デコーディング(temperature・top-pサンプリング)が事実性を揺らす。温度を上げれば創造性は増すが逸脱トークンが選択される確率も大きくなる。また文脈窓の限界で長い文書の中間情報が失われたり(lost-in-the-middle)、曖昧なプロンプトがモデルの恣意的補完を誘発する。

評価面は最も見過ごされやすい源泉である。OpenAIのSimpleQA事実性測定で、推量をほとんどせず約半分を「分からない」と留保したモデル(gpt-5-thinking-mini系)は誤答率が約26%水準であった一方、ほとんど留保せず大部分を当て推量した旧型モデル(o4-mini系)は正答率は同程度だったが誤答率が約75%まで跳ね上がった。正答率という一指標だけを見れば両者の差は小さく見えるが、「誤って答えた割合」で見れば戦略的推量がハルシネーションを大量に生み出すという事実が露わになる。これはハルシネーションがデータ・学習・推論のみの問題ではなく何を報酬するよう採点するかの問題であることを明確に示す。

このようにハルシネーションは単一段階の欠陥ではなく、データ・学習・推論・評価が鎖のように絡み合って生み出すシステム的現象である。したがってどこか一点だけ手を入れる局所処方では再発しやすく、後で扱うように生成前・中・後を貫く多層防御と評価体系の再設計が共に進んでこそ効果が持続する。

3. ハルシネーション緩和技法 — 生成前・中・後の多層防御

緩和技法を層に分けて見る理由は、ある一段階の処方だけでは別の段階で生じたハルシネーションを防げないからである。良い根拠を入れても(生成前)デコーディングが揺れれば(生成中)ハルシネーションが出て、生成中の制御が完璧でもそもそも知識がなければ(生成前の空白)無力である。したがって防御は単一地点ではなく鎖全体にわたって重ねられねばならない。

ハルシネーションは単一技法では解決されず、生成前(入力補強)・生成中(制御)・生成後(検証)の三つの層で防御線を重ねることが効果的である。以下のプロセス図は質問が入ってきて応答が出るまで各段階に配置される緩和装置を示す。

flowchart LR
  Q["ユーザー質問"] --> PRE["生成前: RAG検索・プロンプト設計"]
  PRE --> GEN["生成中: 制約デコーディング・CoT・不確実性補正"]
  GEN --> POST["生成後: 自己検証(CoVe)・事実性採点"]
  POST --> GATE{"信頼度の閾値を通過?"}
  GATE -->|"はい"| ANS["出典付き応答を提供"]
  GATE -->|"いいえ"| ABSTAIN["分からない応答・人の検討へ転換"]

生成前(Pre-generation)防御の核心は検索拡張生成(RAG)である。質問時点で外部知識ベース・文書から関連根拠を検索しプロンプトへ注入すると、モデルはパラメータ記憶ではなく提示された根拠に拘束されて答える。これは知識カットオフ・ロングテール問題を直接攻略し、出典(citation)を併せて提示して検証可能性まで高める。ただし検索品質が悪ければかえって誤った根拠でハルシネーションを強化しうるため、リランキング・根拠一致検査が併行されねばならない。併せて用いるプロンプト設計も一次防御として意味がある — 役割・範囲・根拠使用規則(「提供文書になければ分からないと答えよ」)を明示すればモデルの恣意的補完を相当部分抑制できる。

生成中(In-generation)防御は推論過程自体を制御する。思考連鎖(Chain-of-Thought)で段階的推論を誘導すれば論理的飛躍を減らせ、制約デコーディング・低い温度・構造化出力(JSONスキーマ)で逸脱を抑える。さらに不確実性補正(calibration)を通じてモデルが確信の低いとき「分からない」と答えるよう誘因を再設計することがOpenAIの研究が提示した方向である。ただしCoTは推論の長さが増すほどコストが増加し、時には誤った中間推論がもっともらしい誤答を正当化する逆効果もあるため、課題難度に応じて選択的に適用せねばならない。

生成後(Post-generation)防御は出力を事後検証する。検証連鎖(Chain-of-Verification, CoVe)はモデルが自ら検証質問を作って答えを交差確認した後に修正させ、自己一貫性(Self-Consistency)は複数の標本を抽出し多数決で安定化する。検知技法としては追加根拠なしに複数応答の一貫性でハルシネーションを捉えるSelfCheckGPT、出力を原子的事実単位に分けて根拠対比の正確度を採点するFActScoreが代表的である。

最後の砦は運用段階のガードレールと人の介入(HITL)である。ガードレールは出力に禁則・事実性規則を適用して危険な応答を遮断・修正し、信頼度が閾値に満たなければ応答を保留して人の検討へ転換する。医療相談補助のように誤りのコストが大きい領域では「モデルが草案を作り専門家が承認する」構造に設計し、ハルシネーションが最終ユーザーに到達する前に濾し取る。これは技術的緩和が残した残余リスクを組織プロセスで吸収する装置である。

以下の表は代表的な緩和・検知技法を防御層別に整理したものである。各技法は攻撃するハルシネーション類型とコスト・限界が異なるため、サービスのリスク度に合わせて組み合わせる。

層	代表技法	主な攻略対象	限界・コスト
生成前	RAG・知識グラフ連結	事実性(知識空白)	検索品質に依存、遅延・インフラ
生成前	プロンプト設計・役割指定	忠実性・曖昧性	効果限定的、変動性
生成中	CoT・制約デコーディング・低い温度	推論飛躍・逸脱	多様性低下
生成中	不確実性補正・abstain	過剰確信	再現率↓(過度な拒否)
生成後	CoVe・自己一貫性	事実性・一貫性	推論コスト数倍増加
生成後	SelfCheckGPT・FActScore	検知・点数化	自動評価の信頼度
運用	ガードレール・人の検討(HITL)	残余リスク	コスト・速度

4. 比較 — なぜ技法ごとに効果が異なるか

RAGとファインチューニングはしばしば比較されるが攻略地点が異なる。ファインチューニングはモデルの文体・形式・ドメイン適応に強いが、知識を「暗記」させる方式ゆえ最新性・検証可能性には脆弱である。逆にRAGは知識を外部化して更新が容易で出典追跡が可能だが、検索失敗時はそのまま崩れる。したがって「頻繁に変わる事実」はRAGで、「一貫した口調・形式」はファインチューニングで扱い、高リスクサービスは両者を結合するのが実務の定石である。

プロンプトベース技法と検索・検証ベース技法の間にも根本的なコスト対効果の差がある。プロンプト設計(「根拠がなければ分からないと答えよ」のような指示)はコストがほとんどなく即時適用可能だが、モデルの自発的遵守に依存するため効果が不安定で敵対的質問に容易に破られる。一方RAG・CoVeは外部根拠や追加推論で事実性を構造的に強制して効果が大きく安定的だが、インフラ・遅延・推論コストを伴う。この差が生じる理由は前者が「モデルに頼む」一方、後者は「モデルを拘束する」からであり、信頼が重要なほど頼みから拘束へ重みを移すのが合理的である。

緩和技法の効果の差は結局「ハルシネーションの根をどこで断つか」から生じる。実際にCoT・RAG・自己一貫性・自己検証を結合した2025年の実験(arXiv 2505.09031)では、RAGとCoTに自己検証を加えた構成がHaluEval基準でハルシネーション率を大きく下げ(GPT-3.5-Turboで約11%水準)、FEVER・TruthfulQAでも最も安定した性能を示した。これは外部知識拘束(RAG)と事後検証を結合するとき相互補完効果が最も大きいという直観を裏づける。ただし単一論文の結果ゆえ数値は参考値として見るべきであり、検証段階が増すほど推論コストと遅延が数倍増加するトレードオフが存在する。

評価面でもベンチマークごとに測定対象が異なる。TruthfulQAは人がよく信じる誤解をモデルが追随するかを、HaluEvalはハルシネーション標本の識別能力を、FEVERは主張-根拠間の事実検証を測定する。一つの点数でハルシネーションを断定できないため、サービス特性に合う複数指標と運用中の実データモニタリングを併行せねばならない。

産業適用の観点でも緩和戦略の選択はドメイン特性に応じて分かれる。例えば顧客支援チャットボットはFAQ・約款・製品マニュアルをRAG知識ベースに束ねて「根拠のない答えはしない」原則を強制するのが一次防御となる。一方コードアシスタントは生成したコードをコンパイル・テスト実行という外部検証ツールで即時に事実性を確認でき、自己検証よりツール連動(tool use)がより強力な緩和策となる。このように「そのドメインで事実を安価に検証する手段は何か」をまず探すことが技法選択の出発点である。

またハルシネーションは緩和技法の間の相互作用まで考慮せねばならない。RAGで根拠を入れてもモデルが根拠を無視してパラメータ記憶を優先すれば忠実性ハルシネーションが残り、自己検証を過信すれば誤った答えを「検証通過」と包装する二次ハルシネーションが生じうる。したがって各技法を独立的に積むより、根拠-応答の一致度を別のモデルで採点するなど防御線の間の交差検証を設計に含めてこそ実質的な信頼度が確保される。

5. 深化 — 評価誘因の再設計とAIガバナンス連携

ハルシネーション問題の最新の議論はアルゴリズムから評価・制度設計へ重心が移りつつある。OpenAIの2025年の研究は「モデルを推量させるのはベンチマークの採点方式である」と指摘し、不確実性の表明にペナルティを与えず誤答には減点、留保には中立を与える採点体系へ転換することを提案する。実際にGPT-5系の推論モデルは「分からない」と留保する割合を高める代わりに誤答率を下げる方向に設計され、留保と正確性の間の均衡を再調整した事例として紹介される。

この観点は技術士試験でしばしば扱われるAI信頼性(Trustworthiness)・AI倫理・ガバナンス主題と直接つながる。EU AI Actは高リスクAIに対し正確性・堅牢性・透明性の要件を課し、国内でもAI基本法・信頼できるAIガイドラインがハルシネーションによる虚偽情報リスクを管理対象として明示する流れである。したがって組織はハルシネーションを単なる技術バグではなくモデルのライフサイクル全般のリスク管理項目として組み込み、MLOps/LLMOpsパイプラインにハルシネーション監視・レッドチーム・事故対応手順を内蔵せねばならない。予想される出題方向としては「LLMサービスのハルシネーションリスクを緩和するためのアーキテクチャ(RAG)とガバナンス体系を説明せよ」のように技術+管理の統合叙述を要求する問題が有力である。

最新の技術動向もハルシネーション緩和を狙って進化している。推論特化モデル(reasoning model)は答えを出す前に内部的により長い思考過程を経て事実性を高め、ツール使用(tool use)・関数呼び出しで計算・検索・DB照会を外部へ委ねて「記憶に依存した推量」を減らす。また複数のエージェントが生成・批判・検証の役割を分担するマルチエージェント検証構造が高リスク応用で広がっている。これらは共通して「モデル一人で記憶から答えさせず、外部根拠・ツール・同僚検証に拘束する」原理を共有しており、この方向性が当面ハルシネーション緩和技術の主流となる見通しである。

6. 考慮事項および示唆点

第一に、リスクベースの差別化設計である。 すべての応答に最高水準の検証を適用すればコスト・遅延が暴騰する。質問のリスク度(医療・法律 vs ブレインストーミング)に応じてRAG・CoVe・人の検討の適用強度を差別化し、低リスク領域は軽いガードレールで、高リスク領域は多層検証と出典の義務表記で設計するのが合理的である。

第二に、緩和と有用性のトレードオフである。 ハルシネーションを減らそうと過度に「分からない」を誘導すれば応答拒否が増えてユーザー効用が急減する(過剰留保)。逆に有用性のみ追えばハルシネーションが増える。技術士は再現率(どれだけ答えるか)と精度(どれだけ合うか)の均衡点をサービス目標に合わせて設定し、不確実性補正でその境界を運用可能に扱わねばならない。

第三に、検証可能性と責任所在の制度化である。 出典表記・根拠リンク・信頼度点数をUIに露出してユーザーが自ら検証するのを助け、最終判断の責任が人にあることを明確にする説明・免責・監査追跡体系を備えねばならない。これは規制対応であり信頼構築の核心である。

第四に、持続運用と連携技術である。 知識は絶えず変わるためRAG知識ベースの更新、ハルシネーション事故ログの分析、周期的レッドチーム・ベンチマーク再測定をLLMOpsルーチンとして定着させねばならない。またハルシネーション緩和はRAG・知識グラフ・マルチエージェント検証・ガードレールのような隣接技術と結合するとき効果が極大化するため、全体のAIアーキテクチャ設計の初期から防御層を共に設計するのが望ましい。

これとともに、ハルシネーション対応はユーザー教育とインターフェース設計という人的要因(human factor)まで包括せねばならない。いくら緩和しても残余ハルシネーションは残るため、ユーザーが「AI出力は検証が必要な草案」という認識を持つようUIに信頼水準・根拠を明示し、重要な意思決定は出典原文を直接確認するよう誘導する設計が必要である。技術的緩和とユーザーリテラシーが結合してこそ、はじめて実質的な安全が確保される。

第五に、評価文化の転換である。 組織内部のモデル評価でも「正答率一位」のみを追えば現業でハルシネーションが再発する。留保・不確実性の表明を正当に認める採点基準と、実使用データに基づく常時測定体系を導入して評価が作り出す誘因自体を正しく設計することが根本的な処方である。

参考資料

OpenAI, "Why Language Models Hallucinate" (2025.09), https://openai.com/index/why-language-models-hallucinate/
Ji et al., "Survey of Hallucination in Natural Language Generation", https://arxiv.org/abs/2202.03629
Manakul et al., "SelfCheckGPT", https://arxiv.org/abs/2303.08896
Min et al., "FActScore", https://arxiv.org/abs/2305.14251
Dhuliawala et al., "Chain-of-Verification Reduces Hallucination in LLMs", https://arxiv.org/abs/2309.11495
"Improving the Reliability of LLMs: Combining CoT, RAG, Self-Consistency, and Self-Verification", https://arxiv.org/abs/2505.09031

一言まとめ: LLMハルシネーションは確率的言語生成の構造と正答率中心の評価誘因が結合して発生する「流暢な虚偽」であり、完全除去より、RAG(生成前)・制約デコーディングと不確実性補正(生成中)・検証連鎖と事実性採点(生成後)の多層防御とリスクベースのガバナンスで許容水準まで制御することが技術士的な定石である。