← 一覧へ
AI・データ
#불확실성 정량화#예측 집합#커버리지 보증#분포 무관#CQR
最終更新 · 2026-11-18

コンフォーマル予測(Conformal Prediction)

1. 概要

A. 定義

任意の予測モデルが出した点推定を、交換可能性(exchangeability) の仮定のもとで利用者が指定した信頼水準 $1-\alpha$ を有限標本でも数学的に保証する、予測集合(分類)または予測区間(回帰) に変換する、モデルに依存しない(model-agnostic)分布非依存(distribution-free)の不確実性定量化フレームワークである。

コンフォーマル予測の核心的な発想は、「モデルが一点で『正解は7である』と断定する代わりに、『正解は95%の確率でこの範囲(またはこの候補集合)の中にある』とカバレッジを保証しながら答えるように包むこと」である。重要なのは、この保証がデータ分布の形(正規性など)やモデルが正しいか否かと無関係に成立する点である。モデルがどれほど粗くてもカバレッジ自体は守られ、モデルが良いほど予測集合が狭くなって有用性(efficiency) が上がるだけである。すなわちコンフォーマル予測は精度を高める技法ではなく、既存モデルの出力に信頼できる誤差保証をかぶせる後処理(wrapper) 層である。

B. 登場背景および必要性

深層学習モデルはsoftmax確率を出すが、この値は実際の正解確率とずれる場合が多い。特に現代のニューラルネットは過信(overconfidence) の傾向があり、0.99の確信で誤る事例がよくある。医療診断、自動運転、信用評価、創薬スクリーニングのように誤判定のコストが大きい領域では、「モデルがどれほど確信するか」ではなく「その確信を信じてよいか」についての検証可能な保証が求められる。ベイズニューラルネットやMC Dropoutのような既存の不確実性技法は、事前分布・近似の仮定に依存し、カバレッジを数学的に保証できない。一方でコンフォーマル予測は較正用データさえあればどんなモデルにも事後的に適用でき、有限標本で $\Pr(Y_{n+1} \in \hat{C}(X_{n+1})) \ge 1-\alpha$ を厳密に保証する。近年のLLMの幻覚(hallucination)問題と信頼できるAI(Trustworthy AI)の規制の流れが重なり、「答えを出しつつ誤るリスクを制御可能な形で提示する」手段として学界・産業で急浮上した。

C. 特徴

コンフォーマル予測の性格は四つのキーワードで要約される。第一は分布非依存(distribution-free) で、データがどの分布に従うかを仮定せず交換可能性のみを要求する。第二はモデル非依存(model-agnostic) で、線形回帰から勾配ブースティング、巨大なニューラルネット、さらにはLLMまで、出力さえあれば包める。第三は有限標本保証(finite-sample) で、「標本が無限に多ければ」という漸近的な但し書きなしに、今もっている較正集合の規模でカバレッジが成立する。第四は後処理(post-hoc) で、すでに配備されたモデルを再学習せず推論の後に薄く付け足せる。この四つの性格が結びつき、コンフォーマル予測は「精度はそのままにしつつ信頼性だけを事後にかぶせる」実用的な層として位置づけられる。

2. 動作原理と中核概念

flowchart LR
  TR["学習データでモデルfを学習"] --> CAL["較正集合(Calibration Set)"]
  CAL --> SC["非適合度スコア s=score(x,y) を計算"]
  SC --> Q["(1-α) 分位点qを推定"]
  Q --> TEST["新規入力 x_new"]
  TEST --> SET["予測集合 C(x_new) を構成: s(x_new,y)≤q のyを収集"]
  SET --> OUT["1-α カバレッジ保証された集合/区間"]

コンフォーマル予測の骨格は非適合度スコア(nonconformity score) と分位点しきい値(quantile threshold) の二つである。まずモデル $f$ を学習データで訓練する。次に学習に使われなかった較正集合(calibration set) の各標本 $(x_i, y_i)$ について、「この標本がモデル予測とどれほど合わないか」を測る非適合度スコア $s_i = s(x_i, y_i)$ を計算する。分類ならしばしば $s = 1 - \hat{p}(y\mid x)$(正解クラスのsoftmax確率が低いほどスコアが大きい)を用いる。こうして集めた較正スコアの経験分布から、$\lceil (n+1)(1-\alpha)\rceil / n$ 分位点 $q$ を求める。最後に新規入力 $x_{new}$ について、可能な全ラベル $y$ のうち $s(x_{new}, y) \le q$ を満たす $y$ だけを集めて予測集合 $\hat{C}(x_{new})$ を作る。

段階 内容 産出物
1 学習集合で基盤モデル $f$ を学習 予測モデル
2 較正集合で非適合度スコア $s_i$ を計算 スコア分布
3 $(1-\alpha)$ 経験分位点 $q$ を推定 しきい値 $q$
4 新規入力で $s\le q$ のラベル/値を収集 予測集合・区間

この手続きがカバレッジを保証する理由は交換可能性にある。較正標本と将来のテスト標本が交換可能(順序を入れ替えても結合分布が不変)であれば、テスト標本の非適合度スコアが較正スコアの中で占める順位(rank) は一様分布に従う。したがって「テストスコアが較正スコアの上位 $\alpha$ の外へ外れる確率」がちょうど $\alpha$ に制御され、分布の仮定なしにカバレッジが成立する。数値で見ると、較正集合 $n=1000$、$\alpha=0.1$ なら、およそ901番目に大きいスコアをしきい値とみなして90%カバレッジを確保する。

理解を助ける具体的な数値例を見よう。10種の動物画像分類器があり $\alpha=0.1$(目標カバレッジ90%)に設定したとする。較正集合500枚の各々から「正解クラスのsoftmax確率」を取り $s_i = 1-\hat{p}$ を計算すると500個のスコアが出る。これらを昇順に整列し上位10%の点、すなわち $\lceil 501 \times 0.9\rceil = 451$ 番目に小さい値(=上位50番目)である $q=0.82$ をしきい値として得たとする。いま新しい猫の写真に対しモデルが猫0.55、オオヤマネコ0.30、犬0.10、残りは低くと予測したなら、$1-\hat{p}\le 0.82$ すなわち $\hat{p}\ge 0.18$ のクラスだけを集合に入れて $\hat{C}={\text{猫, オオヤマネコ}}$ となる。モデルが自信のある易しい写真なら集合は一要素に狭まり、曖昧な写真なら三つ四つ残って、集合の大きさそのものが不確実性の指標になる。

A. カバレッジ保証の二つの顔 — 下限と上限

コンフォーマル予測が保証するのは、正確には $1-\alpha \le \Pr(Y_{n+1}\in\hat{C}(X_{n+1})) \le 1-\alpha + \frac{1}{n+1}$ という両側不等式である。すなわちカバレッジが目標値を下回らないだけでなく、較正集合が十分大きければ上にもほとんど溢れず、過剰保守(over-coverage) で集合が無駄に大きくなることを防ぐ。この性質が、「集合を全ラベルにすればカバレッジ100%」という自明な解とコンフォーマル予測を区別する。較正集合が小さいほど右辺の $1/(n+1)$ の余裕が大きくなり保証が緩むので、信頼性が重要な応用ほど数百〜数千規模の較正集合を確保することが実務的に重要である。またこの保証は、一度固定したしきい値に対する平均ではなく、分割の無作為性まで積分した周辺(marginal)確率である点を理解しておかねば誤解がない。

B. 非適合度スコアの設計が効率を左右する

カバレッジはスコアをどう定義しても保証されるが、予測集合がどれほど狭いか(有用性) はひとえに非適合度スコアの設計にかかっている。たとえば分類で単純に $s=1-\hat{p}(y\mid x)$ を使うと、易しい標本と難しい標本に同じしきい値が適用され条件付きで非効率である。一方、累積確率ベース(APS)や罰点追加(RAPS)のスコアは同じカバレッジで平均集合サイズを有意に縮める。回帰でも絶対残差 $|y-\hat{y}|$ を使うと全入力に幅が一定の区間が出るが、分位点回帰残差を使うと入力ごとに幅が適応する。したがってコンフォーマル予測設計の実質的な作業は「カバレッジをどう守るか」ではなく「どのスコアが最も短い集合を与えるか」を探すことにある。これはモデル性能とドメイン特性をあわせて考えるエンジニアリング問題であり、スコア関数そのものを学習で最適化しようとする最新研究もこの点を狙う。

最後に有意水準 $\alpha$ は単なるハイパーパラメータではなくリスク方針そのものである。$\alpha=0.01$ は「100回に1回だけ集合外の誤りを許す」という宣言であり、これは集合を大きくして自動化率を下げる。逆に $\alpha=0.2$ は集合を狭めて効率は高いが5件に1件の見逃しを甘受する。したがって $\alpha$ の決定はドメインの誤りコスト・業務効率・規制要件を総合したビジネス上の意思決定であり、技術的な最適化問題ではない。

3. 主要な方式と変種

flowchart TB
  CP["コンフォーマル予測"] --> FULL["Full/Transductive CP: ラベルごとに再学習"]
  CP --> SPLIT["Split(Inductive) CP: 較正集合を一度だけ分離"]
  CP --> CV["CV+ / Jackknife+: 交差検証ベース"]
  SPLIT --> CLS["分類: APS·RAPS 適応型集合"]
  SPLIT --> REG["回帰: CQR 分位点回帰の結合"]
  SPLIT --> MOND["Mondrian CP: グループ別条件付きカバレッジ"]

A. 全体コンフォーマル予測(Full/Transductive CP)

最も原型的な方式で、新規入力に可能なラベル $y$ を一つずつ仮定し、その対をデータに含めてモデルを再学習し非適合度を評価する。全データを学習と較正に同時に活用するので統計的には最も効率的で、同じカバレッジをより狭い集合で達成する。しかしテスト標本一つあたりラベル数だけ、回帰なら格子点数だけモデルを再学習せねばならず、深層学習のように学習コストが大きいモデルでは計算量が非現実的である。したがってFull CPは小規模データ・安価なモデルでの理論的基準点としては重要だが、大規模な実務ではほとんど使われない。この計算上の限界が、較正を一度だけ分離する下記のSplit CPが登場した直接の背景であり、二つの方式は統計効率と計算効率のあいだの典型的なトレードオフを示す。

B. 分割コンフォーマル予測(Split/Inductive CP)

データを学習集合と較正集合に一度だけ分け、学習集合でモデルをちょうど一度訓練し、較正集合でしきい値を一度だけ求める。再学習が一切ないのでどんな事前学習モデルにも即座に適用でき、計算コストは微々たるものである。代わりにデータの一部(通常10〜30%)を較正専用に取り分けねばならず、一度の分割が偶然に偏ると集合サイズが揺らぐ短所がある。実務の大半がこの方式を採り、ImageNet級の分類器にも数十ミリ秒以内に集合を生成する。データが潤沢な産業環境では較正分割の損失がほとんど問題にならず、事実上の標準として定着している。

C. 交差検証ベース(CV+·Jackknife+)とMondrian CP

較正集合の分離によるデータの無駄を減らそうとする変種である。Jackknife+ はleave-one-out残差で、CV+ はK分割交差検証残差で区間を構成し、全データを学習と較正の双方に活用しつつカバレッジに近接する保証を提供する。データが少ない創薬・バイオ実験のように一標本が貴重な領域で特に有用である。Mondrian(グループ条件付き)CP は全体平均カバレッジだけでなくクラス別・下位集団別にそれぞれしきい値を置き、少数集団でもカバレッジが崩れないようにする。たとえば希少疾患クラスのカバレッジが多数クラスに埋もれて犠牲になる公平性問題を緩和する手段となる。

D. 適応型集合(APS·RAPS)と分位点回帰の結合(CQR)

基本方式は全体平均カバレッジのみを保証するだけで、易しい入力には過度に大きく難しい入力には小さすぎる集合を出す条件付き非効率がある。分類でAPS(Adaptive Prediction Sets) はsoftmax確率を高い順に累積して集合を構成し、入力の難度に応じて集合サイズを適応させ、RAPS は裾クラスに罰点を加えて集合をより小さく安定にする。回帰ではCQR(Conformalized Quantile Regression) が分位点回帰で推定した上下限をコンフォーマル較正で補正し、不等分散(heteroscedastic)データで区間幅が入力に応じて広く狭く適応するようにする。たとえば電力需要予測では変動の大きいピーク時間帯には広い区間を、安定した深夜には狭い区間を自動的に与える。

この四つの変種を貫く設計原理は、「平均カバレッジはただで保証されるので、努力は条件付き適応性と集合サイズの最小化に注ぐ」ことである。Mondrianは集団別公平性を、APS·RAPSは難度別適応を、CQRは分散別適応を、CV+·Jackknife+はデータ効率をそれぞれ狙う。実務ではデータ量(少なければCV系)、課題の種類(分類/回帰)、公平性の要求(あればMondrian)を基準に組み合わせて選び、一つのパイプラインで複数の変種を同時に適用することも可能である。

4. 比較と適用事例

区分 コンフォーマル予測 ベイズ/MC Dropout Platt·温度スケーリング
保証の型 有限標本カバレッジ保証 事後分布(仮定依存) 確率較正のみ、カバレッジ保証なし
分布の仮定 交換可能性のみ要求 事前分布・近似の仮定 点確率較正を前提
モデル制約 モデル非依存(後処理) 特定の構造・推論が必要 分類確率が必要
出力の形 予測集合・区間 事後標本・分散 較正されたスカラー確率
コスト Splitならほぼ無料 多重推論・サンプリングのコスト 安価

この比較の核心は「何を保証するか」が異なる点である。温度スケーリングは確率値を較正するだけで「正解が集合に入る確率」を保証せず、ベイズ技法は事前分布が誤ると保証も崩れる。コンフォーマル予測のみが分布非依存のカバレッジを有限標本で約束する。ただしコンフォーマル予測もカバレッジが平均的(marginal) なので、特定の入力に対する条件付き保証はMondrian·適応型技法を付け足して得られるというトレードオフがある。

逆にコンフォーマル予測が保証しないことを明確にしておくのも技術士の観点から重要である。第一に、カバレッジは「正解が集合の中にある確率」であって「集合の中の各要素が正解である確率」ではないので、集合を確率分布と誤解してはならない。第二に、交換可能性が崩れれば(時系列・分布移動)保証自体が無効になるので万能ではない。第三に、較正集合が小さければ保証は成立しても集合が不安定に揺れる。このように「保証の範囲とその外」を明確に区別して説明することが、温度スケーリング·ベイズとの表面的な優劣の羅列よりも実務適用ではるかに重要な洞察である。

コンフォーマル予測の真価は、このようにどのモデル・ドメインにも同じ数学的保証を再利用できるという汎用性から生まれる。下記の三事例は分類・回帰・生成という異なる課題だが、「非適合度スコアを決めて較正分位点で集合を作る」という同じ骨格を共有する。

適用事例1(医療画像): 皮膚がん分類器にSplit CPをかぶせて「可能な診断集合」を提示すれば、集合に二つ以上のラベルが残る曖昧な事例を専門医の再検討へ自動分岐(selective prediction) できる。カバレッジ90%を保証するので集合外の誤診リスクが制御され、集合の大きさそのものが「この事例がどれほど曖昧か」を表す解釈可能な信号になる。適用事例2(需要予測): 流通需要予測にCQRを適用して安全在庫を95%区間の上限に取れば、欠品確率を明示的に5%以下に管理できる。区間の下限は過剰在庫リスクを、上限は欠品リスクをそれぞれ定量化するので、在庫方針が保証可能な数字の上に立てられる。適用事例3(LLM): 多肢選択QAでモデルロジットを非適合度スコアとして「正解が含まれる保証集合」を作れば、幻覚で単一の誤答を断定する代わりに候補を狭めつつ正解の見逃しリスクを $\alpha$ に制御する。集合が一つのラベルに狭まれば自動処理し、複数残れば人に渡すエージェントの安全装置へ直接つながる。

この三事例が共通して示す含意は、コンフォーマル予測が単に「誤差棒を描く」統計的装飾ではなく、運用上の自動/手動の分岐判断を保証可能なしきい値の上に立てる意思決定インフラだという点である。集合サイズをしきい値として「確実なものは自動、曖昧なものは人」という規則を数学的保証とともに運用できることが、実務的価値の核心である。

5. 深化 — 最新動向とLLM·分布移動への対応

コンフォーマル予測は2020年代に入り生成AIの信頼性手段として研究が急増した。2024年のNLP分野のサーベイは分類を超えてテキスト生成・要約へ適用が拡張する流れを整理し、2025年にはCOPUのように候補集合に正解を加えて少ない標本(5個程度)でカバレッジを引き上げる生成特化の技法、conformal factualityのように生成された主張のうち事実である確率が高い文だけを保証しながら刈り込む(pruning) 方法が提案された。ただしLLMが自ら述べる口頭信頼度(verbalized confidence) は過信の傾向が大きく、コンフォーマル較正がその過信を補正する外部装置として使われる点が繰り返し報告されている。

理論的拡張も重要である。核心的な仮定である交換可能性は分布移動(distribution shift) があると崩れるが、これを扱うため各標本に密度比(likelihood ratio)の重みを付与するWeighted Conformal Prediction、時間に沿ってしきい値をオンラインで更新し非定常(non-stationary)ストリームに適応するAdaptive Conformal Inference(ACI) が提示された。さらにカバレッジという単一指標を超え、偽陰性率・コストのような任意のリスクを $\alpha$ 以下に制御する Conformal Risk Control へ一般化され、多ラベル・物体検出などへ適用範囲が広がっている。ただしこれらの多くはまだarXivのプレプリント段階でベンチマーク・検証が進行中なので、実務導入の際には成熟度もあわせて見極めねばならない。

実装エコシステムも成熟しており導入障壁は低い。Pythonではscikit-learn推定器を包んで分類・回帰のコンフォーマル予測を提供するMAPIE、PyTorchベースのTorchCP、原著者らが公開した教育用ライブラリなどがあり、既存モデルに数十行のコードで較正層を付け足せる。実務では(1)運用分布を代表する較正集合を確保し、(2)ドメインに合う非適合度スコアと目標 $\alpha$ を決め、(3)カバレッジと平均集合サイズを監視指標としてダッシュボード化する順で適用する。特にカバレッジが目標を下回り始めれば分布移動の早期警報として活用でき、モデルの再較正・再学習トリガーへつなぐ運用設計が推奨される。

6. 考慮事項および示唆点

コンフォーマル予測は「モデルを変えずに信頼可能性をかぶせる」低コスト・高効用の層であり、技術士の観点から導入戦略と限界をバランスよく見るべきである。

  • 適用戦略(後処理の層化): 既存のMLOpsパイプラインの推論の後に較正・集合生成の段階を挿入するプラグインの形で設計すれば、モデルの交換・再学習と独立に運用される。較正集合は運用データ分布を反映するよう周期的に更新するガバナンスが必要である。
  • トレードオフ(カバレッジ ↔ 集合サイズ): $\alpha$ を下げると安全だが集合・区間が広がり意思決定の有用性が落ちる。「集合が大きすぎれば事実上『分からない』と同じ」である点で、目標カバレッジは誤判定コストと運用効用をあわせて見て決めねばならない。
  • 仮定の脆弱性(分布移動·交換可能性): コールドスタート・概念変化(concept drift)の環境では交換可能性が崩れ保証が無効化され得るので、Weighted CP·ACIの適用とドリフト監視を併行せねばならない。時系列は交換可能性が本質的に弱く特別な注意が要る。
  • 公平性·条件付き保証: 平均カバレッジは少数集団を犠牲にし得るので、規制・倫理が重要なドメインはMondrian·グループ条件付きCPで下位集団別カバレッジを検証せねばならない。
  • 連携技術·展望: 信頼できるAI(Trustworthy AI)·AIガバナンス、選択的予測(reject option)、ヒューマンインザループ(HITL)の分岐と自然に結合する。今後LLMエージェントの行動安全装置やEU AI Act型規制の不確実性開示要件を満たす標準手段として定着する見通しである。
  • 組織·能力の観点: コンフォーマル予測はモデル開発チームだけでなくリスク・規制対応の組織が共に運用してこそ効果がある。目標カバレッジ $\alpha$ は技術パラメータであると同時にビジネス上のリスク許容水準なので、その決定に現業・法務が参加するガバナンス体制を備えねばならない。

総合すると、コンフォーマル予測は「正確なモデル」を超えて「信頼できる形で誤るモデル」を求める現代AIガバナンスの流れに正確に合致する技法である。技術士はこれを特定のアルゴリズムではなく、どんなモデルにも保証層を載せて自動化と人的レビューの境界を数学的に設計するアーキテクチャパターンとして理解し、導入時に仮定の成立条件・較正データのガバナンス・監視体制をあわせて設計する観点が必要である。

参考資料


一言まとめ: コンフォーマル予測は交換可能性の仮定だけでどんなモデルの出力でも有限標本で $1-\alpha$ カバレッジを保証する予測集合・区間に変換する分布非依存の後処理フレームワークであり、Split·CQR·適応型·分布移動対応の変種を通じて医療·需要予測·LLMの信頼性まで拡張される。