CRISP-DM(データマイニング標準プロセス)
1. 概要
A. 定義
CRISP-DM(Cross-Industry Standard Process for Data Mining) とは、データマイニング・データ分析プロジェクトを ビジネス理解 → データ理解 → データ準備 → モデリング → 評価 → 展開 の6段階に構造化した 産業非依存(cross-industry)・ツール非依存の標準プロセスモデルである。1996年に欧州ESPRIT課題として始まり、SPSS(ISL)・NCR・Daimler-Benz・OHRAが構成したコンソーシアムが1999〜2000年にCRISP-DM 1.0として確立した。段階間を 前段階へ戻すフィードバックループ と、展開後に再びビジネスへ循環する構造を核心とする。
データマイニングプロジェクトが失敗する典型的な理由は、アルゴリズムの不足ではなく、解くべきビジネス問題を定義しないままデータとモデルに飛び込むことである。分析者が華やかなモデルを作っても、それが現場の意思決定に使われなければ価値はなく、逆にデータ品質が低ければどんなモデルも信頼できない。CRISP-DMはこの罠を避けるため、「分析はデータではなくビジネス問いから出発し、モデルではなく現場展開で終わる」という観点をプロセスとして明確にした枠組みである。
CRISP-DMが重要なのは、それが単なる作業順序表ではなく、分析プロジェクトの共通言語であり品質管理体系である点にある。異なる組織・産業・ツールを用いるチームでも、CRISP-DMの6段階と成果物の語彙を共有すれば、進捗を同じ基準で意思疎通でき、各段階の完了条件(ゲート)を点検してリスクを早期に顕在化させられる。技術士の観点では、CRISP-DMはKDD・SEMMAとともにデータ分析方法論の事実上の標準であり、近年のMLOps・CRISP-ML(Q)へつながる データ分析ライフサイクル思考の出発点である。
B. 登場背景と必要性
1990年代中後期は、データウェアハウスと統計・機械学習ツールが急速に普及し、企業が蓄積されたデータから価値を掘り出そうとする「データマイニング」ブームが起きた時期であった。しかし当時のプロジェクトは分析者個人の直観とツール操作能力に過度に依存し、同じ会社の中でもチームごとにアプローチが異なり、再現可能性と品質を担保する共通手順がなかった。とりわけ分析結果を現場が信頼できなかったり、苦労して作ったモデルが実システムに展開されないまま埋もれることが多かった。
CRISP-DMはこの問題意識から出発し、「誰が行っても再現可能で、どの産業でも通用し、特定ベンダーツールに縛られない」手順を目標として設計された。その必要性はデータの規模と活用範囲が拡大するほどむしろ強まった。ビッグデータ・AI時代には分析プロジェクトにデータエンジニア・分析者・現場・セキュリティ・運用など多様な利害関係者が参加するため、段階別の責任と成果物を明確にする共通枠が協働の前提となる。実際、ある調査ではデータサイエンティストの多数が依然としてCRISP-DMを最も広く使う分析方法論に挙げるほど、20年を超えた今も現場の基本骨格として機能している。すなわちCRISP-DMは古い概念でありながら、データ中心組織が増えるほど再び実用性が高まる枠組みである。
2. 全体構造と循環性
CRISP-DMの全体構造の核心は、6段階が一方向に流れるウォーターフォールではなく、段階間を随時戻り全体が循環する反復的(iterative)プロセスである点である。下図は6段階とその間の主要なフィードバックの流れを示す。最も外側の循環矢印は、一度のプロジェクトが終わってもその結果が新たなビジネス問いを生み、次のサイクルへつながることを表す。
flowchart TB
BU["1. ビジネス理解<br/>(目標・成功基準の定義)"]
DU["2. データ理解<br/>(収集・探索・品質点検)"]
DP["3. データ準備<br/>(整形・変換・特徴量)"]
MO["4. モデリング<br/>(手法選択・学習)"]
EV["5. 評価<br/>(ビジネス目標対比)"]
DEP["6. 展開<br/>(配備・運用・監視)"]
BU <--> DU
DU --> DP
DP --> MO
MO <--> DP
MO --> EV
EV --> DEP
EV -->|目標未達時は再定義| BU
DEP -->|新たな問い・性能低下| BU
style BU fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style EV fill:#fef7e0,stroke:#f29900,stroke-width:2px
style DEP fill:#e6f4ea,stroke:#188038,stroke-width:2px
6段階の目的と代表的成果物を、まず表に整理すると次のとおりである。ただしこの表は骨格にすぎず、各段階が「なぜその順序に置かれ何を決めるのか」は続く節で述べる。
| 段階 | 核心的問い | 主な活動 | 代表的成果物 |
|---|---|---|---|
| 1. ビジネス理解 | 何を何のために解くか | 目標・成功基準・制約の定義 | プロジェクト計画、分析目標 |
| 2. データ理解 | どんなデータがあるか | 収集・記述統計・品質診断 | データ探索報告書 |
| 3. データ準備 | どう分析可能にするか | 整形・統合・変換・特徴量 | 最終分析データセット |
| 4. モデリング | どの手法で解くか | アルゴリズム選択・学習・調整 | 学習済みモデル、パラメータ |
| 5. 評価 | ビジネス目標を達成したか | 性能・妥当性・検討 | 評価結果、承認可否 |
| 6. 展開 | どう価値へ転換するか | 配備・監視・文書化 | 運用モデル、保守計画 |
CRISP-DMの非線形性を理解することがこの方法論の要諦である。例えばデータ理解段階で品質問題が顕在化すればビジネス理解へ戻り目標そのものを調整せねばならず、モデリング中に性能が出なければデータ準備へ戻り特徴量を作り直す。また文献によれば、実プロジェクト工数の 相当部分(しばしば50〜70%以上)がデータ準備段階に集中するとされ、これはモデリングが分析の全てではなく、よく準備されたデータの上でのみ成立することを示す。CRISP-DMはこの現実を循環構造として認める点で現場親和的である。
3. 6段階の詳細
次の図は6段階内部の代表的な細部タスクを展開し、プロセスの作業水準を示す。各段階は上位目標の下で具体的成果物を作る細部タスクに分かれる。
flowchart LR
subgraph P1["1. ビジネス理解"]
A1["ビジネス目標"] --> A2["状況評価"] --> A3["分析目標への変換"] --> A4["プロジェクト計画"]
end
subgraph P2["2. データ理解"]
B1["初期収集"] --> B2["データ記述"] --> B3["データ探索"] --> B4["品質検証"]
end
subgraph P3["3. データ準備"]
C1["選択"] --> C2["整形"] --> C3["構成・特徴量"] --> C4["統合・形式"]
end
P1 --> P2 --> P3
style P1 fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style P3 fill:#e6f4ea,stroke:#188038,stroke-width:2px
A. ビジネス理解(Business Understanding)
最初の段階は分析ではなく 問題定義である。現場の目標(例:「離反顧客を減らす」)をデータマイニング目標(例:「翌月の離反確率を予測し上位10%を選別する」)へ翻訳し、成功基準をビジネス指標(離反率2ポイント低減)と技術指標(AUC 0.8以上)の二面で明確にする。この段階で現場・分析・運用が同じ目標を共有できなければ、以後どれほど良いモデルを作っても「それで何に使うのか」という問いに答えられない。
また利用可能な資源・制約・リスクを評価(assessment)しプロジェクト計画を立てる。データアクセス権、個人情報規制、納期、運用環境といった制約は後になるほど変えにくいため、初期に識別すべきである。例えば金融機関の信用評価モデルであれば説明可能性・規制遵守が性能と同じく重要な成功基準となり、これがモデリング手法選択(複雑なブラックボックスでなく解釈可能なモデル)を最初から制約する。
B. データ理解(Data Understanding)
第二段階では実際のデータを収集し 探索的に見る(EDA)。どのテーブル・項目があり、分布・欠損・外れ値・ラベル不均衡はどうか、ビジネス仮説とデータが合うかを記述統計と可視化で点検する。この過程でしばしば「望む変数がそもそもない」「ラベルが信頼できない」といった事実が顕在化し、その場合はビジネス理解へ戻り目標を現実に合わせて調整せねばならない(フィードバックループ)。
データ理解は品質検証(verify data quality)で締めくくる。欠損率、重複、値の整合性、収集時点の偏りなどを診断し文書化する。例えば通信事業者の離反予測で「解約日」項目がマーケティングシステムと課金システムで異なって記録されていれば、この不一致に気づかぬままモデリングすると未来情報が漏れ込むデータ漏洩(leakage)につながり、評価性能が非現実的に高く出る。こうした罠を早期に捉えるのがこの段階の価値である。
C. データ準備(Data Preparation)
第三段階は原データを モデルが学習できる最終データセットへ加工する過程であり、前述のとおりプロジェクトで最も多くの工数を占める。選択(必要なレコード・項目の絞り込み)、整形(欠損補完・外れ値処理)、構成(派生変数・特徴量エンジニアリング)、統合(複数ソース結合)、形式変換の細部タスクから成る。特徴量エンジニアリングはとりわけモデル性能を左右し、例えば「直近3か月の通話量変化率」のような派生変数が原通話量より離反をはるかによく説明する場合が多い。
データ準備はモデリングと最も強いフィードバックループを形成する。モデル性能が不足すれば新たな特徴量を作ったりスケーリング・符号化方式を変えて再び準備する。またこの段階の全ての変換は 再現可能で運用でも同一に適用可能でなければならない。学習時と展開時で特徴量生成ロジックが異なれば(training-serving skew)実性能が急落するため、変換パイプラインをコードで管理するのが現代的な模範事例である。
D. モデリング(Modeling)
第四段階でいよいよアルゴリズムを適用する。問題類型(分類・回帰・クラスタリング・連関)に合う手法を選択し、学習・検証データを分割した上でモデルを学習しハイパーパラメータを調整する。重要なのは 手法選択がモデリング段階ではなくビジネス理解で既に制約されていることである。説明可能性が求められればロジスティック回帰・決定木を、最高性能が優先なら勾配ブースティング・ニューラルネットを選ぶ具合である。
モデリングはデータ準備へ戻るループを頻繁にたどる。あるアルゴリズムは欠損を許さず特定のスケーリングを要求するため、手法を変えればデータ準備も変わる。また交差検証で過学習を点検し複数の候補モデルを比較して、次の評価段階へ渡すモデルを選別する。このとき性能指標は単一の正解率ではなく、ビジネス文脈に合う指標(不均衡データなら適合率・再現率・AUC)で見るべきである。
E. 評価(Evaluation)
第五段階はモデルの技術的性能ではなく ビジネス目標の達成可否を判定する関門である。第1段階で定義した成功基準(離反率低減、AUC閾値)に照らしてモデルが使えるか、見落としたビジネス課題はないか、規制・倫理リスクはないかを検討する。技術指標が良くてもビジネス効果が不確実なら展開しない決定があり得、逆に目標に届かなければビジネス理解へ戻りサイクルを再び回す。
評価と、モデリング内の評価(第4段階内部の性能測定)を区別することが重要である。モデリング内評価が「指標の数値が良いか」を見るなら、第5段階の評価は「このモデルが実際の意思決定に投入される資格があるか」という承認(go/no-go)を下す。例えば融資審査モデルがAUCは高くても特定集団に不利な偏りが確認されれば、公平性問題で展開が保留され、データ準備・モデリング再設計へ戻る。
F. 展開(Deployment)
最後の段階は承認されたモデルを 実業務・システムへ配備し価値へ転換し、その結果を継続的に管理する。展開は単にモデルファイルを載せることではなく、予測を現場プロセス(キャンペーン対象選定、リアルタイム推薦APIなど)へ接続し、運用監視・再学習計画・文書化・引き継ぎまで含む。CRISP-DMの展開段階が明示的に「データマイニング結果を組織が使える形へ組織化」せよと強調する理由がここにある。
展開はプロジェクトの終わりではなく 次の循環の始まりである。配備されたモデルは時間とともにデータ分布が変わり性能が低下(model/data drift)するため、監視で劣化を検知すればビジネス理解へ戻り目標を再点検し再学習する。まさにこの地点がCRISP-DMと現代MLOpsが出会う接点であり、後の深化で扱う。
4. 比較 — KDD・SEMMAとの違い
CRISP-DMはデータ分析方法論の中で最も広く使われるが唯一ではない。代表的に KDD(Knowledge Discovery in Databases) とSASの SEMMA(Sample-Explore-Modify-Model-Assess) がある。三方法論の違いは単なる段階数ではなく「どこで始まりどこで終わるか」、すなわち ビジネスと展開をプロセスに含むかで分かれる。
| 区分 | CRISP-DM | KDD | SEMMA |
|---|---|---|---|
| 提案主体 | 産業コンソーシアム(1999) | Fayyadら学界(1996) | SAS Institute |
| 段階数 | 6段階 | 5〜9段階(選択・前処理・変換・マイニング・解釈) | 5段階 |
| ビジネス理解 | 明示的に包含 | 弱い(データ選択から) | なし(サンプリングから) |
| 展開・運用 | 明示的に包含 | 解釈・活用中心 | なし(評価で終了) |
| 志向 | ビジネス問題解決 | 知識発見(学術) | ツール(SAS)中心の分析 |
核心的な違いが生じる理由は各方法論の誕生文脈にある。KDDはデータから「知識を発見」する学術的過程を体系化したものゆえ、データ処理とパターン解釈に重みが置かれ、ビジネス目標定義や運用展開は相対的に弱い。SEMMAはSAS Enterprise Minerというツールの分析作業フローを反映し、サンプリングから評価まで「モデリング実務」に集中するため、問題定義と展開が範囲外である。一方CRISP-DMは産業現場で「分析を実際の意思決定に使わせよ」という要求から作られたため、ビジネス理解と展開を両端に置き全体を循環させる。実務的含意は明確である — 分析の目的が「発表用インサイト」ではなく「現場に展開されるシステム」であれば、CRISP-DMの範囲が最も適する。
具体例として、ある流通企業が需要予測プロジェクトをKDD式に進め精緻な予測モデルを得たが、発注システムと接続する展開設計を欠き、現場は依然としてExcelで手作業発注をしたことがある。CRISP-DMの展開段階を明示的に踏んでいれば、「予測結果を発注プロセスへどう投入するか」を最初から設計したはずである。逆にSEMMAはSAS環境で反復的なモデル実験を素早く回す際に生産性が高く、三方法論は排他的というより状況に応じて選択・結合される。
5. 深化 — CRISP-ML(Q)とMLOpsへの進化
CRISP-DMは伝統的データマイニングを前提に設計されたため、継続的に再学習・運用される現代の機械学習サービスには 展開以降(保守・監視)の細部が不足するという限界が指摘されてきた。これを補おうとする代表的拡張が、2021年にStuderらが提案した CRISP-ML(Q)(Cross-Industry Standard Process for Machine Learning with Quality Assurance) である。下図はCRISP-ML(Q)のライフサイクルを示す。
flowchart LR
S1["ビジネス & データ理解<br/>(統合段階)"]
S2["データ準備"]
S3["モデリング"]
S4["評価"]
S5["配備"]
S6["監視 & 保守"]
S1 --> S2 --> S3 --> S4 --> S5 --> S6
S6 -->|ドリフト・性能低下を検知| S1
style S1 fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style S6 fill:#fce8e6,stroke:#d93025,stroke-width:2px
CRISP-ML(Q)の変化は三点に要約される。第一に、CRISP-DMのビジネス理解とデータ理解を 一つの段階へ統合した。実務では「何を解くか」と「どんなデータがあるか」は分離されず強く噛み合うからである。第二に、展開の後に 監視および保守(maintenance) 段階を追加した。運用中に環境が変わりモデルが劣化する現象を正式な段階へ引き上げ、性能監視・再学習トリガー・ロールバックをライフサイクルの一部として扱う。第三に、名称の(Q)が示すとおり 各段階ごとにリスクベースの品質保証(QA)方法論を定義する。各タスクで生じうるML固有の危険(データ漏洩、分布変化、再現性の欠如など)を識別し、それに対応する点検活動を明示して、分析を信頼可能なエンジニアリングへ引き上げる。
この進化は自然に MLOps(Machine Learning Operations) へつながる。MLOpsはCRISP-DM/CRISP-ML(Q)が定義したライフサイクルをCI/CD・自動化・監視ツールで実現し、データ収集から学習・展開・再学習までを 再現可能なパイプラインにする。すなわちCRISP-DMが「何をどの順序で行うか」という方法論的骨格なら、MLOpsは「それをどう自動化・運用するか」という実行体系である。例えば推薦システムサービスはCRISP-ML(Q)の監視段階でクリック率低下を検知すれば、MLOpsパイプラインが自動で再学習をトリガーしA/Bテストで検証した上で展開する。生成AI・LLM時代にはここにデータ・モデルガバナンス、プロンプト・評価(LLMOps)要素が加わり、ライフサイクルはより精緻化している。
6. 考慮事項および示唆点
CRISP-DMを実際の分析プロジェクトと組織運用に適用する際、技術士の観点で押さえるべき点は次のとおりである。
方法論を順序ではなく反復・ゲートとして運用する。 CRISP-DMの価値は6段階の暗記ではなく、段階ごとに完了条件(ゲート)を置き必要なら前段階へ戻る循環にある。これをウォーターフォールのように一方向だけで適用すると、データ品質問題や目標不一致を遅く発見し再作業費用が増える。各段階終了時に成果物と次段階への進入基準を明示する運用規則が必要である。
ビジネス理解と展開に十分投資する。 分析者はモデリングに時間を注ぎたがるが、プロジェクトの成否は両端(問題定義と展開)で分かれる。目標・成功基準をビジネス指標と技術指標で二重に定義し、展開以降の監視・再学習・引き継ぎまで最初から範囲に入れてこそ分析が埋もれない。とりわけ展開段階を欠いた「発表用分析」は投資対効果がほぼない。
データ準備と再現性・ガバナンスを結合する。 工数の大半を占めるデータ準備は品質と再現性の源である。変換ロジックをコード・パイプラインで管理して学習・運用間の不一致(training-serving skew)とデータ漏洩を防ぎ、個人情報・規制遵守をデータ理解・準備段階で先制的に反映すべきである。これはデータガバナンス・データ品質管理体系へ直接つながる。
現代ML ライフサイクルへ拡張しトレードオフを管理する。 伝統的CRISP-DMは展開以降が薄いため、継続運用されるサービスにはCRISP-ML(Q)の監視・QAとMLOps自動化を結合せねばならない。ただし自動化・ガバナンス強化は機敏性と相反しうるため、プロジェクトの危険度(規制・安全・金銭的影響)に比例して統制水準を調整するのが望ましい。小規模探索は軽量適用、ミッションクリティカルなサービスは厳格なQAという差等戦略が現実的である。
展望:生成AI・ガバナンス時代の標準骨格。 データ・AI規制(公平性・説明可能性・AI管理体系)が強まるほど、分析の全過程を追跡・検証可能にするプロセスの重要性が高まる。CRISP-DMとその拡張はLLMOps・AIガバナンス体系が乗る共通骨格として機能し続け、分析組織の成熟度を評価する基準枠としても活用される見通しである。
参考資料
- CRISP-DM, Wikipedia: https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining
- Studer et al., "Towards CRISP-ML(Q): A Machine Learning Process Model with Quality Assurance Methodology", Machine Learning and Knowledge Extraction, 2021: https://www.mdpi.com/2504-4990/3/2/20
- IBM, "What is CRISP-DM?": https://www.ibm.com/think/topics/crisp-dm
一言まとめ: CRISP-DMはデータ分析プロジェクトをビジネス理解・データ理解・データ準備・モデリング・評価・展開の6段階に構造化し、段階間フィードバックと全体循環を核心とする産業・ツール非依存の標準プロセスであり、問題定義と展開という両端を含む点でKDD・SEMMAと区別され、今日はCRISP-ML(Q)・MLOpsへ拡張され信頼可能な機械学習ライフサイクルの共通骨格として使われる。