フリンの分類(Flynn's Taxonomy)と並列コンピューティングアーキテクチャ
1. 概要
A. 定義
フリンの分類(Flynn's Taxonomy) とは、コンピュータアーキテクチャを命令ストリーム(instruction stream)の数とデータストリーム(data stream)の数という二つの軸の組み合わせで分類する体系であり、1966年にMichael J. Flynnが提示し1972年の論文で精緻化した、並列コンピューティングアーキテクチャの最も基本的な分類フレームワークである。二つの軸がそれぞれ「一つ(Single)」または「複数(Multiple)」を取りうるため、SISD・SIMD・MISD・MIMDの四つの範疇が導かれ、今日のマルチコアCPU、ベクトルユニット、GPU、スーパーコンピュータ、分散クラスタを説明する共通の語彙として用いられる。
並列コンピューティングを論じるとき最初にぶつかる問いは「何を並列に処理するのか」である。ある機械は同一の一つの命令を膨大なデータに一括して適用し(例:画像の1,000万画素に同じ輝度補正)、ある機械は異なる命令をそれぞれ別のデータに独立して実行する(例:Webサーバが複数のリクエストを各々異なるコード経路で処理)。フリンはこの差異を「命令の流れが一つか複数か」「データの流れが一つか複数か」という単純だが強力な二つの問いに抽象化した。この抽象化によって、まったく異なるハードウェアも同じ範疇にまとめ、設計原理を比較できるようになった。
フリンの分類が重要なのは、それが単なる暗記用の表ではなく並列化戦略の出発点だからである。あるワークロードを加速しようとするとき、その演算が「データ並列性(data parallelism)」を持つか「タスク並列性(task parallelism)」を持つかによって、選ぶべきハードウェア(ベクトル/GPU対マルチコア/クラスタ)とプログラミングモデル(SIMDイントリンシック、CUDA、MPI、スレッド)がまったく変わる。技術士の観点では、フリンの分類はアムダール・グスタフソンの法則が言う「どれだけ速くなるか」に先立って「どのような構造で並列化するか」を決めるアーキテクチャ意思決定の一次フレームである。
B. 登場の背景と必要性
1960年代半ばは、単一プロセッサの性能を高める努力と同時に、複数の処理装置を束ねて性能を引き上げようとする初期の並列コンピュータ(SOLOMON、ILLIAC IVなどの配列プロセッサ)が登場した時期であった。しかし当時は、異質な機械を比較する共通の分類言語が存在しなかった。Flynnはプロセッサ内部を「命令を取得し解読する制御の流れ」と「その命令が処理するデータの流れ」に分離して見る視点を提案することで、ベクトル機械であれ多重プロセッサであれ一つの座標系の上に載せられるようにした。
この分類の必要性は時代が進むほどむしろ高まった。ムーアの法則に依拠したクロック速度の向上が2000年代半ばに電力・発熱の壁(power wall)に阻まれると、性能向上の軸は単一コアの高速化から並列性の拡大へと完全に移行した。マルチコアCPU、AVXのようなベクトル拡張、数千の演算コアを持つGPU、数万ノードのスーパーコンピュータが同時に現れたことで、「この機械はどの並列性を利用するのか」を分類する枠組みが実務的に切実となった。今日、巨大言語モデル(LLM)を数千枚のGPUで学習したり、リアルタイム推薦システムをマルチコアサーバファームで動かしたりする設計判断の根底には、いずれもフリンの分類的思考が横たわっている。すなわちフリンの分類は60年近く前の概念でありながら、AI・HPC時代に再び最も実用的な枠組みとなった。
2. 分類体系 — 二つの軸と四つの範疇
フリンの分類の全体構造は、以下のように2×2の格子で表現される。横軸はデータストリームの数、縦軸は命令ストリームの数であり、四つのマスがそれぞれ一つのアーキテクチャ範疇に対応する。
flowchart TB
ROOT["フリンの分類<br/>(命令ストリーム x データストリーム)"]
ROOT --> SISD["SISD<br/>単一命令・単一データ"]
ROOT --> SIMD["SIMD<br/>単一命令・多重データ"]
ROOT --> MISD["MISD<br/>多重命令・単一データ"]
ROOT --> MIMD["MIMD<br/>多重命令・多重データ"]
SISD --> SISDex["ノイマン型単一コア<br/>逐次実行"]
SIMD --> SIMDex["ベクトル/配列プロセッサ<br/>GPU・AVX"]
MISD --> MISDex["耐障害パイプライン<br/>希少事例"]
MIMD --> MIMDex["マルチコア・クラスタ<br/>分散システム"]
style SISD fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style SIMD fill:#e6f4ea,stroke:#188038,stroke-width:2px
style MISD fill:#fce8e6,stroke:#d93025,stroke-width:2px
style MIMD fill:#fef7e0,stroke:#f29900,stroke-width:2px
二つの軸を組み合わせた四つの範疇の核心的な性格を、まず表にまとめると次のとおりである。ただしこの表は比較の骨格にすぎず、各範疇が「なぜその構造を持つのか」は続く段落で説明する。
| 範疇 | 命令ストリーム | データストリーム | 代表事例 | 利用する並列性 |
|---|---|---|---|---|
| SISD | 1 | 1 | 伝統的な単一コアCPU | なし(命令レベルのパイプライン化は可能) |
| SIMD | 1 | 多数 | ベクトルユニット、GPU、DSP | データ並列性 |
| MISD | 多数 | 1 | 耐障害システム(希少) | (特殊)冗長・検証並列性 |
| MIMD | 多数 | 多数 | マルチコア、クラスタ、分散 | タスク・データ並列性 |
A. SISD — 逐次実行の原型
SISD(Single Instruction, Single Data)は、一つの制御装置が一度に一つの命令を取得し、その命令が一つのデータ項目を処理する古典的なノイマン型構造である。我々がよく「逐次プログラム」と呼ぶモデルがそのままハードウェアとして実装された形態であり、1970〜1990年代の単一コアCPUが典型である。並列性がないように聞こえるが、実際のSISDプロセッサ内部でもパイプライン化・スーパースカラ・分岐予測といった命令レベル並列性(ILP) の技法が用いられる。ただしこれは「プログラマには一つの逐次ストリームに見せながら」内部で重ねて実行するものであるため、フリンの分類の座標上では依然として単一命令・単一データに分類される。
SISDを理解することは、残り三つの範疇を理解する基準点となる。なぜならSIMD・MIMDはいずれも「SISDのどの限界をどのように乗り越えるか」で説明されるからである。例えば1億個の実数を加算する作業をSISDで行えば、1億回の加算を順に実行しなければならない。データは互いに独立であるにもかかわらず一度に一つずつ処理するこの非効率こそ、SIMDが攻める地点である。一方、異なる性格の複数の作業(ファイル入出力+ネットワーク処理+計算)を同時に進めたいときの非効率はMIMDが攻める。このようにSISDは「何が足りないか」を露わにする出発点として意味が大きい。
B. SIMD — 一つの命令、多数のデータ
SIMD(Single Instruction, Multiple Data)は、一つの命令を多数のデータ要素に同時に適用する構造であり、データ並列性を直接的に活用する。同じ演算を大量のデータに繰り返し適用する作業 — 画像・映像フィルタ、行列演算、信号処理、深層学習のテンソル演算 — で圧倒的に効率が高い。制御装置は一つで命令解読も一度だけ行うため、制御オーバーヘッドを分散器の数だけ分散させ、エネルギー効率とスループットを大きく高める。
SIMDの核心的原理は「制御は共有し、データ経路だけ増やす」ことである。例えばIntelのAVX-512は512ビットレジスタに32ビット実数を16個詰め、一度の命令で16個の乗算を同時に実行する。GPUはこの発想を極限まで推し進め、数千の演算コアが同じカーネル命令を各自のデータに適用する。下図は、SIMDの内部動作 — 一つの制御装置が複数の処理要素(PE)に同一命令を放送(broadcast)し、各PEは異なるデータを処理する構造 — を示している。
flowchart LR
CU["制御装置<br/>(命令1個を解読)"]
CU -->|同一命令を放送| PE0
CU -->|同一命令を放送| PE1
CU -->|同一命令を放送| PE2
CU -->|同一命令を放送| PE3
D0["データ 0"] --> PE0["PE 0"]
D1["データ 1"] --> PE1["PE 1"]
D2["データ 2"] --> PE2["PE 2"]
D3["データ 3"] --> PE3["PE 3"]
PE0 --> R["結果ベクトル"]
PE1 --> R
PE2 --> R
PE3 --> R
style CU fill:#e6f4ea,stroke:#188038,stroke-width:2px
style R fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
SIMDの最大の弱点は条件分岐(divergence) である。データごとに処理経路が異なると(一部はif、一部はelse)、一つの命令で全てを処理できないため、両方の経路を交互に実行しつつ不要な要素をマスキング(masking)しなければならず、効率が落ちる。したがってSIMDは「分岐が少なく規則的な大量演算」に最適であり、不規則な制御の流れが多い作業には不向きである。この限界を緩和するため、現代のGPUは後述するSIMTモデルを導入した。
C. MISD — 多重命令、単一データ
MISD(Multiple Instruction, Single Data)は、複数の異なる命令が同一の一つのデータストリームに作用する構造であり、四つの範疇の中で実際の商用事例が最も少ない。同じデータを複数のアルゴリズムが各々異なるように処理するモデルが実用的に有用な場合は多くないからである。そのため多くの教材はMISDを「ほとんど存在しない範疇」として紹介する。
ただしMISDが完全に無意味なわけではない。耐障害(fault tolerance) が極めて重要なシステムでは、同一の入力を異なる設計の複数の処理装置が独立して計算し、結果を多数決で比較する方式が用いられるが、これをMISDの一解釈とみなす。代表的に航空機の飛行制御コンピュータは、異なるチームが独立開発したアルゴリズムを同じセンサーデータに適用して誤りを相互検証する。また一つのデータが複数段階の異なる変換を経る体系的なパイプライン(例:通信信号の多段復調)をMISD的観点で説明することもある。核心は、MISDが「性能」より「信頼性・検証」のための冗長構造であるという点である。
D. MIMD — 多重命令、多重データ
MIMD(Multiple Instruction, Multiple Data)は、複数の制御装置が各自独立した命令ストリームを異なるデータに実行する、最も一般的で柔軟な並列構造である。今日のマルチコアCPU、多重ソケットサーバ、スーパーコンピュータ、データセンタークラスタ、さらにはインターネット規模の分散システムがすべてMIMDに属する。各処理器が異なるプログラムを動かせるため、タスク並列性とデータ並列性の両方を受け入れる。
MIMDはメモリ構造によって大きく二つに分かれる。第一に、すべての処理器が一つのアドレス空間を共有する共有メモリ(shared memory) 方式で、マルチコアCPUとSMP(対称型多重処理)サーバがここに該当する。プログラミングは相対的に容易だが(スレッド、OpenMP)、メモリアクセスの競合とキャッシュ一貫性(cache coherence)維持の費用が拡張の足を引っ張り、コア数が増えるとアクセス遅延が不均一になるNUMA構造へと発展する。第二に、各ノードが独立したメモリを持ちメッセージで通信する分散メモリ(distributed memory) 方式で、クラスタ・スーパーコンピュータが代表的であり、MPIのようなメッセージパッシングモデルでプログラミングする。ノードを数万個まで増やせるため拡張性に優れるが、通信遅延とデータ分配の設計が性能を左右する。下図はMIMDの二つのメモリモデルを対比したものである。
flowchart TB
subgraph SHARED["共有メモリ MIMD (SMP/NUMA)"]
C0["コア 0"] --> MEM["共有メモリ"]
C1["コア 1"] --> MEM
C2["コア 2"] --> MEM
end
subgraph DIST["分散メモリ MIMD (クラスタ)"]
N0["ノード 0<br/>ローカルメモリ"] <-->|メッセージ| NET["相互接続網"]
N1["ノード 1<br/>ローカルメモリ"] <-->|メッセージ| NET
N2["ノード 2<br/>ローカルメモリ"] <-->|メッセージ| NET
end
style MEM fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style NET fill:#fef7e0,stroke:#f29900,stroke-width:2px
実務ではMIMDはしばしばSPMD(Single Program, Multiple Data) というプログラミングパターンで実装される。すべてのノードが同じプログラムを動かしつつ、自ノード番号に応じて異なるデータの断片を処理する方式で、MPIベースのHPCコードと分散深層学習(データ並列学習)が典型である。SPMDは「ハードウェアはMIMD、記述は単一プログラム」という折衷により、生産性と拡張性を同時に得る。
3. 現代的拡張 — SIMTと異種構造
古典的な四つの範疇だけでは、現代のGPUをきれいに収めにくい。Flynn自身が1972年にSIMDを細分し「配列プロセッサ(array processor)」を区分したが、この概念の現代版こそ、NVIDIAが大衆化したSIMT(Single Instruction, Multiple Threads) である。SIMTは表向きは各スレッドが独立であるかのようにプログラミングされる(各スレッドが自分のインデックスでデータにアクセス)が、内部的には32個のスレッドを一つのワープ(warp)にまとめ、同じ命令を同時に実行するという点でSIMDの変形である。
SIMTが純粋なSIMDと異なる核心はスレッド単位の活性/非活性制御である。ワープ内のスレッドが条件分岐で異なる経路を取ると、ハードウェアが各経路を逐次実行しつつ、その経路に属さないスレッドを非活性化(predication)する。おかげでプログラマは分岐のある自然なコードを書けて、ハードウェアが発散(divergence)を処理する。ただし発散が激しいと性能が急落するため、GPUカーネル最適化の核心は依然として「ワープ内のスレッドが同じ経路を取るように」データを配置することである。このようにGPUはSIMDの効率とMIMDの柔軟性の間のどこかに位置し、実際に一つのGPUは複数のSM(Streaming Multiprocessor)が異なるカーネルを動かせるため、全体としてはMIMD的な性格も帯びる。
現代のプロセッサが事実上複数の範疇の混合体であるという点も重要である。今日のサーバCPUは「複数のコア(MIMD)それぞれがベクトルユニット(SIMD)を備えた」構造であり、AIサーバは「マルチコアCPU(MIMD)+複数のGPU(SIMT/SIMD)」で構成された異種(heterogeneous)システムである。すなわちフリンの分類は、純粋な単一範疇を見つけるための枠組みというより、特定の演算をどの下位構造に写像するかを判断する設計レンズとして用いるのが現代的用法である。
4. 比較と実際の適用事例
四つの範疇は「どの並列性をどの代償で得るか」で分かれる。SIMD/SIMTは制御を共有してエネルギー・面積効率が高いが分岐が多いと崩れ、MIMDは柔軟だが同期・通信・一貫性の費用を払う。下表は選択基準を実務の観点でまとめたものである。
| 区分 | SIMD/SIMT | MIMD(共有メモリ) | MIMD(分散メモリ) |
|---|---|---|---|
| 適合ワークロード | 規則的な大量データ演算 | 中規模のタスク並列 | 超大規模拡張 |
| 代表ハードウェア | GPU、AVX、DSP | マルチコア・SMPサーバ | クラスタ・スーパーコンピュータ |
| プログラミングモデル | CUDA、イントリンシック、OpenCL | スレッド、OpenMP | MPI、分散フレームワーク |
| 拡張限界の要因 | 分岐発散、メモリ帯域幅 | キャッシュ一貫性、競合 | 通信遅延、負荷不均衡 |
| 費用特性 | 高いスループット/ワット | 中程度 | 通信・運用費用が大きい |
第一の事例として、深層学習の学習は二つの範疇を階層的に結合する。単一GPU内部の行列積はSIMTで処理され(数千コアが同じ演算を異なる要素に適用)、数百〜数千枚のGPUを束ねる大規模学習はMIMD/SPMDで組織される(各GPUがデータの異なるミニバッチを処理し勾配を集計)。例えば数千億パラメータのLLM学習では、単一装置の演算効率はSIMT最適化が、全体の拡張性は分散通信(All-Reduce)の設計が左右する。第二に、気象・流体シミュレーションのような伝統的HPCは分散メモリMIMD(SPMD+MPI)で数万コアに格子を分割して解く。第三に、マルチメディア・ゲームレンダリングと映像エンコードはSIMD/SIMTが画素・ブロック単位の並列性を直接活用し、スマートフォンAPのDSP・NPUも同じ原理である。このように実際のシステムは、単一範疇ではなく「どの階層でどの並列性を使うか」の組み合わせで設計される。
5. 深化 — AI・異種コンピューティング時代のフリンの分類
フリンの分類は60年近い枠組みだが、逆説的にAI加速と異種コンピューティングが普遍化することで、再び実務の中心言語となった。最近の動向を三点に整理できる。
第一に、SIMDの再浮上と細分化である。CPUのベクトル拡張はIntel AVX-512を超えて、Armのスケーラブルベクトル拡張(SVE)のように「ベクトル長をハードウェアに応じて可変」とする方向へ進化している。これは同一コードを異なる幅のSIMDハードウェアで動かそうとする試みで、SIMDプログラミングの移植性問題を緩和する。GPU側でもテンソルコアのような「行列積専用のSIMDブロック」が追加され、SIMDがより特殊化・高密度化している。
第二に、異種・ドメイン特化アーキテクチャ(DSA)の浮上である。CPU(MIMD)+GPU(SIMT)+NPU/TPU(行列特化SIMD)+DPU(データ移動特化)を一つのシステムに結合する構造が標準になることで、設計者は各演算を最も適した範疇のユニットに配置する「写像問題」を解くことになった。フリンの分類はこの写像の共通言語として機能する — 例えば「このループはデータ並列なのでSIMD/GPUへ、あの制御ロジックはMIMDコアへ」という一次判断がそれである。
第三に、メモリ・通信が性能を支配する転換である。演算ユニットがいくら多くても(SIMD/SIMT/MIMD)、データを間に合って供給できなければ遊んでしまうため(memory wall)、現代アーキテクチャの核心的競争はHBMのような高帯域メモリ、キャッシュ一貫性プロトコル、NVLinkなど高速相互接続網へ移った。これはフリンの分類が「演算ストリーム」の観点の分類にすぎず、実際の性能は「データ供給」の設計が左右することを示す。すなわちフリンの分類は始点であって、すべてではない。アムダール・グスタフソンの法則が言う拡張限界、NUMA・相互接続網・キャッシュ一貫性が言うデータ移動費用と必ず併せて考慮しなければならない。
6. 考慮事項および示唆点
フリンの分類を実際のアーキテクチャ意思決定に適用する際、技術士の観点で押さえるべき点は次のとおりである。
並列性の類型の事前診断が優先される。 ワークロードがデータ並列(規則的・大量)かタスク並列(異質・独立)かをまず判別しなければ、ハードウェア(SIMD/GPU対MIMD/クラスタ)とプログラミングモデルが決まらない。誤って分類すると、GPUに分岐の多いロジックを載せ、性能がCPUより劣る逆転が生じる。分類は投資決定に先行する段階である。
純粋な範疇ではなく混合・階層設計が現実である。 実際のシステムは「MIMDノード内のSIMT GPU内のベクトル演算」のように範疇が入れ子になる。したがって、いずれか一つの範疇だけを最適化するのではなく、各階層(ノード間分散、ノード内マルチコア、装置内ベクトル)で並列性を入れ子で活用する設計が全体性能を左右する。
演算範疇よりデータ移動が隘路になる時代である。 メモリ帯域幅・通信遅延・キャッシュ一貫性の費用が実際の拡張性を決めるため、フリンの分類で演算構造を定めた後は、アムダール・グスタフソンの法則で拡張限界を、NUMA・相互接続網でデータ供給を併せて評価しなければならない。演算器の数を増やす投資より、データ局所性(locality)の改善がより大きな効果を生む場合が多い。
移植性と総所有費用(TCO)を併せて見る。 SIMDは命令セット(AVX/SVE/NEON)に依存的で、GPUはベンダーエコシステム(CUDAなど)に縛られやすく、特定の範疇に過度に最適化すると移植性と交渉力が落ちる。電力効率(性能/ワット)と開発・運用費用、ベンダーロックインまで含めたTCOの観点でアーキテクチャを選択しなければならない。
展望:AI・HPCの収束とDSAの拡散。 AI加速器と伝統的HPCが同じハードウェアへ収束し、ドメイン特化加速器(NPU・TPU・DPU)が増えるほど、「演算をどの並列構造へ写像するか」というフリンの分類的判断の重要性は高まる。コンパイラ・ランタイムがこの写像を自動化する方向(例:異種オフロード)も核心的な研究テーマである。
参考資料
- Flynn's taxonomy, Wikipedia: https://en.wikipedia.org/wiki/Flynn%27s_taxonomy
- Flynn's Taxonomy of Parallel Systems, Indiana University CS Notes: https://www.cs.indiana.edu/classes/b673/Notes/taxonomy.html
- Processor Taxonomies (SISD, SIMD, MIMD, MISD, SIMT): https://home.roboticlab.eu/en/multiasm/cs/chapter_3_5
一言まとめ: フリンの分類は命令・データストリームの数でコンピュータ構造をSISD・SIMD・MISD・MIMDに分ける並列コンピューティングの基本フレームであり、今日のマルチコアCPU・ベクトルユニット・GPU(SIMT)・クラスタはこれらの範疇を階層的に入れ子にしてデータ並列性とタスク並列性を併せて活用し、演算構造の選択と同じくデータ移動の設計が実際の性能を左右する。