シストリックアレイ(Systolic Array)
1. 概要
A. 定義
シストリックアレイ(Systolic Array) とは、同一構造の処理要素(PE, Processing Element)を規則的な格子に配列し、心臓が拍動(systole)で血液を押し出すように、データが1クロックごとに隣接PEへ同期移動しながら、各PEが積和演算(MAC, Multiply-Accumulate) を実行するように設計した、データフロー型の特定目的並列演算構造である。
シストリックアレイの本質は「制御ではなくデータの流れ(flow) が演算を駆動する」点にある。フォンノイマン構造では、プロセッサが演算ごとにメモリから被演算数を読み込み結果を書き戻す過程を繰り返し、このメモリ往復が性能と電力の隘路となる。シストリックアレイはこの隘路を根本的に避けるため、データをメモリから一度だけ読み込み、その後アレイ内部を通過させて多数のPEがその値を再利用するようにする。すなわち「メモリアクセスを減らす代わりに演算器間の局所通信(nearest-neighbor)を増やす」という交換が設計思想の核心であり、このため規則的で反復的な演算—とりわけ行列積(GEMM)と畳み込み(Convolution)—で圧倒的な効率を発揮する。
この概念は1978〜1979年にカーネギーメロン大のH.T. KungとMITのCharles E. Leisersonが、VLSI設計の文脈で提案した。当時の核心的洞察は「チップで高価なのは演算器ではなく長い配線とメモリアクセスであり、すべての通信を隣接セル間の短い配線に制限すれば、規則的構造を極めて密に集積できる」というものであった。この発想は数十年を経てGoogle TPUをはじめとする現代AIアクセラレータの行列演算エンジンとして復活し、計算機構造の教科書的古典が再び産業の中心技術へと躍り出た代表例となった。
B. 登場背景および必要性
シストリックアレイが再び注目される背景には三つの圧力が重なっている。第一はメモリの壁(Memory Wall) である。半導体プロセス微細化で演算器速度は急速に上がったが、外部DRAMの帯域幅・遅延はそれに追いつかず、今日のAI演算の真のコストは乗算そのものではなく、被演算数を遠いメモリから運ぶデータ移動エネルギーに集中している。一度読んだデータをアレイ内部で何百回も再利用するシストリック構造は、この移動量を画期的に減らす。
第二は深層学習演算の爆発である。深層ニューラルネットワークの推論・学習は結局、巨大な行列積と畳み込みの反復であり、この演算は同一のMACパターンが規則的に反復される特性をもつ。このようにデータアクセスパターンが静的に予測可能なワークロードは、分岐予測や非順序実行のような汎用制御ロジックが不要であり、制御を取り除いて演算器と配線を規則的に敷けるシストリックアレイと相性が完璧である。
第三は電力・面積効率の限界である。ムーアの法則の鈍化とデナードスケーリングの終焉により、トランジスタを増やしても電力密度が同時に跳ね上がる状況で、性能を引き上げるには汎用性を捨てて特定演算に回路を特化するドメイン特化アーキテクチャ(DSA) が事実上唯一の出口となった。シストリックアレイは制御オーバーヘッドがほぼなく同一面積に最も多くのMACを集積できるため、電力当たり演算量(TOPS/W)を最大化しようとするAIアクセラレータ設計の中核的選択肢として定着した。
C. 特徴
シストリックアレイの性格は、① 規則的・同型(homogeneous)なPE格子、② 同期式パイプラインのデータポンピング、③ 局所通信(nearest-neighborのみ)、④ 高いデータ再利用による演算集約度(Operational Intensity)の最大化に要約される。この四つの軸は互いに噛み合っている。同型PEの規則性(①)があるからこそデータをパイプラインのように一方向へ押し込め(②)、すべての通信を隣接セルに制限(③)するため長い配線と大域制御が消え、密な集積が可能となり、その結果一度ロードした値がアレイを貫通しながら反復再利用(④)されて電力効率が完成する。
逆にこの規則性を外れた瞬間、四つの利点が同時に弱まる。小さな行列、疎(sparse)演算、不規則なアクセスパターンでは、アレイが空で回り利用率(utilization)が急落する。したがってシストリックアレイを理解するとは「どの条件でその強みが成立し、どの条件で崩れるか」を知ることと同じであり、この両面性が後述するデータフロー選択と実務設計のトレードオフをすべて規定する。
2. 構造と動作原理
シストリックアレイの性能は、データをいかにアレイへ流し込み再利用を最大化するかにかかっている。下の構造図は、ホスト・メモリ階層と2次元PEアレイが協調する典型的なシステム構成を示す。
flowchart LR
subgraph HOST["ホストシステム"]
CPU["CPU(制御·グラフ分解)"]
DRAM["外部メモリ(DRAM/HBM)"]
CPU --- DRAM
end
subgraph ACC["アクセラレータ(オンチップ)"]
WFIFO["重みFIFO/バッファ"]
ABUF["活性化バッファ(SRAM)"]
ARR["PEアレイ(2D Systolic MAC)"]
ACC2["累算器/部分和収集"]
POST["活性化·正規化·プーリング"]
WFIFO --> ARR
ABUF --> ARR
ARR --> ACC2
ACC2 --> POST
POST --> ABUF
end
DRAM -- "重みストリーム" --> WFIFO
DRAM -- "入力活性化" --> ABUF
CPU -- "命令/ディスクリプタ" --> ARR
ホストCPUがモデルの演算グラフを分解して行列積・畳み込みをアクセラレータへ委任すると、重みは重みFIFOを通じて、入力活性化はオンチップSRAMバッファを通じて、それぞれPEアレイの異なる辺(edge) へ供給される。アレイ内部を通る間に部分和が累積し、アレイを出た結果は活性化・正規化・プーリングユニットを経て再びバッファへ還流する。ここで決定的な点は、遅く電力を多く消費する外部DRAMアクセスを最小化するため、一度ロードしたデータをアレイ内に可能な限り長く留めるという設計意図である。
A. 処理要素(PE)とデータポンピング
アレイを構成する最小単位であるPEは、一つの乗算器、一つの加算器、少数のレジスタから成る極めて単純な回路である。各PEはクロックごとに左(または上)から入った入力と、自らが保持または通過させる重みを掛け、上(または左)から降りてきた部分和に加えて次のPEへ渡す。この単純さこそシストリック構造の強みであり、PEが単純なため数万個を同一面積に密に打ち込め、制御が分散しているため大域制御器や長い配線が不要となる。Google TPU v1が256×256格子、すなわち65,536個のMACユニットを一チップに集積し、700MHzで1サイクルに6万回超の積和を実行したのが、この密集積の代表例である。
データ「ポンピング(pumping)」という表現は、データがパイプラインに沿って1マスずつ規則的に押し込まれる様子を指す。重要な特性は充填・排出(load & drain)区間が存在する点である。アレイの最初の結果が反対側へ出るにはデータが格子をすべて通過せねばならないため、N×Nアレイでは初期に約2Nクロックの充填遅延が生じ、最後にも同様の排出遅延が伴う。このため連続した大きな行列を流す際にはこの遅延がスループットに希釈されて効率が最大化されるが、小さな行列を単発で処理すると充填・排出オーバーヘッドが相対的に大きくなり利用率が下がる。これが「シストリックアレイは大きなバッチ・大きな行列に有利である」という実務的経験則の根拠である。
B. 行列積マッピングとデータフロー
行列 C = A × B をシストリックアレイに載せる方式を2×2の縮小例で見ると、重み(B)は各PEに常駐し、入力(A)は左から行ごとに時差をつけて流れ込み、部分和は下へ累積して出ていく。データが1マスずつずれて(skew)入る理由は、各PEが正しい対の入力と重みを同じクロックに出会わせるようタイミングを合わせるためである。
flowchart TB
A1["A行1 入力"] --> P11["PE11(MAC)"]
A2["A行2 入力"] --> P21["PE21(MAC)"]
P11 --> P12["PE12(MAC)"]
P21 --> P22["PE22(MAC)"]
W11["重み b11"] -.常駐.-> P11
W12["重み b12"] -.常駐.-> P12
W21["重み b21"] -.常駐.-> P21
W22["重み b22"] -.常駐.-> P22
P11 --> S1["部分和 下へ"]
P12 --> S2["部分和 下へ"]
P11 --> P21
P12 --> P22
P21 --> C1["結果 c·1"]
P22 --> C2["結果 c·2"]
このマッピングでの核心的利得はデータ再利用率である。Aのある行の要素は右へ流れながらその行のすべてのPEで再利用され、重みはアレイに常駐したまま流れ込むすべての入力と反復して掛けられる。結果としてO(N²)の大きさのデータを一度供給してO(N³)に近い演算を実行するため、外部メモリ帯域幅に対する演算量(演算集約度)が最大化される。まさにこの点がシストリックアレイがメモリの壁を迂回する核心メカニズムである。
3. データフロー(Dataflow)の類型
シストリックアレイの性能と電力効率は、何をアレイ内に固定(stationary)し、何を流すかを決めるデータフロー戦略に大きく左右される。再利用できるデータは重み(Weight)、入力活性化(Input)、部分和(Partial Sum)の三種類であり、どれをPE内部に留めるかによって下の四つの代表類型に分かれる。類型選択は単なる実装の細部ではなく、どのデータの移動エネルギーを節約するかに関する戦略的決定である。
A. 重み固定(Weight Stationary)
重みを各PEに予め適載しておき、入力活性化を流す方式である。重みは一度ロードされるとアレイ全体の演算中に再適載されないため、重み再利用が多い推論(inference) に特に有利である。推論では学習で固定された同一の重み行列で多数の入力バッチを反復処理するため、重みをアレイに固定すればその移動コストを事実上0へ収束させられる。
Google TPU v1とAWS Inferentiaがこの方式を採用したのは、こうした推論ワークロードの経済性を正確に狙った設計決定である。例えば256×256アレイに6万個あまりの重みを適載すれば、以後流れ込む数千個の入力に対して重みは再びメモリから読まれず再利用されるため、DRAM帯域幅の圧迫が大きく緩和される。
ただしモデルパラメータがアレイ容量を超えると重みをブロック単位で交換適載せねばならず、適載中はアレイが演算できず遊ぶ(idle)区間が生じる。このため実務では重みFIFOとダブルバッファリングで「次ブロックの適載」と「現ブロックの演算」を重ね、適載遅延を演算の背後に隠す設計が併用される。結局、重み固定の成否は重み交換頻度をいかに下げ、適載をいかにうまく隠蔽するかにかかっている。
B. 出力固定(Output Stationary)
各PEが一つの出力要素(部分和)を担い、内部累算器に累積し続け、重みと入力をともに流す方式である。Kung–Leisersonの古典的形態に近く、部分和をPEの外へ移さないため、部分和の移動エネルギーと累算過程の精度損失を最小化する。
この方式が有利な理由は累算の性質にある。長い内積や深い畳み込みでは一つの出力値を得るために数百〜数千回の乗算結果を足さねばならず、この部分和を毎回メモリや他のPEへ移すと移動エネルギーが累積し、反復量子化で精度も揺らぐ。出力固定は部分和をPE内に縛ることでこのコストを源泉で遮断する。
代わりに重みと入力を毎サイクル新たに供給せねばならないため、入力側の帯域幅要求が相対的に大きい。したがって出力固定はオンチップバッファ帯域幅が十分な場合や、出力再利用が支配的な演算パターンで選択される。重み固定と出力固定の選択は結局「重みの移動が高価か、部分和の移動が高価か」というワークロード特性の問いに帰着する。
C. 入力/行固定(Input / Row Stationary)
入力活性化を再利用軸として固定するか、MIT Eyerissが提案した行固定(Row Stationary) のように、一行の畳み込み計算全体を一つのPEにマッピングし、重み・入力・部分和の再利用を同時にバランスよく最大化する方式である。
行固定の洞察は「一種類のデータのみ固定すれば残り二種類の移動が増える」という限界を越えようとする点にある。畳み込みは重み・入力・部分和のいずれにも再利用機会があるため、一軸のみ最適化するよりも三軸をともに考慮してPEアレイとオンチップメモリ階層全般のデータ移動総量を最小化する方が、全体エネルギーの観点で有利である。Eyerissはこの戦略で特定の一種類のみ固定する方式より優れたエネルギー効率を報告した。
その代償としてマッピングとスケジューリングが複雑になる。どの行をどのPEに載せ部分和をどう集めるかが精緻になるため、コンパイラとハードウェア制御ロジックの負担が増す。これは「ハードウェア効率とソフトウェア複雑度の間のトレードオフ」というアクセラレータ設計の本質的緊張をよく示す事例であり、データフロー選択がすなわちコンパイラスタックへの投資決定に直結することを示唆する。
D. 類型比較と選択基準
四類型の差は結局「どのデータ移動がこのワークロードで最も高価か」への答えで分かれる。推論のように重み再利用が支配的なら重み固定が、深い累算が支配的なら出力固定が、再利用パターンが複合的なら行固定が有利である。下の表は補助整理であり、実際の設計は対象モデルの演算分布をプロファイリングして決定する。
| データフロー | 固定対象 | 核心的利得 | 代表適用 | 弱点 |
|---|---|---|---|---|
| Weight Stationary | 重み | 重み移動最小、推論効率 | TPU v1, AWS Inferentia | 大型モデル重みの再適載コスト |
| Output Stationary | 部分和 | 累算移動・精度損失最小 | 古典的systolic, 一部DSP | 入力帯域幅要求が大 |
| Input Stationary | 入力活性化 | 入力再利用最大化 | 特定CNNアクセラレータ | 重み移動の増加 |
| Row Stationary | 行単位の複合 | 三データの均衡再利用 | Eyeriss | マッピング・スケジューリング複雑 |
4. 他の並列アーキテクチャとの比較
シストリックアレイのアイデンティティは、GPU・ベクトル(SIMD)構造と比較すると鮮明になる。GPUは数千個の汎用コアが共有メモリとレジスタファイルを通じてデータをやり取りする中央集中型のデータ供給構造である。柔軟性に優れ多様な演算を処理するが、コアごとにレジスタ・メモリを頻繁にアクセスするためデータ移動エネルギーが相対的に大きく、汎用制御ロジックがダイ面積を占める。一方シストリックアレイはデータがPE間を直接流れて伝達され、レジスタファイル・共有メモリの往復を省くため、規則的行列演算では同一面積・電力でGPUより高いMAC密度と電力効率を出す。
差が生じる根本的理由は「データ移動経路」にある。GPUでは被演算数がメモリ↔レジスタ↔演算器を数回行き来するが、シストリックアレイでは入力がアレイの一辺から入り反対側へ一度抜ける間にすべての再利用が終わる。この構造的差が電力効率の格差として現れる。ただしこれは「規則的演算」という前提でのみ成立し、分岐が多かったりデータ依存が不規則な汎用ワークロードではGPUの柔軟性が圧倒的に有利である。実際TPU v1論文(ISCA 2017)は同時代GPU比で推論において数十倍の性能/電力の利点を報告したが、これは推論という特定の規則的ワークロードに限定された結果であることを明確にした。
したがって現代AIシステムは両者を対立ではなく相補関係として結合する。すなわち不規則・制御中心の部分はCPU・GPUが担い、規則的な大型行列積はシストリックエンジン(TPU・NPUのMXU/MACアレイ)が専任する異種コンピューティング(Heterogeneous Computing)構造が標準となった。シストリックアレイは汎用アクセラレータの「競争相手」ではなく、最も高価な演算区間を切り取って担う「専用エンジン」として位置づけられたのである。
5. 深化: 実務適用事例と最新動向
シストリックアレイは学術概念を超え、今日のAI半導体競争の心臓部にある。最も象徴的な事例はGoogle TPUである。TPU v1は256×256の重み固定シストリックアレイ(65,536 MAC)でINT8基準約92 TOPSを約40W水準で達成し、データセンター推論コストを劇的に下げた。以後の世代(TPU v2〜v5/v6系列)は行列積ユニット(MXU)を多数搭載し、BF16学習支援と大規模相互接続(ICI)を加えて、数千チップを束ねるTPU PodでLLM学習まで拡張された。核心の行列エンジンのDNAが依然としてシストリック構造である点が重要である。
動向の第二の軸はビッグテックの自社アクセラレータ拡散である。AWSは推論用Inferentiaと学習用Trainiumにシストリック系列の行列エンジンを搭載し、テスラの自動運転学習用Dojo、多数のモバイル・エッジNPU(サムスン・クアルコム・アップル)のMACアレイも事実上シストリックまたはその変形データフローを採用する。これは「汎用GPU依存度を下げ、ワークロードに合わせた専用シリコンを内製化する」という産業全般の戦略転換を反映する。
第三の軸は構造的進化である。固定サイズアレイの低利用率問題を緩和するため、柔軟・再構成型(flexible/reconfigurable)データフロー、大きなアレイを小さなタイルに分割して小さな行列でも利用率を高める多重小型アレイ(multi-pod)設計、疎行列の0を飛ばす疎性支援(sparsity support)、そしてFP8・INT4などの超低精度数値形式との結合が活発に研究される。また演算器をメモリ近くに配置するPIM(Processing-in-Memory)・アナログ行列演算とシストリック概念を接合しようとする試みも続いている。要するに1970年代の概念が2020年代のAI需要に合わせ、帯域幅・精度・柔軟性の軸で再解釈されているのである。
6. 考慮事項および示唆点
技術士の観点から、シストリックアレイは「概念そのもの」より適用条件とトレードオフを正確に判断する設計力として理解すべきである。
- ワークロード適合性(利用率)の判断: シストリックアレイの利点は大きな行列・高い演算集約度でのみ完全に実現される。小さな・疎な・不規則なワークロードでは利用率が急落するため、導入前に対象モデルの演算分布をプロファイリングし、アレイサイズ・タイリング戦略を合わせねばならない。「すべてのAIに無条件に有利である」という誤解を警戒すべきである。
- データフロー–モデル整合性: 推論中心なら重み固定、深い累算なら出力固定、複合再利用なら行固定のように、支配的な再利用軸にデータフローを合わせてこそ電力効率が生きる。ハードウェア選択はコンパイラ・マッピング戦略とともに決定されねばならず、ソフトウェアスタック(XLA等のコンパイラ)の成熟度が実性能を左右する。
- 精度–正確度のトレードオフ: INT8・FP8・INT4などの低精度演算はスループットと電力効率を大きく高めるが、モデル正確度の損失を伴う。量子化認識学習(QAT)・較正(calibration)で損失を管理し、サービス品質基準(SLA)の内で精度を選ぶ工学的均衡が必要である。
- 異種コンピューティング統合と依存性: シストリックエンジンは単独ではなくCPU・GPUと結合した異種システムの一部として運用されるため、データ移動・スケジューリング・メモリ階層全般の隘路(重み適載遅延、活性化帯域幅)をともに設計せねばならない。また特定ベンダのアクセラレータ・コンパイラへの依存(lock-in)リスクとエコシステム成熟度を戦略的に考慮すべきである。
- 将来展望と連携技術: 再構成型データフロー・疎性支援・超低精度・PIM接合が性能限界を押し上げる一方、HBM・チップレット・先端パッケージングがアレイにデータを供給する帯域幅を支える。シストリックアレイはNPU・TPU・オンデバイスAI・データセンター加速全般と連携するAI半導体の共通演算基盤として、今後も電力効率競争の核心軸であり続ける見込みである。
参考資料
- H.T. Kung, C.E. Leiserson, "Systolic Arrays (for VLSI)" (1978/1979): https://en.wikipedia.org/wiki/Systolic_array
- N.P. Jouppi et al., "In-Datacenter Performance Analysis of a Tensor Processing Unit" (ISCA 2017): https://arxiv.org/abs/1704.04760
- Y. Chen et al., "Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep CNNs (Row Stationary)": https://ieeexplore.ieee.org/document/7738524
- Google Cloud, "TPUアーキテクチャの概要": https://cloud.google.com/tpu/docs/system-architecture-tpu-vm
一言まとめ: シストリックアレイは、同型PE格子にデータを拍動のように流しながら積和を局所通信で処理しデータ再利用を最大化するデータフロー構造であり、重み・出力・行固定などの戦略選択を通じてメモリの壁を迂回し、TPU・NPUなど現代AIアクセラレータの電力効率の高い行列演算エンジンとして復活した計算機構造の古典である。