Phân loại Flynn (Flynn's Taxonomy) và kiến trúc tính toán song song
1. Tổng quan
A. Định nghĩa
Phân loại Flynn (Flynn's Taxonomy) là một hệ thống phân loại kiến trúc máy tính dựa trên tổ hợp của hai trục — số luồng lệnh (instruction stream) và số luồng dữ liệu (data stream) — do Michael J. Flynn đề xuất năm 1966 và tinh chỉnh trong bài báo năm 1972, và là khung phân loại cơ bản nhất của kiến trúc tính toán song song. Vì mỗi trục có thể nhận giá trị "một (Single)" hoặc "nhiều (Multiple)", bốn phạm trù được dẫn ra — SISD, SIMD, MISD và MIMD — và phân loại này ngày nay được dùng như vốn từ vựng chung để mô tả CPU đa nhân, đơn vị vector, GPU, siêu máy tính và cụm phân tán.
Câu hỏi đầu tiên khi bàn về tính toán song song là "cái gì được xử lý song song?". Có máy áp dụng một lệnh duy nhất cho vô số mục dữ liệu cùng lúc (ví dụ: cùng một hiệu chỉnh độ sáng trên 10 triệu điểm ảnh của một bức ảnh), có máy thực thi các lệnh khác nhau trên dữ liệu riêng của mình một cách độc lập (ví dụ: máy chủ web xử lý nhiều yêu cầu qua các đường mã khác nhau). Flynn đã trừu tượng hóa khác biệt này thành hai câu hỏi đơn giản nhưng mạnh mẽ: "luồng lệnh là một hay nhiều?" và "luồng dữ liệu là một hay nhiều?". Nhờ trừu tượng hóa này, ngay cả phần cứng hoàn toàn khác nhau cũng có thể được gộp vào cùng phạm trù để so sánh nguyên lý thiết kế.
Phân loại Flynn quan trọng vì nó không phải là một bảng học thuộc mà là điểm khởi đầu của chiến lược song song hóa. Khi muốn tăng tốc một tải công việc, việc phép tính đó mang "tính song song dữ liệu (data parallelism)" hay "tính song song tác vụ (task parallelism)" sẽ thay đổi hoàn toàn phần cứng cần chọn (vector/GPU so với đa nhân/cụm) và mô hình lập trình (SIMD intrinsic, CUDA, MPI, luồng). Dưới góc nhìn Kỹ sư chuyên nghiệp, phân loại Flynn là khung quyết định kiến trúc bậc một để xác định "sẽ song song hóa bằng cấu trúc nào" ngay cả trước khi định luật Amdahl và Gustafson cho biết "sẽ nhanh hơn bao nhiêu".
B. Bối cảnh ra đời và sự cần thiết
Giữa thập niên 1960 là thời kỳ song song với nỗ lực nâng hiệu năng của bộ xử lý đơn, các máy tính song song sơ khai (bộ xử lý mảng như SOLOMON, ILLIAC IV) gom nhiều đơn vị xử lý để nâng hiệu năng đã xuất hiện. Tuy nhiên lúc đó không có ngôn ngữ phân loại chung để so sánh những cỗ máy dị biệt. Bằng cách đề xuất cách nhìn tách bộ xử lý thành "dòng điều khiển lấy và giải mã lệnh" và "dòng dữ liệu mà lệnh đó xử lý", Flynn đã giúp đặt cả máy vector lẫn máy đa bộ xử lý lên cùng một hệ tọa độ.
Sự cần thiết của phân loại này càng lớn theo thời gian. Khi mức tăng tốc độ xung nhịp dựa trên định luật Moore chạm vào bức tường điện năng/nhiệt (power wall) vào giữa thập niên 2000, trục cải thiện hiệu năng đã chuyển hoàn toàn từ việc tăng tốc một nhân sang mở rộng tính song song. Khi CPU đa nhân, các mở rộng vector như AVX, GPU với hàng nghìn nhân tính toán, và siêu máy tính hàng vạn nút đồng loạt xuất hiện, một khung để phân loại "cỗ máy này khai thác tính song song nào?" trở nên cấp thiết về mặt thực tiễn. Bên dưới quyết định thiết kế huấn luyện mô hình ngôn ngữ lớn (LLM) trên hàng nghìn GPU, hay vận hành hệ thống gợi ý thời gian thực trên trang trại máy chủ đa nhân, đều có tư duy kiểu Flynn. Nghĩa là phân loại Flynn tuy là khái niệm gần 60 năm tuổi nhưng lại trở thành khung thực dụng nhất một lần nữa trong thời đại AI/HPC.
2. Hệ thống phân loại — hai trục và bốn phạm trù
Cấu trúc tổng thể của phân loại Flynn được biểu diễn bằng lưới 2×2 như dưới đây. Trục ngang là số luồng dữ liệu, trục dọc là số luồng lệnh, mỗi ô trong bốn ô tương ứng với một phạm trù kiến trúc.
flowchart TB
ROOT["Phân loại Flynn<br/>(luong lenh x luong du lieu)"]
ROOT --> SISD["SISD<br/>một lệnh, một dữ liệu"]
ROOT --> SIMD["SIMD<br/>một lệnh, nhiều dữ liệu"]
ROOT --> MISD["MISD<br/>nhiều lệnh, một dữ liệu"]
ROOT --> MIMD["MIMD<br/>nhiều lệnh, nhiều dữ liệu"]
SISD --> SISDex["đơn nhân von Neumann<br/>thực thi tuần tự"]
SIMD --> SIMDex["bộ xử lý vector/mảng<br/>GPU, AVX"]
MISD --> MISDex["đường ống chịu lỗi<br/>trường hợp hiếm"]
MIMD --> MIMDex["đa nhân, cụm<br/>hệ thống phân tán"]
style SISD fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style SIMD fill:#e6f4ea,stroke:#188038,stroke-width:2px
style MISD fill:#fce8e6,stroke:#d93025,stroke-width:2px
style MIMD fill:#fef7e0,stroke:#f29900,stroke-width:2px
Tính chất cốt lõi của bốn phạm trù kết hợp hai trục trước hết được tóm tắt trong bảng dưới. Tuy nhiên bảng này chỉ là bộ khung của sự so sánh; "vì sao mỗi phạm trù có cấu trúc đó" được giải thích trong các đoạn tiếp theo.
| Phạm trù | Luồng lệnh | Luồng dữ liệu | Trường hợp tiêu biểu | Tính song song khai thác |
|---|---|---|---|---|
| SISD | 1 | 1 | CPU đơn nhân truyền thống | Không (có thể dùng đường ống mức lệnh) |
| SIMD | 1 | Nhiều | Đơn vị vector, GPU, DSP | Song song dữ liệu |
| MISD | Nhiều | 1 | Hệ thống chịu lỗi (hiếm) | (Đặc biệt) song song dư thừa/kiểm chứng |
| MIMD | Nhiều | Nhiều | Đa nhân, cụm, phân tán | Song song tác vụ/dữ liệu |
A. SISD — nguyên mẫu của thực thi tuần tự
SISD (Single Instruction, Single Data) là cấu trúc von Neumann cổ điển trong đó một đơn vị điều khiển lấy một lệnh mỗi lần và lệnh đó xử lý một mục dữ liệu. Đây là mô hình ta thường gọi là "chương trình tuần tự" được hiện thực trực tiếp thành phần cứng, điển hình là các CPU đơn nhân thập niên 1970–1990. Nghe như không có tính song song, nhưng ngay bên trong một bộ xử lý SISD thực tế vẫn dùng các kỹ thuật song song mức lệnh (ILP) như đường ống (pipelining), siêu vô hướng (superscalar), dự đoán rẽ nhánh. Tuy nhiên vì các kỹ thuật này chồng lấn thực thi bên trong "trong khi vẫn hiện ra với lập trình viên như một luồng tuần tự duy nhất", trên hệ tọa độ của phân loại Flynn nó vẫn được phân vào một lệnh, một dữ liệu.
Hiểu SISD cung cấp điểm tham chiếu để hiểu ba phạm trù còn lại, bởi SIMD và MIMD đều được giải thích bằng "vượt qua giới hạn nào của SISD, và bằng cách nào". Ví dụ, cộng 100 triệu số thực bằng SISD đòi hỏi 100 triệu phép cộng thực hiện tuần tự. Dữ liệu độc lập với nhau nhưng lại được xử lý từng cái một, và chính sự kém hiệu quả này là điểm mà SIMD nhắm tới. Trong khi đó, sự kém hiệu quả khi muốn tiến hành đồng thời nhiều tác vụ khác bản chất (nhập/xuất tệp + xử lý mạng + tính toán) là điều MIMD nhắm tới. Như vậy SISD có ý nghĩa lớn với tư cách điểm khởi đầu phơi bày "cái gì còn thiếu".
B. SIMD — một lệnh, nhiều dữ liệu
SIMD (Single Instruction, Multiple Data) là cấu trúc áp dụng một lệnh đồng thời cho nhiều phần tử dữ liệu, khai thác trực tiếp tính song song dữ liệu. Nó hiệu quả vượt trội cho công việc áp dụng lặp cùng một phép tính lên khối lượng dữ liệu lớn — bộ lọc ảnh/video, phép tính ma trận, xử lý tín hiệu, phép tính tensor của học sâu. Vì đơn vị điều khiển chỉ có một và việc giải mã lệnh chỉ diễn ra một lần, nó trải chi phí điều khiển ra theo số làn, nâng cao đáng kể hiệu quả năng lượng và thông lượng.
Nguyên lý cốt lõi của SIMD là "chia sẻ điều khiển, chỉ nhân lên các đường dữ liệu". Chẳng hạn AVX-512 của Intel nhồi 16 số thực 32 bit vào thanh ghi 512 bit và thực hiện 16 phép nhân cùng lúc với một lệnh. GPU đẩy ý tưởng này tới cực hạn, với hàng nghìn nhân tính toán áp dụng cùng một lệnh kernel lên dữ liệu của riêng mình. Sơ đồ dưới cho thấy hoạt động bên trong của SIMD — một đơn vị điều khiển phát (broadcast) cùng một lệnh tới nhiều phần tử xử lý (PE), và mỗi PE xử lý dữ liệu khác nhau.
flowchart LR
CU["đơn vị điều khiển<br/>(giải mã 1 lệnh)"]
CU -->|phát cùng một lệnh| PE0
CU -->|phát cùng một lệnh| PE1
CU -->|phát cùng một lệnh| PE2
CU -->|phát cùng một lệnh| PE3
D0["dữ liệu 0"] --> PE0["PE 0"]
D1["dữ liệu 1"] --> PE1["PE 1"]
D2["dữ liệu 2"] --> PE2["PE 2"]
D3["dữ liệu 3"] --> PE3["PE 3"]
PE0 --> R["vector kết quả"]
PE1 --> R
PE2 --> R
PE3 --> R
style CU fill:#e6f4ea,stroke:#188038,stroke-width:2px
style R fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
Điểm yếu lớn nhất của SIMD là rẽ nhánh điều kiện (divergence). Khi đường xử lý khác nhau theo từng mục dữ liệu (một số đi if, một số đi else), một lệnh không thể xử lý hết tất cả, nên phải thực thi lần lượt cả hai đường trong khi che (masking) các phần tử không cần, làm giảm hiệu quả. Do đó SIMD tối ưu cho "phép tính lớn, đều đặn, ít rẽ nhánh" và không phù hợp với công việc có nhiều luồng điều khiển bất quy tắc. Để giảm nhẹ giới hạn này, GPU hiện đại đã đưa vào mô hình SIMT được bàn dưới đây.
C. MISD — nhiều lệnh, một dữ liệu
MISD (Multiple Instruction, Single Data) là cấu trúc trong đó nhiều lệnh khác nhau tác động lên cùng một luồng dữ liệu duy nhất, và có ít trường hợp thương mại thực tế nhất trong bốn phạm trù. Đó là vì mô hình trong đó nhiều thuật toán xử lý cùng dữ liệu theo cách khác nhau không hữu dụng về mặt thực tiễn trong nhiều trường hợp. Vì vậy nhiều giáo trình giới thiệu MISD như "phạm trù hầu như không tồn tại".
Dù vậy, MISD không hoàn toàn vô nghĩa. Trong các hệ thống mà khả năng chịu lỗi (fault tolerance) cực kỳ quan trọng, phương thức trong đó nhiều đơn vị xử lý với thiết kế khác nhau tính toán độc lập cùng một đầu vào rồi so sánh kết quả bằng biểu quyết đa số được xem là một cách diễn giải của MISD. Tiêu biểu, máy tính điều khiển bay của máy bay áp dụng các thuật toán do các nhóm khác nhau phát triển độc lập lên cùng dữ liệu cảm biến để kiểm chứng chéo lỗi. Ngoài ra, một đường ống có hệ thống trong đó một dữ liệu đi qua nhiều giai đoạn biến đổi khác nhau (ví dụ: giải điều chế nhiều tầng của tín hiệu truyền thông) đôi khi cũng được giải thích theo góc nhìn MISD. Điểm cốt lõi là MISD là cấu trúc dư thừa cho "độ tin cậy và kiểm chứng" hơn là cho "hiệu năng".
D. MIMD — nhiều lệnh, nhiều dữ liệu
MIMD (Multiple Instruction, Multiple Data) là cấu trúc song song tổng quát và linh hoạt nhất, trong đó nhiều đơn vị điều khiển chạy các luồng lệnh độc lập của riêng mình trên dữ liệu khác nhau. CPU đa nhân, máy chủ nhiều socket, siêu máy tính, cụm trung tâm dữ liệu, và cả hệ thống phân tán quy mô internet ngày nay đều thuộc MIMD. Vì mỗi bộ xử lý có thể chạy một chương trình khác nhau, nó dung nạp cả song song tác vụ lẫn song song dữ liệu.
MIMD chia thành hai nhánh lớn theo cấu trúc bộ nhớ. Thứ nhất, phương thức bộ nhớ dùng chung (shared memory) trong đó tất cả bộ xử lý dùng chung một không gian địa chỉ, nơi CPU đa nhân và máy chủ SMP (đa xử lý đối xứng) thuộc về. Lập trình tương đối dễ (luồng, OpenMP), nhưng tranh chấp truy cập bộ nhớ và chi phí duy trì nhất quán cache (cache coherence) kìm hãm việc mở rộng, và khi số nhân tăng, độ trễ truy cập trở nên không đồng đều, phát triển thành cấu trúc NUMA. Thứ hai, phương thức bộ nhớ phân tán (distributed memory) trong đó mỗi nút có bộ nhớ độc lập và giao tiếp bằng thông điệp, tiêu biểu là cụm và siêu máy tính, được lập trình bằng mô hình truyền thông điệp như MPI. Có thể tăng số nút lên hàng vạn nên khả năng mở rộng vượt trội, nhưng độ trễ giao tiếp và thiết kế phân phối dữ liệu quyết định hiệu năng. Sơ đồ dưới đối chiếu hai mô hình bộ nhớ của MIMD.
flowchart TB
subgraph SHARED["MIMD bộ nhớ dùng chung (SMP/NUMA)"]
C0["nhân 0"] --> MEM["bộ nhớ dùng chung"]
C1["nhân 1"] --> MEM
C2["nhân 2"] --> MEM
end
subgraph DIST["MIMD bộ nhớ phân tán (cụm)"]
N0["nút 0<br/>bộ nhớ cục bộ"] <-->|thông điệp| NET["mạng liên kết"]
N1["nút 1<br/>bộ nhớ cục bộ"] <-->|thông điệp| NET
N2["nút 2<br/>bộ nhớ cục bộ"] <-->|thông điệp| NET
end
style MEM fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style NET fill:#fef7e0,stroke:#f29900,stroke-width:2px
Trong thực tiễn, MIMD thường được hiện thực bằng mẫu lập trình gọi là SPMD (Single Program, Multiple Data). Tất cả các nút chạy cùng một chương trình nhưng xử lý các lát dữ liệu khác nhau theo số thứ tự nút của mình, điển hình là mã HPC dựa trên MPI và huấn luyện học sâu phân tán (huấn luyện song song dữ liệu). SPMD đạt được cả năng suất lẫn khả năng mở rộng nhờ sự dung hòa "phần cứng là MIMD, cách viết là một chương trình duy nhất".
3. Mở rộng hiện đại — SIMT và cấu trúc dị chủng
Chỉ với bốn phạm trù cổ điển thì khó đặt gọn GPU hiện đại. Chính Flynn đã phân nhỏ SIMD vào năm 1972, phân biệt "bộ xử lý mảng (array processor)", mà hậu duệ hiện đại của khái niệm này chính là SIMT (Single Instruction, Multiple Threads) do NVIDIA phổ cập. SIMT được lập trình như thể mỗi luồng là độc lập (mỗi luồng truy cập dữ liệu bằng chỉ số của mình), nhưng bên trong gom 32 luồng thành một warp thực thi cùng một lệnh cùng lúc — khiến nó là một biến thể của SIMD.
Cốt lõi khác biệt giữa SIMT và SIMD thuần túy là điều khiển kích hoạt/vô hiệu theo từng luồng. Khi các luồng trong một warp đi các đường khác nhau do rẽ nhánh điều kiện, phần cứng thực thi tuần tự từng đường trong khi vô hiệu hóa (predication) các luồng không thuộc đường đó. Nhờ vậy lập trình viên có thể viết mã tự nhiên có rẽ nhánh, còn phần cứng xử lý sự phân kỳ (divergence). Tuy nhiên nếu phân kỳ nghiêm trọng thì hiệu năng sụt mạnh, nên cốt lõi của tối ưu kernel GPU vẫn là bố trí dữ liệu "sao cho các luồng trong một warp đi cùng một đường". Như vậy GPU nằm đâu đó giữa hiệu quả của SIMD và tính linh hoạt của MIMD, và thực tế một GPU có nhiều SM (Streaming Multiprocessor) có thể chạy các kernel khác nhau, nên tổng thể mang cả tính chất MIMD.
Cũng quan trọng là các bộ xử lý hiện đại trên thực tế là hỗn hợp của nhiều phạm trù. CPU máy chủ ngày nay là cấu trúc "nhiều nhân (MIMD), mỗi nhân trang bị một đơn vị vector (SIMD)", và máy chủ AI là hệ thống dị chủng (heterogeneous) gồm "CPU đa nhân (MIMD) + nhiều GPU (SIMT/SIMD)". Nghĩa là thay vì một khung để tìm một phạm trù thuần túy duy nhất, cách dùng hiện đại coi phân loại Flynn như một thấu kính thiết kế để phán đoán nên ánh xạ một phép tính nhất định lên cấu trúc con nào.
4. So sánh và các ứng dụng thực tế
Bốn phạm trù khác nhau ở "đạt được tính song song nào với cái giá nào". SIMD/SIMT chia sẻ điều khiển để đạt hiệu quả năng lượng/diện tích cao nhưng sụp đổ khi rẽ nhánh nhiều, còn MIMD linh hoạt nhưng trả giá đồng bộ, giao tiếp và nhất quán. Bảng dưới tóm tắt tiêu chí lựa chọn theo góc nhìn thực tiễn.
| Phân biệt | SIMD/SIMT | MIMD (bộ nhớ dùng chung) | MIMD (bộ nhớ phân tán) |
|---|---|---|---|
| Tải phù hợp | Phép tính dữ liệu lớn, đều | Song song tác vụ quy mô vừa | Mở rộng cực lớn |
| Phần cứng tiêu biểu | GPU, AVX, DSP | Máy chủ đa nhân/SMP | Cụm/siêu máy tính |
| Mô hình lập trình | CUDA, intrinsic, OpenCL | Luồng, OpenMP | MPI, khung phân tán |
| Yếu tố giới hạn mở rộng | Phân kỳ nhánh, băng thông bộ nhớ | Nhất quán cache, tranh chấp | Độ trễ giao tiếp, mất cân bằng tải |
| Đặc tính chi phí | Thông lượng/watt cao | Trung bình | Chi phí giao tiếp/vận hành lớn |
Là trường hợp thứ nhất, huấn luyện học sâu kết hợp hai phạm trù theo tầng. Phép nhân ma trận bên trong một GPU được xử lý bằng SIMT (hàng nghìn nhân áp dụng cùng phép tính lên các phần tử khác nhau), còn huấn luyện quy mô lớn gom hàng trăm đến hàng nghìn GPU được tổ chức bằng MIMD/SPMD (mỗi GPU xử lý một mini-batch dữ liệu khác nhau và tổng hợp gradient). Chẳng hạn khi huấn luyện LLM hàng trăm tỷ tham số, hiệu quả tính toán của một thiết bị do tối ưu SIMT chi phối, còn khả năng mở rộng tổng thể do thiết kế giao tiếp phân tán (All-Reduce) chi phối. Thứ hai, HPC truyền thống như mô phỏng thời tiết và dòng chảy được giải bằng MIMD bộ nhớ phân tán (SPMD + MPI), chia lưới trên hàng vạn nhân. Thứ ba, kết xuất đa phương tiện/trò chơi và mã hóa video khai thác trực tiếp SIMD/SIMT cho song song mức điểm ảnh/khối, DSP/NPU của AP điện thoại thông minh cũng theo cùng nguyên lý. Như vậy hệ thống thực tế được thiết kế không phải như một phạm trù duy nhất mà như tổ hợp của "dùng tính song song nào ở tầng nào".
5. Chuyên sâu — phân loại Flynn trong thời đại AI và tính toán dị chủng
Phân loại Flynn là khung gần 60 năm tuổi, nhưng nghịch lý thay, khi tăng tốc AI và tính toán dị chủng trở nên phổ quát, nó lại trở thành ngôn ngữ trung tâm của thực tiễn một lần nữa. Có thể tóm tắt các xu hướng gần đây thành ba điểm.
Thứ nhất, sự trỗi dậy và phân nhỏ của SIMD. Các mở rộng vector của CPU đang tiến hóa vượt khỏi Intel AVX-512 theo hướng làm "độ dài vector biến đổi theo phần cứng", như SVE (Scalable Vector Extension) của Arm. Đây là nỗ lực để cùng một mã chạy trên phần cứng SIMD có độ rộng khác nhau, giảm nhẹ vấn đề khả chuyển của lập trình SIMD. Phía GPU cũng vậy, các "khối SIMD chuyên cho nhân ma trận" như tensor core được thêm vào, khiến SIMD chuyên biệt hơn và mật độ cao hơn.
Thứ hai, sự trỗi dậy của kiến trúc dị chủng và chuyên biệt theo miền (DSA). Khi các cấu trúc kết hợp CPU (MIMD) + GPU (SIMT) + NPU/TPU (SIMD chuyên ma trận) + DPU (chuyên di chuyển dữ liệu) trong một hệ thống trở thành chuẩn, nhà thiết kế phải giải "bài toán ánh xạ" đặt mỗi phép tính lên đơn vị của phạm trù phù hợp nhất. Phân loại Flynn hoạt động như ngôn ngữ chung của ánh xạ này — ví dụ, phán đoán bậc một "vòng lặp này là song song dữ liệu nên dùng SIMD/GPU; logic điều khiển kia nên dùng nhân MIMD".
Thứ ba, bước chuyển mà bộ nhớ và giao tiếp chi phối hiệu năng. Dù có bao nhiêu đơn vị tính toán (SIMD/SIMT/MIMD), nếu không cấp dữ liệu kịp thời thì chúng nhàn rỗi (bức tường bộ nhớ), nên cuộc cạnh tranh cốt lõi của kiến trúc hiện đại đã chuyển sang bộ nhớ băng thông cao như HBM, các giao thức nhất quán cache, và mạng liên kết tốc độ cao như NVLink. Điều này cho thấy phân loại Flynn chỉ là phân loại theo góc nhìn "luồng tính toán", còn hiệu năng thực tế do thiết kế "cấp dữ liệu" chi phối. Nói cách khác, phân loại Flynn là điểm khởi đầu, không phải toàn bộ. Phải xem xét nó cùng với giới hạn mở rộng mà định luật Amdahl và Gustafson nói tới, và chi phí di chuyển dữ liệu mà NUMA, mạng liên kết và nhất quán cache nói tới.
6. Cân nhắc và hàm ý
Các điểm cần lưu ý dưới góc nhìn Kỹ sư chuyên nghiệp khi áp dụng phân loại Flynn vào quyết định kiến trúc thực tế như sau.
Chẩn đoán trước loại tính song song là ưu tiên. Phải xác định trước tải công việc là song song dữ liệu (đều, khối lượng lớn) hay song song tác vụ (dị chủng, độc lập), điều này sau đó quyết định phần cứng (SIMD/GPU so với MIMD/cụm) và mô hình lập trình. Phân loại sai thì đặt logic nhiều rẽ nhánh lên GPU và chịu nghịch đảo khi hiệu năng còn tệ hơn trên CPU. Phân loại là bước đi trước quyết định đầu tư.
Không phải một phạm trù thuần túy, mà thiết kế hỗn hợp, phân tầng mới là thực tế. Hệ thống thực tế lồng các phạm trù, như "phép tính vector bên trong GPU SIMT bên trong nút MIMD". Do đó, thay vì chỉ tối ưu một phạm trù, một thiết kế lồng tính song song ở mỗi tầng (phân tán giữa các nút, đa nhân trong nút, vector trong thiết bị) chi phối hiệu năng tổng thể.
Đây là thời đại mà di chuyển dữ liệu, hơn cả phạm trù tính toán, trở thành nút thắt cổ chai. Băng thông bộ nhớ, độ trễ giao tiếp và chi phí nhất quán cache quyết định khả năng mở rộng thực tế, nên sau khi định cấu trúc tính toán bằng phân loại Flynn, phải đánh giá đồng thời giới hạn mở rộng bằng định luật Amdahl và Gustafson, và việc cấp dữ liệu bằng NUMA và mạng liên kết. Cải thiện tính cục bộ (locality) của dữ liệu thường mang lại hiệu quả lớn hơn đầu tư tăng số đơn vị tính toán.
Cân nhắc đồng thời khả chuyển và tổng chi phí sở hữu (TCO). SIMD gắn với tập lệnh (AVX/SVE/NEON) và GPU dễ bị khóa vào hệ sinh thái nhà cung cấp (CUDA...), nên tối ưu quá mức cho một phạm trù cụ thể làm giảm khả chuyển và sức mặc cả. Phải chọn kiến trúc theo góc nhìn TCO bao gồm hiệu quả năng lượng (hiệu năng/watt), chi phí phát triển/vận hành và khóa nhà cung cấp.
Triển vọng: sự hội tụ AI/HPC và lan tỏa DSA. Khi các bộ tăng tốc AI và HPC truyền thống hội tụ trên cùng phần cứng và các bộ tăng tốc chuyên biệt theo miền (NPU/TPU/DPU) gia tăng, tầm quan trọng của phán đoán kiểu Flynn "ánh xạ một phép tính lên cấu trúc song song nào" càng lớn. Tự động hóa ánh xạ này trong trình biên dịch và runtime (ví dụ: offload dị chủng) cũng là một chủ đề nghiên cứu cốt lõi.
Tài liệu tham khảo
- Flynn's taxonomy, Wikipedia: https://en.wikipedia.org/wiki/Flynn%27s_taxonomy
- Flynn's Taxonomy of Parallel Systems, Indiana University CS Notes: https://www.cs.indiana.edu/classes/b673/Notes/taxonomy.html
- Processor Taxonomies (SISD, SIMD, MIMD, MISD, SIMT): https://home.roboticlab.eu/en/multiasm/cs/chapter_3_5
Tóm tắt một câu: Phân loại Flynn là khung cơ bản của tính toán song song chia kiến trúc máy tính thành SISD, SIMD, MISD và MIMD theo số luồng lệnh và dữ liệu; CPU đa nhân, đơn vị vector, GPU (SIMT) và cụm ngày nay lồng các phạm trù này theo tầng để khai thác cả song song dữ liệu lẫn song song tác vụ, và thiết kế di chuyển dữ liệu chi phối hiệu năng thực tế ngang với việc lựa chọn cấu trúc tính toán.