← Về danh sách
Phần cứng & Bán dẫn
#시스톨릭 어레이#데이터플로우#행렬곱 가속#AI 반도체#TPU
Cập nhật lần cuối · 2026-11-16

Mảng Systolic (Systolic Array)

1. Tổng quan

A. Định nghĩa

Mảng Systolic (Systolic Array) là một cấu trúc tính toán song song chuyên dụng dựa trên luồng dữ liệu (dataflow), trong đó các phần tử xử lý (PE, Processing Element) có cấu trúc giống hệt nhau được sắp xếp thành một lưới đều đặn, và dữ liệu di chuyển đồng bộ sang các PE lân cận theo từng xung nhịp—giống như tim đẩy máu ra theo từng nhịp đập (systole)—trong khi mỗi PE thực hiện phép nhân-cộng dồn (MAC, Multiply-Accumulate).

Bản chất của mảng systolic nằm ở chỗ luồng dữ liệu (flow), chứ không phải điều khiển, mới là thứ dẫn dắt phép tính. Trong kiến trúc von Neumann, bộ xử lý lặp đi lặp lại việc nạp toán hạng từ bộ nhớ và ghi kết quả trở lại cho mỗi phép tính, và vòng lặp truy cập bộ nhớ này trở thành nút thắt cổ chai cho cả hiệu năng lẫn điện năng. Để né tránh nút thắt này từ gốc rễ, mảng systolic chỉ đọc dữ liệu từ bộ nhớ một lần rồi đưa nó đi qua mảng để nhiều PE tái sử dụng cùng một giá trị. Nói cách khác, sự đánh đổi "giảm truy cập bộ nhớ đổi lấy tăng giao tiếp cục bộ (nearest-neighbor) giữa các đơn vị tính toán" là cốt lõi của triết lý thiết kế, và vì vậy nó đạt hiệu quả vượt trội ở các phép tính đều đặn, lặp lại—đặc biệt là nhân ma trận (GEMM) và tích chập (Convolution).

Khái niệm này được H.T. Kung ở Carnegie Mellon và Charles E. Leiserson ở MIT đề xuất năm 1978–1979 trong bối cảnh thiết kế VLSI. Nhận thức cốt lõi khi đó là "thứ đắt đỏ trên chip không phải là đơn vị tính toán mà là dây dẫn dài và truy cập bộ nhớ, nên nếu giới hạn mọi giao tiếp vào các dây ngắn giữa những ô liền kề thì có thể tích hợp một cấu trúc đều đặn với mật độ rất cao." Nhiều thập kỷ sau, ý tưởng này hồi sinh thành động cơ tính toán ma trận của các bộ tăng tốc AI hiện đại gồm cả TPU của Google—một ví dụ tiêu biểu cho việc một chủ đề kinh điển trong sách giáo khoa kiến trúc máy tính lại vươn lên trung tâm của công nghiệp.

B. Bối cảnh ra đời và tính cần thiết

Có ba áp lực hội tụ phía sau sự chú ý trở lại dành cho mảng systolic. Thứ nhất là Bức tường bộ nhớ (Memory Wall). Quá trình thu nhỏ bán dẫn làm tốc độ đơn vị tính toán tăng nhanh, nhưng băng thông và độ trễ của DRAM bên ngoài không theo kịp, nên ngày nay chi phí thực của tính toán AI không nằm ở phép nhân mà ở năng lượng di chuyển dữ liệu khi tải toán hạng từ bộ nhớ xa. Cấu trúc systolic, vốn tái sử dụng dữ liệu đã nạp một lần tới hàng trăm lần bên trong mảng, giảm mạnh lượng di chuyển này.

Thứ hai là sự bùng nổ khối lượng tính toán học sâu. Suy luận và huấn luyện mạng nơ-ron sâu rốt cuộc quy về các phép nhân ma trận và tích chập lớn lặp lại, những phép tính mang đặc tính lặp cùng một mẫu MAC một cách đều đặn. Một khối lượng công việc có mẫu truy cập dữ liệu dự đoán được một cách tĩnh thì không cần logic điều khiển đa dụng như dự đoán rẽ nhánh hay thực thi ngoài trật tự, nên nó ăn khớp hoàn hảo với mảng systolic, nơi điều khiển có thể được loại bỏ và các đơn vị tính toán cùng dây dẫn được đặt đều đặn.

Thứ ba là giới hạn của hiệu quả điện năng và diện tích. Khi định luật Moore chậm lại và quy mô Dennard chấm dứt, việc thêm transistor nay cũng đẩy mật độ công suất lên, nên nâng hiệu năng thực chất đòi hỏi từ bỏ tính đa dụng và chuyên biệt hóa mạch cho các phép tính cụ thể—một Kiến trúc chuyên biệt theo miền (DSA, Domain-Specific Architecture). Mảng systolic có thể nhồi nhiều MAC nhất vào một diện tích cho trước với gần như không có chi phí điều khiển, khiến nó trở thành lựa chọn cốt lõi cho các thiết kế tăng tốc AI nhắm tối đa hóa số phép tính trên mỗi watt (TOPS/W).

C. Đặc điểm

Tính chất của mảng systolic có thể tóm gọn thành ① lưới PE đều đặn, đồng dạng (homogeneous), ② bơm dữ liệu kiểu đường ống đồng bộ, ③ giao tiếp cục bộ (chỉ nearest-neighbor), và ④ tối đa hóa Cường độ tính toán (Operational Intensity) nhờ tái sử dụng dữ liệu cao. Bốn trục này móc nối vào nhau. Tính đều đặn của các PE đồng dạng (①) cho phép đẩy dữ liệu vào như một đường ống (②); giới hạn mọi giao tiếp vào các ô liền kề (③) loại bỏ dây dài và điều khiển toàn cục, cho phép tích hợp dày đặc; và kết quả là một giá trị nạp một lần được tái sử dụng lặp lại (④) khi đi xuyên qua mảng, hoàn tất câu chuyện hiệu quả điện năng.

Ngược lại, khoảnh khắc tính đều đặn này bị phá vỡ, cả bốn lợi thế cùng suy yếu một lúc. Với ma trận nhỏ, phép tính thưa (sparse), hay mẫu truy cập bất quy tắc, mảng chạy nửa trống và tỷ lệ sử dụng (utilization) tụt mạnh. Do đó, hiểu mảng systolic tương đương với việc biết "trong điều kiện nào thế mạnh của nó thành lập và trong điều kiện nào thì sụp đổ", và tính hai mặt này chi phối cả lựa chọn luồng dữ liệu lẫn các đánh đổi thiết kế thực tiễn bàn dưới đây.

2. Cấu trúc và nguyên lý hoạt động

Hiệu năng của mảng systolic phụ thuộc vào cách dữ liệu được dẫn vào mảng để tối đa hóa tái sử dụng. Sơ đồ cấu trúc dưới đây cho thấy một cấu hình hệ thống điển hình, trong đó phân cấp host và bộ nhớ phối hợp với mảng PE hai chiều.

flowchart LR
  subgraph HOST["Hệ thống host"]
    CPU["CPU(điều khiển·phân rã đồ thị)"]
    DRAM["Bộ nhớ ngoài(DRAM/HBM)"]
    CPU --- DRAM
  end
  subgraph ACC["Bộ tăng tốc(on-chip)"]
    WFIFO["FIFO/bộ đệm trọng số"]
    ABUF["Bộ đệm kích hoạt(SRAM)"]
    ARR["Mảng PE(2D Systolic MAC)"]
    ACC2["Bộ cộng dồn/thu tổng riêng phần"]
    POST["Kích hoạt·chuẩn hóa·pooling"]
    WFIFO --> ARR
    ABUF --> ARR
    ARR --> ACC2
    ACC2 --> POST
    POST --> ABUF
  end
  DRAM -- "luồng trọng số" --> WFIFO
  DRAM -- "kích hoạt đầu vào" --> ABUF
  CPU -- "lệnh/descriptor" --> ARR

Khi CPU host phân rã đồ thị tính toán của mô hình và ủy thác các phép nhân ma trận và tích chập cho bộ tăng tốc, trọng số được cấp qua FIFO trọng số còn kích hoạt đầu vào qua bộ đệm SRAM on-chip, mỗi loại nạp vào một cạnh (edge) khác nhau của mảng PE. Khi dữ liệu đi qua mảng, các tổng riêng phần được cộng dồn, và kết quả rời khỏi mảng đi qua các đơn vị kích hoạt, chuẩn hóa và pooling trước khi quay về bộ đệm. Điểm quyết định ở đây là ý đồ thiết kế nhằm tối thiểu hóa truy cập DRAM ngoài vốn chậm và tốn điện bằng cách giữ dữ liệu đã nạp một lần ở bên trong mảng lâu nhất có thể.

A. Phần tử xử lý (PE) và bơm dữ liệu

PE, đơn vị nhỏ nhất cấu thành mảng, là một mạch cực kỳ đơn giản gồm một bộ nhân, một bộ cộng, và vài thanh ghi. Ở mỗi xung nhịp, mỗi PE nhân đầu vào đến từ bên trái (hoặc trên) với trọng số nó giữ hoặc truyền qua, rồi cộng vào tổng riêng phần đi xuống từ bên trên (hoặc bên trái) và chuyển cho PE kế tiếp. Chính sự đơn giản này là thế mạnh của cấu trúc systolic: vì PE đơn giản nên có thể nhồi hàng chục nghìn chiếc dày đặc vào cùng một diện tích, và vì điều khiển được phân tán nên không cần bộ điều khiển toàn cục hay dây dài. Việc TPU v1 của Google tích hợp lưới 256×256, tức 65.536 đơn vị MAC, lên một chip và thực hiện hơn sáu mươi nghìn phép nhân-cộng dồn mỗi chu kỳ ở 700 MHz là ví dụ tiêu biểu cho sự tích hợp dày đặc này.

Thuật ngữ "bơm (pumping)" dữ liệu chỉ cách dữ liệu được đẩy vào từng ô một, đều đặn, dọc theo đường ống. Một đặc tính quan trọng là sự tồn tại của khoảng nạp-và-xả (load & drain). Để kết quả đầu tiên của mảng xuất hiện ở phía đối diện, dữ liệu phải đi qua toàn bộ lưới, nên với mảng N×N có độ trễ nạp đầu khoảng 2N xung nhịp và độ trễ xả tương tự ở cuối. Vì vậy, khi truyền các ma trận lớn liên tiếp, độ trễ này bị pha loãng vào thông lượng và hiệu quả đạt tối đa, nhưng xử lý một ma trận nhỏ đơn lẻ khiến chi phí nạp-xả trở nên tương đối lớn và tỷ lệ sử dụng giảm. Đây là cơ sở của quy tắc kinh nghiệm thực tiễn rằng "mảng systolic có lợi với lô (batch) lớn và ma trận lớn".

B. Ánh xạ phép nhân ma trận và luồng dữ liệu

Xét cách ánh xạ tích ma trận C = A × B lên mảng systolic qua một ví dụ thu nhỏ 2×2, trọng số (B) nằm thường trú trong mỗi PE, đầu vào (A) chảy vào theo từng hàng với độ lệch thời gian từ bên trái, và các tổng riêng phần cộng dồn xuống dưới rồi đi ra ở đáy. Lý do dữ liệu đi vào lệch một ô mỗi lần (skew) là để căn chỉnh thời gian sao cho mỗi PE gặp đúng cặp đầu vào và trọng số của nó ở cùng một xung nhịp.

flowchart TB
  A1["A hàng1 đầu vào"] --> P11["PE11(MAC)"]
  A2["A hàng2 đầu vào"] --> P21["PE21(MAC)"]
  P11 --> P12["PE12(MAC)"]
  P21 --> P22["PE22(MAC)"]
  W11["trọng số b11"] -.thường trú.-> P11
  W12["trọng số b12"] -.thường trú.-> P12
  W21["trọng số b21"] -.thường trú.-> P21
  W22["trọng số b22"] -.thường trú.-> P22
  P11 --> S1["tổng riêng phần xuống dưới"]
  P12 --> S2["tổng riêng phần xuống dưới"]
  P11 --> P21
  P12 --> P22
  P21 --> C1["kết quả c·1"]
  P22 --> C2["kết quả c·2"]

Lợi ích cốt lõi trong ánh xạ này là tỷ lệ tái sử dụng dữ liệu. Một phần tử của một hàng A chảy sang phải và được tái sử dụng khắp mọi PE trong hàng đó, trong khi một trọng số nằm thường trú trong mảng và được nhân lặp lại với mọi đầu vào chảy vào. Kết quả là dữ liệu kích thước O(N²) được cấp một lần để thực hiện số phép tính gần O(N³), tối đa hóa khối lượng tính toán so với băng thông bộ nhớ ngoài (cường độ tính toán). Đây chính là cơ chế cốt lõi mà nhờ đó mảng systolic né tránh bức tường bộ nhớ.

3. Các kiểu luồng dữ liệu (Dataflow)

Hiệu năng và hiệu quả điện năng của mảng systolic phụ thuộc nhiều vào chiến lược luồng dữ liệu quyết định cái gì được giữ cố định (stationary) trong mảng và cái gì được truyền qua. Dữ liệu có thể tái sử dụng thuộc ba loại—Trọng số (Weight), Kích hoạt đầu vào (Input), và Tổng riêng phần (Partial Sum)—và tùy vào loại nào được giữ thường trú trong PE, thiết kế chia thành bốn kiểu tiêu biểu dưới đây. Lựa chọn kiểu không phải chi tiết triển khai đơn thuần mà là quyết định chiến lược về việc tiết kiệm năng lượng di chuyển của dữ liệu nào.

A. Cố định trọng số (Weight Stationary)

Trọng số được nạp sẵn vào mỗi PE và kích hoạt đầu vào được truyền qua. Vì trọng số, một khi đã nạp, không được nạp lại trong suốt phép tính của mảng, nên kiểu này đặc biệt có lợi cho suy luận (inference), nơi tái sử dụng trọng số nhiều. Trong suy luận, cùng một ma trận trọng số cố định bởi huấn luyện xử lý lặp lại nhiều lô đầu vào, nên ghim trọng số vào mảng có thể đưa chi phí di chuyển của chúng về gần bằng không.

Việc TPU v1 của Google và AWS Inferentia áp dụng cách này là một quyết định thiết kế nhắm chính xác vào tính kinh tế của những khối lượng công việc suy luận như vậy. Chẳng hạn, nếu nạp khoảng sáu mươi nghìn trọng số vào mảng 256×256, thì với hàng nghìn đầu vào chảy vào sau đó, trọng số không bị đọc lại từ bộ nhớ mà được tái sử dụng, giúp giảm mạnh áp lực băng thông DRAM.

Tuy nhiên, khi tham số mô hình vượt dung lượng mảng, trọng số phải được nạp lại theo từng khối, và trong lúc nạp, mảng ngồi không (idle), không thể tính toán. Do đó, các thiết kế thực tiễn dùng FIFO trọng số và đệm kép (double buffering) để chồng lấn "nạp khối kế tiếp" với "tính khối hiện tại", giấu độ trễ nạp sau phép tính. Rốt cuộc, thành bại của cố định trọng số phụ thuộc vào việc hạ thấp tần suất thay trọng số đến đâu và giấu được việc nạp tốt đến đâu.

B. Cố định đầu ra (Output Stationary)

Mỗi PE phụ trách một phần tử đầu ra (tổng riêng phần), liên tục cộng dồn nó trong một bộ cộng dồn nội bộ trong khi truyền cả trọng số lẫn đầu vào qua. Gần với hình thái cổ điển của Kung–Leiserson, nó không di chuyển tổng riêng phần ra khỏi PE, qua đó tối thiểu hóa năng lượng di chuyển tổng riêng phần và tổn thất độ chính xác khi cộng dồn.

Lý do cách này có lợi nằm ở bản chất của việc cộng dồn. Trong một tích vô hướng dài hay tích chập sâu, để thu một giá trị đầu ra đơn lẻ cần cộng hàng trăm đến hàng nghìn kết quả nhân; di chuyển tổng riêng phần này tới bộ nhớ hay PE khác mỗi lần sẽ tích lũy năng lượng di chuyển, và lượng tử hóa lặp lại cũng làm độ chính xác chao đảo. Cố định đầu ra chặn chi phí này ngay từ gốc bằng cách buộc tổng riêng phần bên trong PE.

Đổi lại, trọng số và đầu vào phải được cấp mới mỗi chu kỳ, nên nhu cầu băng thông phía đầu vào tương đối lớn. Do đó, cố định đầu ra được chọn khi băng thông bộ đệm on-chip đủ lớn hoặc khi tái sử dụng đầu ra chiếm ưu thế trong mẫu tính toán. Lựa chọn giữa cố định trọng số và cố định đầu ra rốt cuộc quy về câu hỏi về đặc tính khối lượng công việc: "di chuyển trọng số đắt, hay di chuyển tổng riêng phần đắt?"

C. Cố định đầu vào / hàng (Input / Row Stationary)

Cách này hoặc cố định kích hoạt đầu vào làm trục tái sử dụng, hoặc, như sơ đồ Cố định hàng (Row Stationary) do Eyeriss của MIT đề xuất, ánh xạ toàn bộ phép tính tích chập của một hàng lên một PE để đồng thời và cân bằng tối đa hóa việc tái sử dụng trọng số, đầu vào và tổng riêng phần.

Nhận thức của cố định hàng là vượt qua giới hạn rằng "cố định chỉ một loại dữ liệu sẽ làm tăng di chuyển của hai loại còn lại." Vì tích chập có cơ hội tái sử dụng ở cả trọng số, đầu vào lẫn tổng riêng phần, nên tối thiểu hóa tổng lượng di chuyển dữ liệu khắp mảng PE và phân cấp bộ nhớ on-chip bằng cách xét cả ba trục cùng nhau sẽ có lợi hơn, xét từ góc độ năng lượng tổng thể, so với tối ưu một trục đơn lẻ. Eyeriss báo cáo hiệu quả năng lượng vượt trội với chiến lược này so với việc chỉ cố định một loại.

Cái giá là độ phức tạp ánh xạ và lập lịch lớn hơn. Việc hàng nào đưa vào PE nào và tổng riêng phần được gom ra sao trở nên tinh vi, làm tăng gánh nặng cho trình biên dịch và logic điều khiển phần cứng. Đây là ví dụ hay về căng thẳng bản chất trong thiết kế bộ tăng tốc—sự đánh đổi giữa hiệu quả phần cứng và độ phức tạp phần mềm—và gợi ý rằng lựa chọn luồng dữ liệu gắn trực tiếp với quyết định đầu tư vào ngăn xếp trình biên dịch.

D. So sánh các kiểu và tiêu chí lựa chọn

Khác biệt giữa bốn kiểu rốt cuộc quy về câu trả lời cho "di chuyển dữ liệu nào đắt nhất trong khối lượng công việc này." Nếu tái sử dụng trọng số chiếm ưu thế, như trong suy luận, thì cố định trọng số có lợi; nếu cộng dồn sâu chiếm ưu thế thì cố định đầu ra; và nếu mẫu tái sử dụng hỗn hợp thì cố định hàng. Bảng dưới đây là phần tóm tắt hỗ trợ; thiết kế thực tế được quyết định bằng cách lập hồ sơ (profiling) phân bố tính toán của mô hình mục tiêu.

Luồng dữ liệu Đối tượng cố định Lợi ích cốt lõi Áp dụng tiêu biểu Điểm yếu
Weight Stationary Trọng số Di chuyển trọng số tối thiểu, hiệu quả suy luận TPU v1, AWS Inferentia Chi phí nạp lại trọng số mô hình lớn
Output Stationary Tổng riêng phần Tối thiểu di chuyển cộng dồn/tổn thất độ chính xác Systolic cổ điển, một số DSP Nhu cầu băng thông đầu vào lớn
Input Stationary Kích hoạt đầu vào Tối đa hóa tái sử dụng đầu vào Một số bộ tăng tốc CNN Tăng di chuyển trọng số
Row Stationary Hỗn hợp theo hàng Tái sử dụng cân bằng cả ba dữ liệu Eyeriss Ánh xạ/lập lịch phức tạp

4. So sánh với các kiến trúc song song khác

Bản sắc của mảng systolic trở nên rõ ràng khi so với kiến trúc GPU và vector (SIMD). GPU là một cấu trúc cấp dữ liệu tập trung trong đó hàng nghìn nhân đa dụng trao đổi dữ liệu qua bộ nhớ chia sẻ và tệp thanh ghi. Tính linh hoạt của nó xuất sắc và nó xử lý được đa dạng phép tính, nhưng vì mỗi nhân truy cập thanh ghi và bộ nhớ thường xuyên nên năng lượng di chuyển dữ liệu tương đối lớn và logic điều khiển đa dụng chiếm diện tích die. Mảng systolic, ngược lại, có dữ liệu chảy trực tiếp giữa các PE, lược bỏ các vòng đi-về của tệp thanh ghi và bộ nhớ chia sẻ, nên ở các phép toán ma trận đều đặn nó đạt mật độ MAC và hiệu quả điện năng cao hơn GPU ở cùng diện tích và điện năng.

Lý do cơ bản của khác biệt nằm ở "đường di chuyển dữ liệu." Trong GPU, toán hạng đi qua bộ nhớ↔thanh ghi↔đơn vị tính toán vài lần, trong khi ở mảng systolic mọi sự tái sử dụng kết thúc trong lúc đầu vào đi vào một cạnh của mảng và đi ra một lần ở phía đối diện. Khác biệt cấu trúc này hiện ra thành khoảng cách về hiệu quả điện năng. Dẫu vậy, điều này chỉ thành lập với tiền đề "phép tính đều đặn"; với các khối lượng công việc đa dụng có nhiều rẽ nhánh hoặc phụ thuộc dữ liệu bất quy tắc, tính linh hoạt của GPU có lợi áp đảo. Bài báo TPU v1 (ISCA 2017) quả thực báo cáo lợi thế hiệu năng/điện năng gấp hàng chục lần so với GPU cùng thời ở suy luận, nhưng đã nêu rõ rằng kết quả này giới hạn ở khối lượng công việc đều đặn cụ thể là suy luận.

Do đó, các hệ thống AI hiện đại kết hợp cả hai không như đối thủ mà trong một quan hệ bổ trợ. Tức là, một cấu trúc điện toán không đồng nhất (Heterogeneous Computing) đã trở thành chuẩn, trong đó CPU và GPU đảm nhiệm phần bất quy tắc, lấy điều khiển làm trọng tâm, còn một động cơ systolic (mảng MXU/MAC của TPU và NPU) chuyên trách các phép nhân ma trận lớn đều đặn. Mảng systolic đã tự định vị không như "đối thủ cạnh tranh" của các bộ tăng tốc đa dụng mà như một "động cơ chuyên dụng" tách ra và đảm nhiệm đoạn tính toán đắt đỏ nhất.

5. Chuyên sâu: Trường hợp ứng dụng thực tiễn và xu hướng mới nhất

Mảng systolic đã vượt qua một khái niệm học thuật để nằm ở trái tim của cuộc cạnh tranh bán dẫn AI ngày nay. Trường hợp biểu tượng nhất là TPU của Google. TPU v1, với mảng systolic cố định trọng số 256×256 (65.536 MAC), đạt khoảng 92 TOPS ở INT8 ở mức khoảng 40 W, hạ mạnh chi phí suy luận ở trung tâm dữ liệu. Các thế hệ sau (dòng TPU v2–v5/v6) mang nhiều Đơn vị nhân ma trận (MXU) và, thêm hỗ trợ huấn luyện BF16 và liên kết quy mô lớn (ICI), đã mở rộng tới các TPU Pod gộp hàng nghìn chip, vươn tới cả huấn luyện LLM. Điểm quan trọng là DNA của động cơ ma trận cốt lõi vẫn là cấu trúc systolic.

Trục thứ hai của xu hướng là sự lan rộng của các bộ tăng tốc tự chế của các hãng công nghệ lớn. AWS nạp các động cơ ma trận họ systolic vào Inferentia cho suy luận và Trainium cho huấn luyện; Dojo cho huấn luyện lái tự động của Tesla, và các mảng MAC của nhiều NPU di động và biên (Samsung, Qualcomm, Apple) cũng thực chất áp dụng luồng dữ liệu systolic hoặc biến thể của nó. Điều này phản ánh một sự dịch chuyển chiến lược trên toàn ngành hướng tới "hạ phụ thuộc vào GPU đa dụng và đưa vào silicon chuyên dụng được tinh chỉnh theo khối lượng công việc."

Trục thứ ba là tiến hóa về cấu trúc. Để làm dịu vấn đề tỷ lệ sử dụng thấp của các mảng kích thước cố định, có nghiên cứu sôi nổi về luồng dữ liệu linh hoạt/tái cấu hình (flexible/reconfigurable), thiết kế đa cụm nhỏ (multi-pod) chia một mảng lớn thành các ô nhỏ để nâng tỷ lệ sử dụng ngay cả với ma trận nhỏ, hỗ trợ tính thưa (sparsity support) bỏ qua các số 0 của ma trận thưa, và kết hợp với các định dạng số siêu thấp độ chính xác như FP8 và INT4. Cũng có những nỗ lực đang diễn ra nhằm ghép khái niệm systolic vào PIM (Processing-in-Memory) và tính toán ma trận tương tự (analog) đặt các đơn vị tính toán gần bộ nhớ. Tóm lại, một khái niệm của thập niên 1970 đang được diễn giải lại dọc các trục băng thông, độ chính xác và tính linh hoạt để khớp với nhu cầu AI của thập niên 2020.

6. Điểm cân nhắc và hàm ý

Từ góc độ Kỹ sư chuyên nghiệp, mảng systolic nên được hiểu không như "bản thân khái niệm" mà như năng lực thiết kế để phán đoán chính xác các điều kiện áp dụng và các đánh đổi của nó.

  • Phán đoán độ phù hợp khối lượng công việc (tỷ lệ sử dụng): Lợi ích của mảng systolic chỉ được hiện thực hóa trọn vẹn với ma trận lớn có cường độ tính toán cao. Với các khối lượng công việc nhỏ, thưa, hay bất quy tắc, tỷ lệ sử dụng tụt mạnh, nên trước khi áp dụng phải lập hồ sơ phân bố tính toán của mô hình mục tiêu và khớp kích thước mảng cùng chiến lược chia ô (tiling). Phải cảnh giác với ngộ nhận rằng "nó có lợi vô điều kiện cho mọi AI".
  • Sự tương thích luồng dữ liệu–mô hình: Như cố định trọng số cho công việc lấy suy luận làm trọng tâm, cố định đầu ra cho cộng dồn sâu, và cố định hàng cho tái sử dụng hỗn hợp, việc khớp luồng dữ liệu với trục tái sử dụng chủ đạo mới là điều làm hiệu quả điện năng phát huy. Lựa chọn phần cứng phải được quyết định cùng với chiến lược trình biên dịch và ánh xạ, và độ trưởng thành của ngăn xếp phần mềm (các trình biên dịch như XLA) chi phối hiệu năng thực.
  • Đánh đổi độ chính xác–độ đúng: Các phép tính độ chính xác thấp như INT8, FP8, INT4 nâng mạnh thông lượng và hiệu quả điện năng nhưng kéo theo tổn thất độ đúng của mô hình. Phải quản lý tổn thất bằng huấn luyện nhận biết lượng tử hóa (QAT) và hiệu chỉnh (calibration), và đạt cân bằng kỹ thuật chọn độ chính xác trong khuôn khổ tiêu chí chất lượng dịch vụ (SLA).
  • Tích hợp điện toán không đồng nhất và sự phụ thuộc: Vì động cơ systolic vận hành không đơn độc mà như một phần của hệ thống không đồng nhất kết hợp với CPU và GPU, nên các nút thắt khắp di chuyển dữ liệu, lập lịch và phân cấp bộ nhớ (độ trễ nạp trọng số, băng thông kích hoạt) phải được thiết kế cùng nhau. Cũng phải cân nhắc chiến lược rủi ro bị khóa (lock-in) vào bộ tăng tốc và trình biên dịch của một nhà cung cấp cụ thể, cùng độ trưởng thành của hệ sinh thái.
  • Triển vọng tương lai và công nghệ liên kết: Trong khi luồng dữ liệu tái cấu hình, hỗ trợ tính thưa, siêu thấp độ chính xác, và ghép PIM đẩy giới hạn hiệu năng lên cao, thì HBM, chiplet và đóng gói tiên tiến nâng đỡ băng thông cấp dữ liệu cho mảng. Mảng systolic, với tư cách nền tảng tính toán chung của bán dẫn AI liên kết khắp NPU, TPU, AI on-device và tăng tốc trung tâm dữ liệu, dự kiến vẫn là một trục cốt lõi của cuộc cạnh tranh hiệu quả điện năng trong tương lai.

Tài liệu tham khảo


Tóm tắt một câu: Mảng systolic là một cấu trúc luồng dữ liệu bơm dữ liệu theo nhịp qua một lưới các PE đồng dạng và xử lý nhân-cộng dồn bằng giao tiếp cục bộ để tối đa hóa tái sử dụng dữ liệu; qua việc chọn các chiến lược như cố định trọng số, đầu ra và hàng, nó né tránh bức tường bộ nhớ, và là một tác phẩm kinh điển của kiến trúc máy tính hồi sinh thành động cơ tính toán ma trận hiệu quả điện năng của các bộ tăng tốc AI hiện đại như TPU và NPU.