Mạng liên kết (Interconnection Network) của hệ thống xử lý song song

1. Tổng quan

A. Khái niệm

Mạng liên kết là cấu trúc truyền thông kết nối nhiều bộ xử lý, bộ nhớ, nút với nhau để trao đổi dữ liệu trong hệ thống xử lý song song, và là yếu tố cốt lõi quyết định hiệu năng của hệ thống song song. Nối các nút theo cấu trúc liên kết (topology) nào, xác định đường đi theo cách nào (định tuyến), và chuyển mạch như thế nào là ba trục của thiết kế mạng liên kết.

Lý do căn bản khiến mạng liên kết quyết định thành bại của xử lý song song nằm ở chỗ 'dù có bao nhiêu bộ xử lý đi nữa, nếu chúng không trao đổi được dữ liệu thì cũng vô ích'. Xử lý song song chia công việc cho nhiều bộ xử lý thực hiện đồng thời để tăng tốc. Nhưng các bộ xử lý phải liên tục trao đổi dữ liệu thì mới hợp tác được. Nếu việc trao đổi dữ liệu này chậm hoặc có nút thắt, thì dù tăng số bộ xử lý hiệu năng cũng không tăng (chi phí truyền thông). Như định luật Amdahl chỉ ra, phần tuần tự và độ trễ truyền thông xác định giới hạn trên của lợi ích song song hóa, và thực thể vật lý của độ trễ truyền thông đó chính là mạng liên kết.

Mạng liên kết đảm nhận việc truyền thông giữa các bộ xử lý và giữa bộ xử lý với bộ nhớ. Tùy cách kết nối mà tốc độ truyền thông (độ trễ), năng lực truyền thông đồng thời (băng thông), khả năng mở rộng, chi phí khác nhau rất lớn. Nối trực tiếp tất cả thì nhanh nhưng số kết nối bùng nổ (đồ thị đầy đủ tỷ lệ với bình phương số nút) khiến chi phí và độ phức tạp không kham nổi, còn nối bằng một bus thì đơn giản nhưng mọi truyền thông tranh giành một đường dẫn gây nút thắt. Vì vậy nhiều cấu trúc kết nối (topology) cân bằng hiệu năng, chi phí và khả năng mở rộng đã được nghĩ ra. Thiết kế mạng liên kết chính là vấn đề cân bằng sự đánh đổi này ra sao. Ngày nay, vấn đề này lặp lại y hệt, chỉ khác quy mô, từ siêu máy tính, cụm GPU đến bên trong chip (NoC, Network-on-Chip).

B. Yếu tố đánh giá

Hiệu năng của mạng liên kết được đánh giá bằng một số chỉ số định lượng. Các chỉ số này xung đột nhau, nên hiểu rằng tối đa hóa một chỉ số sẽ làm chỉ số khác xấu đi là điểm xuất phát của thiết kế.

Đường kính biểu thị trong trường hợp xấu nhất truyền thông phải qua bao nhiêu hop nên quy định giới hạn trên của độ trễ. Đường kính càng nhỏ càng tốt, nhưng muốn giảm đường kính thì phải gắn thêm liên kết cho mỗi nút nên bậc kết nối (chi phí) tăng lên. Băng thông chia đôi là số liên kết nối hai nửa khi chia đôi mạng, quyết định nút thắt thực chất trong truyền thông mà dữ liệu bị trộn lẫn toàn cục (ví dụ: chuyển vị ma trận, all-to-all). Băng thông chia đôi lớn thì mạnh về truyền thông toàn cục nhưng cũng làm tăng liên kết và dây dẫn nên chi phí lớn. Tóm lại, mạng liên kết tốt đồng thời theo đuổi 'đường kính nhỏ, băng thông chia đôi lớn, bậc kết nối thấp', nhưng không thể thỏa mãn cả ba nên phải thỏa hiệp theo đặc tính ứng dụng.

2. Các loại mạng liên kết

flowchart TB
  I["Mạng liên kết"] --> S["Mạng tĩnh<br/>(kết nối cố định·mạng trực tiếp)"]
  I --> D["Mạng động<br/>(dựa trên chuyển mạch·mạng gián tiếp)"]
  S --> S1["Tuyến tính (Linear)"]
  S --> S2["Vòng (Ring)"]
  S --> S3["Lưới (Mesh)·Torus (Torus)"]
  S --> S4["Siêu khối (Hypercube)"]
  S --> S5["Cây·Fat-tree (Fat-tree)"]
  D --> D1["Bus (Bus)"]
  D --> D2["Crossbar (Crossbar)"]
  D --> D3["Mạng đa tầng (Multistage, Omega)"]
  style I fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px

Mạng liên kết được chia thành mạng tĩnh (mạng trực tiếp) có kết nối cố định và mạng động (mạng gián tiếp) thay đổi kết nối tùy lúc bằng chuyển mạch. Mạng tĩnh có các nút nối trực tiếp với nhau bằng liên kết nên có lợi cho tính toán khoa học có mẫu truyền thông ổn định, còn mạng động kết nối hai nút bất kỳ qua chuyển mạch nên linh hoạt nhưng bản thân chuyển mạch lại là yếu tố gây chi phí và độ trễ.

A. Bus và crossbar — hai thái cực. Bus là cấu trúc đơn giản nhất gắn mọi nút vào một môi trường dùng chung. Chỉ có một đường dây nên rẻ và đường kính là 1, nhưng mỗi lúc chỉ một cặp truyền thông được nên khi số nút tăng lập tức trở thành nút thắt. Ngược lại, crossbar kết nối đầy đủ mọi đầu vào và đầu ra bằng chuyển mạch dạng lưới nên bất kỳ cặp nút nào cũng truyền thông đồng thời không xung đột. Hiệu năng lý tưởng nhưng số chuyển mạch tăng theo bình phương số nút (O(n²)) nên hệ thống quy mô lớn không kham nổi chi phí. Hai cấu trúc này là hai thái cực 'rẻ và chậm' và 'đắt và nhanh', các topology còn lại thường nằm đâu đó ở giữa.

B. Mạng liên kết đa tầng (MIN) — thỏa hiệp. Mạng đa tầng như mạng Omega chồng log n tầng chuyển mạch nhỏ (thường 2×2), hạ chi phí O(n²) của crossbar xuống O(n log n) mà vẫn có tính đồng thời tốt hơn nhiều so với bus. Tuy nhiên, với một số mẫu truyền thông nhất định có thể xảy ra chặn (blocking) do đường nội bộ trùng nhau, nên nếu muốn không chặn hoàn toàn (non-blocking) cần cấu trúc phức tạp hơn như Clos/Benes. Đây là điển hình của đánh đổi 'giảm chi phí thì phát sinh rủi ro tranh chấp'.

C. Họ lưới (lưới, torus, siêu khối) — hướng đến khả năng mở rộng. Máy tính song song quy mô lớn ưa chuộng mạng tĩnh nối các nút theo lưới đều đặn. Vì dây dẫn mang tính cục bộ (giữa các nút lân cận) nên dễ hiện thực vật lý, và khi thêm nút có thể mở rộng mà vẫn giữ cấu trúc. Đại diện của họ này là lưới, torus, siêu khối, và phần tiếp theo sẽ xem chi tiết với torus làm trọng tâm.

3. Chi tiết cấu trúc Torus (Torus)

flowchart LR
  subgraph Mesh["Lưới 2D (biên mở)"]
    M00["N"] --- M01["N"] --- M02["N"]
    M10["N"] --- M11["N"] --- M12["N"]
    M00 --- M10
    M01 --- M11
    M02 --- M12
  end
  subgraph Torus["Torus 2D (hai đầu wrap-around)"]
    T00["N"] --- T01["N"] --- T02["N"]
    T10["N"] --- T11["N"] --- T12["N"]
    T00 --- T10
    T01 --- T11
    T02 --- T12
    T02 -. wrap .- T00
    T12 -. wrap .- T10
  end
  style Mesh fill:#f5f7fa,stroke:#8a94a6
  style Torus fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px

Torus là cấu trúc nối hai đầu (biên) của cấu trúc lưới (Mesh) với nhau để tạo thành dạng vòng (wrap-around). Lưới nối các nút theo dạng lưới nên khả năng mở rộng tốt, nhưng các nút ở biên chỉ được nối về một phía nên khoảng cách truyền thông xa hơn và tải dồn về một phía. Đường kính của lưới n×n là khoảng 2(n−1), nên quy mô càng lớn thì độ trễ xấu nhất càng tăng mạnh. Torus nối hai đầu để bù đắp nhược điểm này.

Lý do torus tốt hơn lưới được tổng hợp thành ba điểm. Thứ nhất, rút ngắn đường kính. Liên kết wrap-around nối biên sang phía đối diện nên ngay cả trường hợp xấu nhất cũng có thể đến được với khoảng cách bằng một nửa lưới, và đường kính giảm khoảng một nửa. Đây là lợi ích hiệu năng trực tiếp cho truyền thông nhạy với độ trễ. Thứ hai, phân tán tải đối xứng. Trong lưới, số kết nối của nút biên và nút trung tâm khác nhau nên lưu lượng mất cân bằng, còn trong torus mọi nút có cùng số kết nối (4 nếu là 2 chiều) nên không nút nào đặc biệt trở thành nút thắt. Thứ ba, băng thông chia đôi tốt. Nhờ cấu trúc đối xứng, cắt mạng ở đâu thì số liên kết bị cắt cũng được duy trì đồng đều nên mạnh về truyền thông toàn cục.

Vì các đặc tính này, torus được dùng rộng rãi trong máy tính song song quy mô lớn và siêu máy tính. Cụ thể, IBM Blue Gene/L·P áp dụng torus 3 chiều, Blue Gene/Q áp dụng torus 5 chiều, interconnect SeaStar/Gemini của Cray cũng dựa trên torus 3D, và K computer cùng Fugaku kế nhiệm của Nhật Bản dùng interconnect Tofu là mesh/torus 6 chiều. Tăng số chiều (tổng quát hóa k-ary n-cube) thì với cùng số nút đường kính giảm thêm, nhưng có đánh đổi là số liên kết mỗi nút và độ phức tạp dây dẫn tăng. Tuy nhiên, dây wrap-around về mặt vật lý đòi hỏi cáp dài tới tận phía đối diện, nên trong hiện thực thực tế còn dùng kèm kỹ thuật gấp bố trí nút (folding) để cân bằng chiều dài cáp.

4. So sánh với siêu khối và Fat-tree

Để hiểu vị trí của torus, việc so sánh với siêu khối và fat-tree là hữu ích. Ba cấu trúc này là các topology tiêu biểu cạnh tranh và cùng tồn tại trong hệ thống quy mô lớn.

Siêu khối là khối n chiều, với số nút 2ⁿ thì đường kính chỉ là log₂(2ⁿ)=n, rất ngắn. Có lợi cho ứng dụng truyền thông toàn cục thường xuyên. Tuy nhiên, bậc kết nối mỗi nút là n tăng theo số nút, nên khi quy mô lớn phải liên tục tăng cổng cho mỗi nút, khó mở rộng phần cứng. Tức là siêu khối là cấu trúc 'đường kính nhỏ nhưng bậc kết nối lớn'.

Ngược lại, torus giữ cố định số chiều n và chỉ tăng kích thước k của mỗi chiều (k-ary n-cube), nên bậc kết nối mỗi nút được duy trì ổn định ở 2n. Bù lại đường kính lớn hơn siêu khối. Rốt cuộc torus là cấu trúc hy sinh phần nào đường kính để 'giữ bậc kết nối ổn định và đạt khả năng mở rộng', còn siêu khối thì ngược lại. Việc có thể cố định số cổng mỗi nút trong hệ thống siêu lớn với hàng chục nghìn đến hàng trăm nghìn nút là lý do thực tiễn khiến torus được áp dụng rộng rãi trong siêu máy tính.

Fat-tree (Fat-tree) là cấu trúc cây trong đó băng thông liên kết càng lên cao càng dày để loại bỏ nút thắt ở tầng trên, ngày nay được dùng gần như chuẩn trong mạng InfiniBand của trung tâm dữ liệu và cụm HPC. Fat-tree có ưu điểm cung cấp băng thông đồng đều (full bisection) cho bất kỳ cặp nút nào nên không nhạy với mẫu truyền thông, phù hợp cho cụm đa dụng có truyền thông bất quy tắc. Ngược lại, torus mạnh ở tính toán khoa học được định dạng với nhiều truyền thông lân cận. Tức là 'truyền thông cục bộ quy tắc thì torus, truyền thông toàn cục bất quy tắc thì fat-tree' là tiêu chí lựa chọn đại khái.

5. Chuyên sâu — Mở rộng sang AI và trung tâm dữ liệu

Mạng liên kết không còn là đặc quyền của siêu máy tính mà đã nổi lên thành yếu tố quyết định thành bại của hạ tầng huấn luyện AI quy mô lớn ngày nay. Khi huấn luyện mô hình khổng lồ bằng hàng nghìn GPU, mỗi bước đều phát sinh truyền thông all-reduce cộng gradient của mọi GPU, và hiệu quả của truyền thông tập thể (collective communication) này quyết định tốc độ huấn luyện. Nếu truyền thông chậm, các GPU đắt tiền sẽ ngồi chờ dữ liệu, nên thiết kế interconnect quyết định hiệu quả chi phí tổng thể.

Trong bối cảnh này, các khái niệm topology đã xem ở trên được tái hiện nguyên vẹn. NVLink/NVSwitch của NVIDIA gắn các GPU bằng kết nối đầy đủ gần như crossbar để cung cấp truyền thông băng thông cao bên trong nút, còn giữa các nút dùng fat-tree InfiniBand hoặc topology dạng torus. TPU Pod của Google kết nối chip rõ ràng bằng torus 2D/3D, hiện thực all-reduce tối ưu cho truyền thông tốc độ cao giữa các nút lân cận. Tức là nguyên lý cổ điển 'torus có lợi cho workload định dạng với nhiều truyền thông cục bộ' được áp dụng nguyên vẹn trong huấn luyện AI.

Ngoài ra, cùng một vấn đề lặp lại ngay bên trong chip. Network-on-Chip (NoC) nối hàng chục đến hàng trăm lõi trong bộ xử lý đa lõi và nhiều lõi thường áp dụng topology lưới hoặc torus 2D. Vì dưới ràng buộc diện tích chip và điện năng cần một cấu trúc có thể mở rộng bằng dây dẫn cục bộ. Như vậy mạng liên kết là nguyên lý phổ quát của tính toán song song, xử lý cùng một đánh đổi (đường kính, băng thông, bậc kết nối, chi phí) chỉ khác quy mô từ siêu máy tính→trung tâm dữ liệu→bên trong chip. [[multi-gpu]]

6. Lưu ý và hàm ý (góc nhìn Kỹ sư chuyên nghiệp)

1. Cân bằng hiệu năng, chi phí, khả năng mở rộng là cốt lõi thiết kế. Crossbar nhanh nhưng đắt với O(n²), bus rẻ nhưng có nút thắt, nên phải chọn topology phù hợp với quy mô hệ thống và mẫu truyền thông. Vì đường kính, băng thông chia đôi, bậc kết nối xung đột nhau, cần tiếp cận như bài toán lựa chọn theo hàm mục tiêu (tối đa hóa hiệu năng dưới ràng buộc chi phí) chứ không phải một nghiệm tối ưu duy nhất.

2. Sự khớp với mẫu truyền thông là quan trọng. Nhiều truyền thông cục bộ (tính toán lưới lân cận) thì lưới, torus có lợi; nhiều truyền thông toàn cục, bất quy tắc thì siêu khối, fat-tree có lợi. Phải profiling đặc tính trao đổi dữ liệu của ứng dụng (tính toán stencil, all-to-all, all-reduce) để khớp topology thì mới đạt hiệu năng thực.

3. Phải thiết kế đồng thời định tuyến và khả năng chịu lỗi. Không chỉ topology mà phải có thuật toán quyết định đường đi (ví dụ: định tuyến theo thứ tự chiều), tránh bế tắc (deadlock) (kênh ảo), đường vòng khi liên kết hỏng thì hệ thống quy mô lớn mới hoạt động ổn định. Số nút càng nhiều thì xác suất hỏng linh kiện càng cao, nên khả năng chịu lỗi là bắt buộc chứ không phải tùy chọn.

4. Tầm quan trọng đang tăng lên với hạ tầng huấn luyện AI quy mô lớn. Khi hiệu quả truyền thông tập thể của cụm GPU quyết định chi phí huấn luyện, tổ hợp phân tầng torus (TPU Pod), fat-tree (InfiniBand), kết nối đầy đủ (NVLink) đang trở thành chuẩn. Với nhận thức interconnect chính là năng lực cạnh tranh AI, chồng lấp truyền thông-tính toán (overlap) và thuật toán truyền thông tập thể nhận biết topology trở thành đối tượng tối ưu hóa cốt lõi.

5. Triển vọng là liên kết với các công nghệ vật lý như kết nối quang, chiplet. Để vượt giới hạn khoảng cách giữa các nút và điện năng, quang tử silicon (interconnect quang) và đóng gói dựa trên chiplet (chiplet) đang nổi lên, được kỳ vọng sẽ nới lỏng giới hạn hiện thực vật lý của mạng liên kết, cho phép băng thông chia đôi lớn hơn và độ trễ thấp hơn.

Tài liệu tham khảo

• Oregon State Univ., "Interconnection Networks: Direct/Indirect, Shared Memory" tài liệu bài giảng — https://web.engr.oregonstate.edu/~bose/cs572/InterconnectionNetworks.ppt
• "Fully twisted torus interconnection network for parallel systems", Discover Computing (Springer, 2025) — https://link.springer.com/article/10.1007/s10791-025-09891-w

Tóm tắt một câu: Mạng liên kết là cấu trúc truyền thông kết nối bộ xử lý và bộ nhớ của hệ thống song song, quyết định hiệu năng trong đánh đổi giữa đường kính, băng thông, bậc kết nối, gồm bus, crossbar, lưới, siêu khối, fat-tree...; torus nối hai đầu của lưới để giảm đường kính còn một nửa và phân tán tải đối xứng, được dùng rộng rãi trong xử lý song song quy mô lớn như siêu máy tính, TPU Pod.