Mô hình Roofline (Roofline Model) và Phân tích Hiệu năng
1. Tổng quan
A. Định nghĩa
Mô hình Roofline (Roofline Model) là một mô hình hiệu năng trực quan biểu diễn hiệu năng tối đa về lý thuyết có thể đạt được của một kernel tính toán trên phần cứng cụ thể dưới dạng hai cận trên (mái nhà, roofline) trên đồ thị log–log có trục ngang là Cường độ Tính toán (Arithmetic Intensity, số phép toán dấu phẩy động trên mỗi byte). Được Samuel Williams, Andrew Waterman và David Patterson của UC Berkeley và LBNL đề xuất trong bài báo CACM năm 2009, nó cho phép chẩn đoán trong một hình ảnh duy nhất rằng hiệu năng bị giới hạn bởi năng lực tính toán (peak FLOP/s) hay bởi băng thông bộ nhớ (peak bandwidth).
Câu hỏi đầu tiên mà kỹ sư phải trả lời khi bắt đầu tối ưu hiệu năng là: "mã này chậm vì tính toán quá nhiều hay vì không chuyển được dữ liệu đủ nhanh?" Hai nguyên nhân đòi hỏi những đơn thuốc trái ngược. Nếu tính toán là nút thắt cổ chai, phải tăng thông lượng tính toán bằng SIMD, FMA và nhiều lõi hơn; nhưng nếu di chuyển dữ liệu là nút thắt, dù tăng bao nhiêu đơn vị tính toán cũng vô ích, và phải giảm lưu lượng bộ nhớ qua tái sử dụng cache, tính cục bộ dữ liệu và nén. Mô hình Roofline trao cho câu hỏi này một tọa độ định lượng. Đặt cường độ tính toán của kernel lên trục x và hai cận phần cứng làm mái nhà, ta lập tức thấy rõ bản chất của nút thắt và dư địa tối ưu, nhờ việc chỉ ra kernel của mình nằm dưới phần nào của mái.
Roofline mạnh mẽ vì nó không chỉ là một con số benchmark mà là một công cụ xếp chồng giới hạn vật lý của phần cứng và đặc tính của phần mềm lên cùng một mặt phẳng. Peak FLOP/s và peak bandwidth là hằng số cố định một khi chip được chọn, còn cường độ tính toán là giá trị suy ra khi thuật toán được chọn. Bằng cách cho hai thế giới gặp nhau trên một đồ thị, ta có thể lập luận có căn cứ về "điều tốt nhất thuật toán này có thể đạt trên phần cứng này là đến đâu" và "còn dư địa để tiến xa hơn qua tối ưu, hay đã chạm mái rồi?" Dưới góc nhìn của Kỹ sư chuyên nghiệp, Roofline là công cụ chẩn đoán bậc một củng cố quyết định đầu tư hiệu năng bằng các con số kỹ thuật — mở rộng tính toán so với mở rộng bộ nhớ, thiết kế lại thuật toán so với thay thế phần cứng.
B. Bối cảnh ra đời và sự cần thiết
Roofline ra đời vào cuối thập niên 2000, khi mức tăng xung nhịp lõi đơn chạm bức tường năng lượng (power wall) và bắt đầu chuyển sang đa lõi. Số lõi tăng, nhưng băng thông bộ nhớ không tăng nhanh tương ứng, nên khoảng cách giữa năng lực tính toán và năng lực cung cấp dữ liệu (cái gọi là bức tường bộ nhớ, memory wall) nới rộng. Kết quả là nhiều kernel thực tế rơi vào trạng thái để đơn vị tính toán nhàn rỗi trong khi chờ bộ nhớ, và một con số đơn như "đang dùng bao nhiêu % peak FLOP/s" không thể giải thích vì sao chậm hay cần sửa gì.
Nhu cầu về Roofline chỉ tăng theo thời gian. Các bộ tăng tốc như GPU, NPU, TPU đã nâng mạnh thông lượng tính toán, nhưng băng thông bộ nhớ tăng tương đối ít hơn, nên khối lượng công việc có cường độ tính toán thấp càng chịu hiện tượng phụ thuộc băng thông không khai thác được tiềm năng của bộ tăng tốc. Ví dụ, giai đoạn sinh token (decode) của mô hình ngôn ngữ lớn (LLM) phải đọc trọng số mô hình từ bộ nhớ cho mỗi token khi kích thước batch nhỏ, nên cường độ tính toán rất thấp ở mức 1–2 FLOP/Byte, và kết quả là hiệu năng bị trói vào băng thông bộ nhớ ngay cả trên bộ tăng tốc hàng trăm TFLOP/s. Trong tình huống đó Roofline giải thích trong nháy mắt "vì sao một bộ tăng tốc đắt tiền chỉ đạt vài phần trăm peak," và chỉ ra các đơn thuốc như mở rộng batch, lượng tử hóa, nén KV-cache di chuyển trục nào — nên nó đã trở thành ngôn ngữ chung cho tối ưu suy luận và huấn luyện AI, vượt ra ngoài HPC.
2. Khái niệm cốt lõi — Cường độ tính toán và hai trần
Cấu trúc tổng thể của mô hình Roofline như sau. Hai cận do phần cứng cung cấp (hiệu năng tính toán đỉnh và băng thông bộ nhớ đỉnh) gặp một đặc tính của kernel (cường độ tính toán) để xác định "hiệu năng khả đạt."
flowchart TB
HW["Đặc tính phần cứng"] --> PEAK["Hiệu năng tính toán đỉnh<br/>(FLOP/s, mái phẳng)"]
HW --> BW["Băng thông bộ nhớ đỉnh<br/>(Byte/s, mái dốc)"]
SW["Đặc tính kernel"] --> AI["Cường độ tính toán<br/>(FLOP/Byte)"]
PEAK --> MODEL["Hiệu năng khả đạt<br/>= min(đỉnh, băng thông x cường độ)"]
BW --> MODEL
AI --> MODEL
MODEL --> DIAG{"Vị trí kernel<br/>so với điểm sống"}
DIAG -->|"trái"| MEM["Giới hạn bộ nhớ<br/>(băng thông là nút thắt)"]
DIAG -->|"phải"| COMP["Giới hạn tính toán<br/>(tính toán là nút thắt)"]
style PEAK fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style BW fill:#e6f4ea,stroke:#188038,stroke-width:2px
style MEM fill:#fce8e6,stroke:#d93025,stroke-width:2px
style COMP fill:#fef7e0,stroke:#f29900,stroke-width:2px
Công thức cốt lõi của mô hình là hiệu năng khả đạt P = min(P_peak, B × I), trong đó P_peak là hiệu năng tính toán đỉnh của phần cứng (FLOP/s), B là băng thông bộ nhớ đỉnh (Byte/s), và I là cường độ tính toán (FLOP/Byte). Khi cường độ thấp, số hạng B × I nhỏ nên hiệu năng bị trói vào băng thông (mái dốc); khi cường độ cao, B × I vượt P_peak nên hiệu năng bị trói vào tính toán (mái phẳng). Điểm mà hai số hạng bằng nhau, tức I = P_peak / B, được gọi là điểm sống (ridge point); bên trái nó là giới hạn bộ nhớ, bên phải là giới hạn tính toán.
Cường độ tính toán (Arithmetic Intensity, còn gọi là operational intensity) được định nghĩa là số phép toán dấu phẩy động thực hiện trên mỗi byte trao đổi với DRAM. Điều then chốt là mẫu số không phải "tổng kích thước dữ liệu" mà là "lưu lượng thực sự đã đi ra vào bộ nhớ." Với cùng một thuật toán, tăng tái sử dụng dữ liệu qua chia khối cache (tiling) làm giảm lưu lượng bộ nhớ, nâng cường độ tính toán và đẩy kernel sang phải trên đồ thị tới một cận hiệu năng cao hơn. Nói cách khác, cường độ tính toán không phải hằng số thuật toán cố định mà là một biến thiết kế di chuyển theo cách triển khai, và đây là điều khiến Roofline trở thành công cụ chỉ ra hướng tối ưu chứ không chỉ chẩn đoán.
Roofline dùng trục log–log là có lý do. Cường độ tính toán trải rộng hàng nghìn lần, từ 0,1 đến hàng trăm FLOP/Byte tùy kernel, và hiệu năng cũng phân bố rộng, từ hàng chục GFLOP/s đến hàng trăm TFLOP/s. Trục tuyến tính không thể gói phạm vi rộng này trong một màn hình, hơn nữa vùng giới hạn băng thông trên trục tuyến tính trở thành đường cong khó đọc bằng mắt chứ không phải đường thẳng. Trên trục log, "P = B × I" xuất hiện dưới dạng đường thẳng hệ số góc 1 (mái dốc) và cận tính toán đỉnh là đường ngang, nên hai mái tạo thành một đường gãy gọn gàng và điểm sống cùng vị trí kernel đọc được trực quan. Chính việc chọn trục là một thiết kế chi phối tính dễ đọc của mô hình.
Đồ thị dưới đây cho thấy một đường Roofline điển hình và vị trí của các kernel tiêu biểu. Trục ngang là cường độ tính toán (FLOP/Byte), trục dọc là hiệu năng khả đạt (GFLOP/s), và vùng dốc (giới hạn băng thông) gãy thành vùng phẳng (giới hạn tính toán) tại điểm sống.
{
"type": "line",
"data": {
"labels": ["0.1", "0.25", "0.5", "1", "2", "4", "8", "16", "32", "64"],
"datasets": [
{ "label": "Cận Roofline (băng thông 100GB/s, đỉnh 1000GFLOP/s)", "data": [10, 25, 50, 100, 200, 400, 800, 1000, 1000, 1000], "borderColor": "#2f6fed", "tension": 0.1, "fill": false },
{ "label": "SpMV (AI=0.25, giới hạn bộ nhớ)", "data": [null, 25, null, null, null, null, null, null, null, null], "borderColor": "#d93025", "pointRadius": 7, "showLine": false },
{ "label": "Stencil (AI=2, giới hạn bộ nhớ)", "data": [null, null, null, null, 200, null, null, null, null, null], "borderColor": "#f29900", "pointRadius": 7, "showLine": false },
{ "label": "Dense GEMM (AI=32, giới hạn tính toán)", "data": [null, null, null, null, null, null, null, null, 1000, null], "borderColor": "#188038", "pointRadius": 7, "showLine": false }
]
},
"options": {
"plugins": { "legend": { "position": "bottom" }, "title": { "display": true, "text": "Đồ thị Roofline: hiệu năng khả đạt theo cường độ tính toán (điểm sống AI=10)" } },
"scales": {
"x": { "title": { "display": true, "text": "Cường độ tính toán (FLOP/Byte, log)" }, "type": "logarithmic" },
"y": { "title": { "display": true, "text": "Hiệu năng khả đạt (GFLOP/s, log)" }, "type": "logarithmic" }
}
}
}
3. Đọc đồ thị Roofline — Điểm sống và bố trí kernel
Bước đầu tiên để dùng Roofline trong thực tế là xác định vị trí điểm sống (ridge point). Điểm sống I* = P_peak / B tóm tắt "tính cách" của phần cứng đó. Ví dụ một chip giả định với 1.000 GFLOP/s tính toán đỉnh và 100 GB/s băng thông bộ nhớ có điểm sống tại 10 FLOP/Byte. Điều này nghĩa là "chỉ những kernel thực hiện từ 10 phép toán trở lên trên mỗi byte mới dùng hết được tính toán, dưới mức đó thì bị trói vào bộ nhớ." Điểm sống càng nằm bên phải (băng thông càng khan hiếm tương đối so với tính toán), càng nhiều kernel rơi vào vùng giới hạn bộ nhớ. GPU và bộ tăng tốc AI hiện đại có thông lượng tính toán lớn đến mức điểm sống đạt 10 đến vài trăm FLOP/Byte, nên hầu hết kernel thông thường tự nhiên trở thành giới hạn bộ nhớ.
Bố trí các kernel tiêu biểu làm rõ tính hữu dụng của mô hình. Nhân ma trận thưa–vector (SpMV) thực hiện 2 phép nhân-cộng cho mỗi phần tử khác không trong khi đọc ít nhất 8 byte (giá trị + chỉ số + truy cập vector), nên cường độ tính toán cực thấp ở mức 0,1–0,25 FLOP/Byte, bám vào đầu bên trái của mái dốc như một ca giới hạn bộ nhớ kinh điển. Phép toán stencil có chút tái sử dụng, nên cường độ tính toán ở mức trung bình 1–4 và thường vẫn nằm bên trái điểm sống. Ngược lại, nhân ma trận dày (dense GEMM), khi chia khối n×n, có O(n³) phép toán và O(n²) lưu lượng bộ nhớ, nên cường độ tính toán tăng tới hàng chục đến hàng trăm FLOP/Byte tỷ lệ với kích thước khối, chạm mái phẳng như giới hạn tính toán. Sự khác biệt bố trí này giải thích cả lý do các GEMM lớn trong huấn luyện học sâu đạt mức khai thác peak cao của bộ tăng tốc, lẫn lý do suy luận LLM batch nhỏ thì không.
Tính cường độ tính toán bằng tay làm mô hình cụ thể hơn. Hãy xét AXPY (y = a·x + y), một kernel giới hạn bộ nhớ tiêu biểu. Mỗi phần tử có 2 FLOP (một nhân, một cộng), và bộ nhớ di chuyển 12 byte ở độ chính xác đơn: đọc x (4B), đọc y (4B), ghi y (4B). Vậy cường độ tính toán là 2 ÷ 12 ≈ 0,17 FLOP/Byte, và trên một chip giả định có điểm sống 10 FLOP/Byte nó chỉ dùng được khoảng 1,7% tính toán đỉnh (= 0,17 × 100 GB/s = 17 GFLOP/s / 1.000 GFLOP/s) — một ca giới hạn bộ nhớ cực đoan. Con số này đóng đinh, trong một dòng số học, kết luận rằng "AXPY chẳng được lợi gì từ việc thêm đơn vị tính toán; chỉ băng thông quyết định hiệu năng của nó." Theo cách tương tự, dense GEMM có cường độ tính toán xấp xỉ tỷ lệ với kích thước khối B (O(B³) phép toán / O(B²) lưu lượng), nên khối giữ trong cache càng lớn thì càng vượt điểm sống sang giới hạn tính toán.
Một kernel "gần mái đến đâu" cũng là thông tin cốt lõi. Nếu điểm hiệu năng đo được nằm ngay dưới mái, gần như không còn gì để vắt thêm từ phần cứng đó (nút thắt là giới hạn vật lý); nếu nó rơi xa dưới mái, sự kém hiệu quả trong triển khai (vector hóa kém, cache miss, rẽ nhánh, mất cân bằng tải) giữ nó dưới trần, nên có dư địa lớn để tối ưu mã. "Khoảng cách giữa điểm và mái" này cho biết cận trên của ROI tối ưu.
4. Mở rộng — Trần (ceiling) và Roofline phân cấp
Roofline cơ bản chỉ vẽ một đường tính toán đỉnh và một đường băng thông, nhưng chip thực có vài tầng cận hiệu năng. Quá trình bổ sung chúng dưới dạng trần (ceiling) để chẩn đoán tinh hơn như sau.
flowchart LR
START["Lập hồ sơ kernel<br/>đo FLOP và lưu lượng bộ nhớ"] --> CALC["Tính cường độ tính toán<br/>I = FLOP / Byte"]
CALC --> PLOT["Đánh dấu điểm hiệu năng trên Roofline"]
PLOT --> CHECK{"Phán định vị trí<br/>so với điểm sống"}
CHECK -->|"giới hạn bộ nhớ"| MOPT["Tái sử dụng, tiling<br/>nén, prefetch"]
CHECK -->|"giới hạn tính toán"| COPT["Vector hóa, FMA<br/>ILP, tăng song song"]
MOPT --> CEIL["Đánh giá lại so với trần cao hơn"]
COPT --> CEIL
CEIL --> DONE{"Gần mái?"}
DONE -->|"không"| PLOT
DONE -->|"có"| STOP["Đã chạm giới hạn vật lý<br/>xem lại phần cứng/thuật toán"]
style MOPT fill:#fce8e6,stroke:#d93025,stroke-width:2px
style COPT fill:#fef7e0,stroke:#f29900,stroke-width:2px
style STOP fill:#e6f4ea,stroke:#188038,stroke-width:2px
Trần tính toán (compute ceiling) biểu thị các giai đoạn tối ưu mức lệnh. Không dùng vector hóa (SIMD) thì bị giới hạn ở trần thấp của peak vô hướng; không dùng FMA (nhân-cộng hợp nhất) thì ở trần khoảng một nửa mức đó. Nếu điểm hiệu năng của kernel bám vào một trần thấp như vậy, tinh chỉnh bộ nhớ bao nhiêu cũng vô ích, và trước hết phải bảo đảm vector hóa, FMA và song song mức lệnh (ILP). Trần băng thông (bandwidth ceiling) biểu thị các giai đoạn tối ưu cung cấp dữ liệu. Bỏ qua tính cục bộ NUMA hoặc bỏ sót prefetch phần mềm và ghi streaming làm băng thông hữu hiệu tụt xuống dưới một nửa peak, hạ mái dốc chìm xuống.
Các biến thể tinh vi hơn là Roofline phân cấp (hierarchical roofline) và mô hình Roofline nhận biết cache (cache-aware roofline model, CARM). Vì phân cấp bộ nhớ chia thành L1, L2, LLC và HBM/DRAM với băng thông khác nhau ở mỗi tầng, ta vẽ riêng cường độ tính toán và mái băng thông cho từng cấp. Ví dụ GPU A100 có băng thông HBM2e khoảng 1,5–2,0 TB/s, trong khi băng thông L2 và bộ nhớ chia sẻ cao hơn vài lần. Cùng một kernel có thể giới hạn bộ nhớ theo "cường độ tính toán trên cơ sở DRAM" nhưng giới hạn tính toán theo "cường độ trên cơ sở L2," và Roofline phân cấp tách ra cấp nào là nút thắt thực sự. Phân tích này cho phép kê đơn định lượng rằng "nếu tiling làm tập làm việc vừa L2, lưu lượng HBM biến mất và kernel dịch sang phải (hiệu năng cao hơn)."
5. So sánh và các trường hợp áp dụng
So sánh Roofline với các kỹ thuật phân tích hiệu năng khác làm rõ vị trí của nó. Điểm then chốt là "nhìn nút thắt trên trục nào" và "có vẽ cận phần cứng một cách tường minh hay không."
| Khía cạnh | Mô hình Roofline | Định luật Amdahl | Phân tích profiler (điểm nóng) |
|---|---|---|---|
| Trục quan sát | Cường độ tính toán so với hiệu năng (băng thông/tính toán) | Tỷ lệ song song so với số lõi | Thời gian thực thi theo hàm/dòng |
| Câu hỏi trả lời | Nút thắt là tính toán hay bộ nhớ | Song song hóa tăng tốc bao nhiêu | Thời gian tiêu ở đâu |
| Giới hạn phần cứng | Nêu rõ peak FLOP/s và băng thông | Không xử lý trực tiếp | Không xử lý trực tiếp |
| Đơn thuốc | Tăng tái sử dụng hoặc vector hóa | Thu nhỏ đoạn tuần tự | Loại bỏ điểm nóng |
| Hạn chế | Xem nhẹ độ trễ, rẽ nhánh, mất cân bằng | Bỏ qua nút thắt bộ nhớ | Không biết vị trí so với trần |
Nhận thức then chốt từ so sánh này là ba kỹ thuật bổ sung lẫn nhau, không loại trừ. Khi profiler tìm ra "kernel nào tiêu nhiều thời gian nhất," Roofline cho biết "kernel đó bị trói vào bộ nhớ hay tính toán và còn bao nhiêu dư địa tới trần," và định luật Amdahl cùng Gustafson dự đoán "tổng thời gian phản hồi giảm bao nhiêu khi kernel đó được song song hóa và tối ưu." Kỹ thuật hiệu năng thực tế đan ba điều này theo thứ tự.
Hãy xét các trường hợp áp dụng cụ thể. Thứ nhất, trong tối ưu một mã stencil động lực học chất lỏng HPC, Roofline cho thấy kernel bám gần mái băng thông (cường độ tính toán ~2), và thay vì thêm đơn vị tính toán, nhóm đã chọn tăng tái sử dụng qua chia khối thời gian (temporal blocking), nâng cường độ tính toán và đạt hiệu năng gấp vài lần. Thứ hai, trong phục vụ suy luận LLM, Roofline giải thích rằng decode batch-1 là giới hạn bộ nhớ ở cường độ tính toán ~1–2, và biện minh định lượng vì sao batch liên tục (continuous batching, gộp nhiều yêu cầu để tăng tái sử dụng trọng số → dịch sang phải) và lượng tử hóa (cắt byte trọng số → tăng hiệu suất băng thông) lại hiệu quả. Thứ ba, các công cụ thương mại như Intel Advisor và NVIDIA Nsight Compute tự động tạo Roofline, vẽ điểm hiệu năng của hàng trăm kernel trên một màn hình và đặt ưu tiên tấn công trước các kernel xa mái nhất (dư địa tối ưu lớn nhất).
6. Chuyên sâu — Xu hướng gần đây và công cụ
Roofline đã mở rộng đều đặn cùng tiến hóa phần cứng kể từ 2009, và trở lại thành công cụ cốt lõi trong thời đại bộ tăng tốc AI. Thứ nhất là sự trưởng thành của các công cụ đo tự động. Thuở đầu, hiệu năng đỉnh và cường độ tính toán kernel được ước lượng bằng tay, nhưng nay Empirical Roofline Toolkit (ERT) đo mái băng thông và tính toán khả đạt thực tế bằng microbenchmark, còn Intel Advisor và NVIDIA Nsight Compute tự động thu thập FLOP và lưu lượng bộ nhớ qua bộ đếm phần cứng để vẽ Roofline theo từng kernel. Nhờ đó có thể chẩn đoán trên "mái khả đạt thực tế" thay vì "peak lý thuyết."
Thứ hai là các mái đa tầng theo lõi tensor và độ chính xác hỗn hợp. GPU hiện đại có hiệu năng tính toán đỉnh khác biệt lớn cho FP64, FP32, FP16/BF16, INT8 và FP8. Chẳng hạn NVIDIA A100 đạt khoảng 19,5 TFLOP/s cho FP32 nhưng khoảng 312 TFLOP/s cho FP16 lõi tensor — cao hơn 10 lần — nên xuất hiện vài tầng mái phẳng theo độ chính xác. Khi đó điểm sống cũng dịch xa sang phải cùng lúc (đỉnh↑ ÷ băng thông ≈ hằng số), cho ra nhận thức cấu trúc rằng độ chính xác càng thấp thì càng cần cường độ tính toán cao hơn để dùng hết bộ tăng tốc. Điều này giải thích, qua Roofline, vì sao độ chính xác hỗn hợp và lượng tử hóa gắn trực tiếp với hiệu năng trong học sâu.
Thứ ba là sự tái chú ý trong thời đại lấy bộ nhớ làm trung tâm. Các xu hướng như HBM3, mở rộng bộ nhớ dựa trên CXL và Tính toán trong Bộ nhớ (Processing-in-Memory) đều nhắm vào bài toán giới hạn bộ nhớ "tính toán dư thừa nhưng không cấp nổi dữ liệu." Roofline cung cấp một thước đo chung để đánh giá các công nghệ mới đó đẩy mỗi trục bao nhiêu (độ dốc của mái dốc = băng thông). Hơn nữa, nghiên cứu tối ưu phục vụ LLM (giảm lưu lượng bộ nhớ của FlashAttention, nén KV-cache, giải mã suy đoán, v.v.) gần như toàn bộ có thể được diễn giải như những nỗ lực "thoát khỏi giới hạn bộ nhớ bằng cách nâng cường độ tính toán hoặc cắt nhu cầu băng thông," và Roofline đã trở thành khung chuẩn để giải thích hiệu quả của chúng.
7. Điểm cân nhắc và hàm ý
Những điểm cần lưu ý khi áp dụng và phán định mô hình Roofline dưới góc nhìn của Kỹ sư chuyên nghiệp:
Nhận biết và bổ sung các giả định và điểm mù của mô hình. Roofline cơ bản giả định tính toán và bộ nhớ chồng lấp hoàn toàn (overlap), nên cái chậm hơn trong hai cái chi phối toàn bộ. Tuy nhiên trong thực tế, độ trễ bộ nhớ không được che giấu, dự đoán rẽ nhánh sai, đồng bộ và mất cân bằng tải, điều tiết năng lượng/nhiệt kéo hiệu năng xuống dưới mái. Do đó dùng Roofline để nhìn "trần và bản chất nút thắt," và xem xét các yếu tố độ trễ, mất cân bằng cùng với profiler và phân tích vết. Trước khi kết luận "chưa chạm mái nên là lỗi mã," phải kiểm chứng dư địa che giấu độ trễ và độ chính xác của phép đo (cách đếm FLOP và byte).
Dùng làm cơ sở cho quyết định đầu tư. Điểm sống và phân bố kernel trả lời trực tiếp câu hỏi mua sắm và thiết kế "nên mua thêm tính toán hay thêm bộ nhớ?" Nếu phần lớn khối lượng công việc tụ bên trái điểm sống (giới hạn bộ nhớ), hiệu dụng biên của việc thêm lõi và bộ tăng tốc là thấp, và bộ nhớ băng thông cao, mở rộng bộ nhớ (HBM, CXL) hoặc cải thiện cường độ tính toán của thuật toán cho ROI cao hơn. Ngược lại, nếu giới hạn tính toán chiếm ưu thế, tính toán độ chính xác thấp và bộ tăng tốc chuyên dụng là lời giải. Roofline trình bày sự đánh đổi này bằng con số, củng cố phán định TCO cho việc chọn phần cứng và máy chủ đám mây.
Lấy làm bánh lái cho việc thiết kế lại thuật toán và triển khai. Vì cường độ tính toán không phải giá trị cố định mà là biến di chuyển theo triển khai, Roofline cung cấp, bằng ngôn ngữ thiết kế, "sửa gì để điểm hiệu năng dịch theo hướng nào." Tiling, hợp nhất (fusion) và tính lại (recompute) cắt lưu lượng bộ nhớ để đẩy sang phải; vector hóa và FMA đẩy lên trên. Định nghĩa mục tiêu hiệu năng không phải "nhanh một cách mơ hồ" mà như một tọa độ kiểu "vượt điểm sống sang giới hạn tính toán" làm cho điều kiện kết thúc của công việc tối ưu trở nên rõ ràng.
Nhìn triển vọng và công nghệ liên đới cùng nhau. Khi AI và HPC hội tụ về cùng phần cứng và độ chính xác cùng phân cấp bộ nhớ trở nên đa tầng, phải chẩn đoán bằng nhiều Roofline theo độ chính xác và theo cấp, chứ không phải một mái duy nhất. Roofline hoàn thiện khi đan với định luật Amdahl và Gustafson (giới hạn khả mở rộng), phân cấp bộ nhớ và NUMA (cung cấp dữ liệu), và phân tích hiệu suất năng lượng (hiệu năng/watt). Đặc biệt, mở rộng thành "Roofline hiệu năng/watt" dưới góc nhìn bền vững và chi phí cho phép phán định cả hiệu suất năng lượng trong cùng một khung, nên tầm quan trọng của nó như công cụ quyết định cho điện toán xanh và thiết kế hạ tầng AI quy mô lớn dự kiến còn tăng thêm.
Tài liệu tham khảo
- S. Williams, A. Waterman, D. Patterson, "Roofline: An Insightful Visual Performance Model for Multicore Architectures," CACM 2009: https://dl.acm.org/doi/10.1145/1498765.1498785
- Roofline model, Wikipedia: https://en.wikipedia.org/wiki/Roofline_model
- NERSC, "Roofline Performance Model": https://docs.nersc.gov/tools/performance/roofline/
- Intel Advisor Roofline Analysis: https://www.intel.com/content/www/us/en/developer/articles/technical/intel-advisor-roofline.html
Tóm tắt một câu: Mô hình Roofline là mô hình hiệu năng trực quan vẽ cường độ tính toán của kernel (FLOP/Byte) trên trục ngang và hiệu năng tính toán đỉnh cùng băng thông bộ nhớ làm hai mái, chẩn đoán trong nháy mắt rằng hiệu năng bị giới hạn bởi tính toán hay bộ nhớ; vị trí kernel so với điểm sống và khoảng cách của nó tới mái định lượng hướng tối ưu, dư địa và quyết định đầu tư, và trong thời đại độ chính xác hỗn hợp, bộ nhớ phân cấp và suy luận LLM, nó đã mở rộng thành nhiều mái để trở thành ngôn ngữ chẩn đoán chung của HPC và tăng tốc AI.