NVMe (Non-Volatile Memory Express) và NVMe-oF

1. Tổng quan

A. Định nghĩa

NVMe (Non-Volatile Memory Express) là quy cách giao diện host–controller kiêm tập lệnh (command set) được thiết kế nhằm khai thác tối đa tính song song và đặc tính độ trễ thấp của thiết bị lưu trữ phi bay hơi (chủ yếu là SSD NAND flash và bộ nhớ thế hệ mới) kết nối trực tiếp vào bus PCIe (PCI Express). NVMe-oF (NVMe over Fabrics) là quy cách truyền tải (transport) mở rộng mô hình lệnh và hàng đợi của NVMe lên trên fabric mạng (RDMA, Fibre Channel, TCP), cho phép truy cập lưu trữ từ xa với độ trễ thấp như thể là một thiết bị NVMe cục bộ.

Bản chất của NVMe nằm ở việc hóa giải sự không ăn khớp "phương tiện lưu trữ đã thay đổi nhưng quy ước truy cập vẫn như cũ". AHCI/SATA và SAS xưa là giao diện được xây dựng trên tiền đề đĩa quay (HDD), giả định một hàng đợi lệnh duy nhất, độ sâu hàng đợi nông và đường xử lý lệnh dài. Tuy nhiên SSD flash không có độ trễ tìm kiếm cơ học và bên trong có thể vận hành song song hàng chục kênh·die; dùng nguyên quy ước thời HDD sẽ khiến lớp phần mềm trở thành nút thắt cổ chai chặn tính song song của phương tiện. NVMe là quy cách đặt đa hàng đợi (multi-queue)·chi phí lệnh thấp·đệ trình song song theo từng lõi làm mục tiêu thiết kế hàng đầu nhằm loại bỏ nút thắt này.

B. Bối cảnh ra đời và sự cần thiết

Khi SSD flash phổ cập mạnh vào cuối thập niên 2000, độ trễ truy cập của bản thân đĩa đã giảm từ mili-giây (ms) xuống mức hàng chục micro-giây (µs), tức giảm từ hai bậc độ lớn trở lên. Thế nhưng kết nối SSD này qua SATA/AHCI truyền thống lại vấp phải giới hạn cấu trúc: AHCI chỉ cho phép 1 hàng đợi, độ sâu hàng đợi là 32, nên dù phương tiện nhanh đến đâu cũng không thể đẩy đủ lệnh vào. Ngoài ra, xử lý một lệnh AHCI cần nhiều lần truy cập thanh ghi (MMIO) và xử lý ngắt, khiến chi phí phần mềm trên mỗi lệnh trở nên tương đối lớn so với độ trễ phương tiện. Tức là nảy sinh sự không ăn khớp cấu trúc "quy ước chậm trên phương tiện nhanh".

NVMe đã thiết kế lại sự không ăn khớp này một cách căn bản. Host đặt hàng đợi đệ trình (SQ, Submission Queue) và hàng đợi hoàn tất (CQ, Completion Queue) thành từng cặp trên bộ nhớ, ghi lệnh vào hàng đợi rồi chỉ bằng một lần ghi thanh ghi chuông cửa (doorbell) thông báo cho controller. Về lý thuyết có thể đặt tối đa 64K hàng đợi (65.535), mỗi hàng đợi chứa tối đa 64K lệnh, nên mỗi lõi của CPU đa lõi đệ trình lệnh song song qua hàng đợi riêng của mình mà không tranh chấp khóa. Tập lệnh cũng được đơn giản hóa còn một số ít lệnh bắt buộc, rút ngắn đường xử lý trên mỗi lệnh. Kết quả là cùng một SSD, nếu kết nối qua NVMe, có thể khai thác được hàng trăm nghìn đến hàng triệu IOPS và độ trễ mức hàng chục µs.

Hơn nữa, flash càng nhanh thì ràng buộc vật lý "SSD cục bộ cắm trong một máy chủ" càng trở thành nút thắt mới. Trong môi trường cloud·ảo hóa, cần tách rời (disaggregation) compute và lưu trữ để mở rộng·chia sẻ tài nguyên độc lập, nhưng nếu không duy trì được độ trễ thấp của NVMe cục bộ qua mạng thì lợi ích của việc tách rời bị triệt tiêu. NVMe-oF xuất phát đúng từ nhu cầu này, đóng gói mô hình hàng đợi·lệnh của NVMe gần như nguyên vẹn lên trên truyền tải mạng để tối thiểu hóa độ trễ phát sinh khi truy cập từ xa (mục tiêu chỉ thêm một chữ số µs với truyền tải RDMA). Tóm lại, NVMe hóa giải "không ăn khớp phương tiện–quy ước", còn NVMe-oF hóa giải "sự phụ thuộc cục bộ" — hai trục bổ sung cho nhau.

C. Đặc trưng cốt lõi

Tính chất của họ NVMe được tóm tắt thành bốn điểm. Thứ nhất tính song song sâu và rộng — nhiều hàng đợi và độ sâu hàng đợi lớn bảo đảm phần mềm không che khuất tính song song nội bộ của phương tiện. Thứ hai chi phí quy ước thấp — đệ trình dựa trên doorbell, ngắt MSI-X và tập lệnh đơn giản hóa tối thiểu hóa chi phí CPU trên mỗi lệnh. Thứ ba cấu trúc phân lớp có thể mở rộng — namespace phân vùng logic một controller, lớp truyền tải được trừu tượng hóa để PCIe·fabric được xử lý bằng cùng một mô hình lệnh. Thứ tư tính độc lập truyền tải (transport abstraction) — trong NVMe-oF, ý nghĩa lệnh lớp trên là như nhau dù dùng RDMA, FC hay TCP. Các đặc trưng này tạo cơ sở cho phán đoán "cục bộ hay tách rời, chọn truyền tải nào" sẽ bàn ở phần sau.

2. Kiến trúc NVMe và nguyên lý hoạt động

A. Cấu trúc tổng thể và các thành phần cốt lõi

Cấu trúc tổng thể của NVMe có thể chia thành bốn lớp: host (driver)·truyền tải (PCIe)·controller·namespace. Driver NVMe phía host tạo·quản lý hàng đợi giữa lớp block của HĐH và thiết bị, còn controller lấy lệnh xếp trong hàng đợi và phản ánh lên phương tiện qua lớp chuyển đổi flash (FTL) nội bộ. Namespace là đơn vị phân vùng logic một SSD vật lý, tương ứng với LUN của SCSI và cung cấp không gian lưu trữ cô lập theo từng máy ảo·tenant.

flowchart TB
  subgraph HOST["Host"]
    APP["Ứng dụng / Hệ thống tệp"]
    DRV["Driver NVMe<br/>(tạo hàng đợi·quản lý doorbell)"]
    AQ["Hàng đợi quản trị (Admin SQ/CQ)"]
    IQ["Cặp hàng đợi I/O (nhiều SQ/CQ theo lõi)"]
  end
  subgraph BUS["Truyền tải (PCIe)"]
    DB["Thanh ghi doorbell (MMIO)"]
  end
  subgraph CTRL["Controller NVMe"]
    ARB["Phân xử lệnh (Arbitration)"]
    FTL["FTL / ánh xạ·GC·cân bằng hao mòn"]
    NS1["Namespace NS1"]
    NS2["Namespace NS2"]
  end
  APP --> DRV --> AQ
  DRV --> IQ
  IQ --> DB --> ARB
  AQ --> DB
  ARB --> FTL --> NS1
  FTL --> NS2
  ARB -. "Ngắt MSI-X (thông báo hoàn tất)" .-> DRV

Các thành phần chính được tổng hợp như sau.

• Hàng đợi quản trị (Admin Queue): một cặp hàng đợi duy nhất xử lý các lệnh điều khiển như nhận diện controller, tạo·xóa hàng đợi I/O, quản lý namespace.
• Cặp hàng đợi I/O (SQ/CQ): hàng đợi nơi các lệnh đọc·ghi thực tế luân chuyển, đặt một hoặc nhiều theo mỗi lõi để cho phép đệ trình song song.
• Thanh ghi doorbell: cửa sổ MMIO qua đó host, sau khi đưa lệnh vào hàng đợi, báo vị trí đuôi (tail) cho controller và cập nhật vị trí đầu (head) sau khi xử lý hoàn tất.
• Namespace: tập các block logic mà controller phơi bày, trở thành đơn vị định dạng·mã hóa·cô lập.
• FTL (Flash Translation Layer): lớp firmware nội bộ của controller thực hiện ánh xạ địa chỉ logic-vật lý, thu gom rác và cân bằng hao mòn.

B. Luồng xử lý lệnh và mô hình hàng đợi

Xử lý lệnh của NVMe tuân theo mô hình sản xuất–tiêu thụ đơn giản "đưa vào hàng đợi → báo qua doorbell → nhận hoàn tất qua ngắt." Sơ đồ tuần tự dưới đây cho thấy đường đi từ lúc đệ trình đến lúc hoàn tất của một lệnh đọc. Điểm cốt lõi là đệ trình lệnh kết thúc chỉ bằng một lần ghi thanh ghi, và thông báo hoàn tất cũng có thể gộp xử lý theo từng hàng đợi (interrupt coalescing), khiến chi phí CPU trên mỗi lệnh rất thấp.

sequenceDiagram
  participant H as Driver host
  participant SQ as Hàng đợi đệ trình (SQ)
  participant DB as Doorbell
  participant C as Controller
  participant CQ as Hàng đợi hoàn tất (CQ)
  H->>SQ: Ghi mô tả lệnh (tail++)
  H->>DB: Ghi doorbell SQ Tail (1 lần)
  DB->>C: Thông báo "có lệnh cần xử lý"
  C->>C: Rút lệnh·truyền dữ liệu qua DMA
  C->>CQ: Ghi mục hoàn tất (trạng thái·kết quả)
  C-->>H: Ngắt MSI-X (hoàn tất)
  H->>DB: Ghi doorbell CQ Head (phản ánh xử lý xong)

Trong mô hình này, các yếu tố chi phối hiệu năng là số lượng·độ sâu·chính sách phân xử (arbitration) của hàng đợi. Nếu số hàng đợi bằng số lõi thì tranh chấp khóa giữa các lõi biến mất; nếu độ sâu hàng đợi lớn thì có thể lấp đầy các kênh song song nội bộ của phương tiện. Khi rút lệnh từ nhiều SQ, controller áp dụng phân xử vòng tròn (round-robin) hoặc vòng tròn có trọng số (WRR)·dựa trên ưu tiên, nên có thể cấp QoS như xử lý hàng đợi giao dịch nhạy độ trễ trước hàng đợi theo lô (batch). Thực tế, khi một workload nhạy độ trễ như cơ sở dữ liệu và một workload thiên về thông lượng như sao lưu cùng chia sẻ một thiết bị, thiết kế hàng đợi·phân xử trở thành biến số cốt lõi quyết định chất lượng dịch vụ.

C. Khác biệt cấu trúc so với AHCI/SATA

Khác biệt giữa NVMe và AHCI không đến từ con số hiệu năng đơn thuần mà từ khác biệt triết lý thiết kế. AHCI, với tiền đề một hàng đợi·độ sâu nông, được tinh chỉnh cho xử lý tuần tự của HDD, còn NVMe, với đa hàng đợi·độ sâu lớn, giả định tính song song của flash. Bảng dưới tóm tắt khác biệt cốt lõi, còn "vì sao" mỗi mục lại quan trọng được giải thích ở đoạn sau bảng.

Phân loại	AHCI / SATA	NVMe
Số hàng đợi	1	tối đa khoảng 64K
Độ sâu hàng đợi	32	tối đa khoảng 64K mỗi hàng đợi
Đệ trình lệnh	nhiều lần truy cập thanh ghi	một lần ghi doorbell
Ngắt	đơn	MSI-X (đa ngắt theo hàng đợi)
Truyền tải	SATA 6Gbps v.v.	làn PCIe (vài GB/s↑ theo thế hệ)
Độ trễ điển hình	mức hàng chục đến ~trăm µs	mức vài đến hàng chục µs

Quan trọng hơn bản thân con số là hàm ý của chúng. Nếu chỉ có 1 hàng đợi thì trên máy chủ đa lõi mọi lõi tranh chấp khóa quanh một hàng đợi, nên tăng lõi cũng không làm IOPS tăng tuyến tính. NVMe loại bỏ tranh chấp này bằng hàng đợi theo từng lõi, bảo đảm khả năng mở rộng tỉ lệ với số lõi. Ngoài ra AHCI cần vài lần truy cập thanh ghi cho mỗi lệnh, thêm vài µs chi phí phần mềm mỗi lệnh — một tỷ trọng không thể bỏ qua trên flash có độ trễ phương tiện đã rút xuống hàng chục µs. Một lần ghi doorbell và gộp ngắt của NVMe kéo giảm đúng tỷ trọng này. Ví dụ, cùng một SSD nền TLC, các mẫu SATA thường dừng ở mức vài chục nghìn đến ~100K IOPS, trong khi các mẫu NVMe PCIe 4.0 thường cho hàng trăm nghìn đến trên 1 triệu IOPS, và phần lớn khoảng cách này đến từ thiết kế giao diện chứ không phải phương tiện.

3. Kiến trúc NVMe over Fabrics (NVMe-oF)

A. Mục tiêu thiết kế và trừu tượng hóa lớp truyền tải

Với mục tiêu "duy trì độ trễ thấp của NVMe cục bộ ngay cả qua mạng", NVMe-oF chở các capsule hàng đợi·lệnh của NVMe trên truyền tải mạng. Thiết kế cốt lõi là tách lớp lệnh và lớp truyền tải. Ý nghĩa lệnh NVMe lớp trên được giữ như nhau dù cục bộ hay từ xa, còn chở lệnh đó bằng phương tiện nào do ràng buộc truyền tải (RDMA·FC·TCP) đảm nhận. Nhờ trừu tượng hóa này, ứng dụng và các lớp driver phía trên gần như không ý thức về loại truyền tải.

flowchart LR
  subgraph INIT["Initiator (Host)"]
    FE["Lõi NVMe (hàng đợi·capsule lệnh)"]
    T1["Truyền tải RDMA"]
    T2["Truyền tải TCP"]
    T3["Truyền tải FC"]
  end
  subgraph NET["Fabric mạng"]
    ROCE["RoCE/iWARP/InfiniBand"]
    ETH["Ethernet (TCP/IP)"]
    FCN["Fibre Channel"]
  end
  subgraph TGT["Target (Lưu trữ)"]
    TT["Điểm cuối truyền tải"]
    TC["Controller NVMe"]
    NS["Namespace (block từ xa)"]
  end
  FE --> T1 --> ROCE --> TT
  FE --> T2 --> ETH --> TT
  FE --> T3 --> FCN --> TT
  TT --> TC --> NS

B. Đặc tính theo truyền tải và tiêu chí lựa chọn

Các truyền tải mà NVMe-oF hỗ trợ có tính chất khác biệt rõ rệt, và lựa chọn chịu chi phối bởi độ trễ·chi phí·hạ tầng sẵn có. Bảng dưới so sánh các truyền tải tiêu biểu, còn căn cứ cho lựa chọn thực tế được giải thích ở đoạn tiếp theo.

Truyền tải	Độ trễ thêm	Hạ tầng yêu cầu	Đặc điểm
RDMA (RoCE v2/iWARP/IB)	thấp nhất (mục tiêu µs một chữ số)	NIC RDMA·Ethernet không mất gói (PFC/ECN)	hiệu năng cao nhất, độ khó cấu hình·vận hành lớn
Fibre Channel (FC-NVMe)	thấp	HBA FC·switch SAN	tái sử dụng tài sản FC-SAN sẵn có, ổn định
TCP (NVMe/TCP)	tương đối cao hơn	Ethernet·NIC tiêu chuẩn	tính phổ dụng·chi phí thấp, dễ mở rộng quy mô lớn

Truyền tải nền RDMA đi vòng qua kernel·CPU để đưa·lấy dữ liệu trực tiếp vào bộ nhớ từ xa (zero-copy) nên độ trễ thêm là thấp nhất, nhưng dùng RoCE v2 thì phải cấu hình Ethernet không mất gói (PFC·ECN·kiểm soát tắc nghẽn), làm tăng độ khó vận hành mạng. FC-NVMe có lợi khi một tổ chức đã vận hành FC-SAN như tài chính·hệ thống trọng yếu tái sử dụng tài sản HBA·switch sẵn có mà chỉ chuyển quy ước block từ SCSI sang NVMe. NVMe/TCP hoạt động trên Ethernet tiêu chuẩn không cần NIC đặc biệt, nên tính phổ dụng và hiệu quả chi phí là tốt nhất, và đang tự khẳng định như lựa chọn mặc định trên thực tế khi các nhà cung cấp hyperscale·cloud tách rời lưu trữ ở quy mô lớn. Tức là "RDMA cho độ trễ thấp nhất, FC-NVMe cho tài sản FC sẵn có, TCP cho phổ dụng·quy mô lớn" là tiêu chí phán đoán bậc một.

4. So sánh và trường hợp áp dụng

A. NVMe/TCP so với iSCSI

iSCSI, tiêu chuẩn truyền thống cho lưu trữ block từ xa, chở lệnh SCSI trên TCP/IP, nhưng mô hình SCSI nền tảng vốn thiên về hàng đợi đơn nên hạn chế về tính song song đa lõi và độ trễ thấp. NVMe/TCP, dù dùng cùng Ethernet tiêu chuẩn, vẫn chở nguyên mô hình đa hàng đợi của NVMe nên thường đạt IOPS cao hơn và độ trễ thấp hơn trên cùng một mạng. Dẫu vậy NVMe/TCP cũng đi qua ngăn xếp TCP nên độ trễ lớn hơn RDMA và chịu ảnh hưởng của kiểm soát tắc nghẽn·truyền lại, nghĩa là chất lượng mạng gắn liền trực tiếp với hiệu năng. Trong thực tiễn, cấu hình lai thường thấy là chuyển dần SAN iSCSI sẵn có sang NVMe/TCP, đồng thời chỉ bố trí riêng một số workload đặc biệt nhạy độ trễ lên fabric RDMA.

B. Trường hợp áp dụng trong công nghiệp

Thứ nhất, ở lưu trữ block trên cloud, các nhà cung cấp hyperscale tách rời node compute và node lưu trữ rồi kết nối giữa chúng bằng NVMe-oF (chủ yếu TCP), cho phép VM dùng volume từ xa xuất hiện như đĩa cục bộ với độ trễ thấp. Nhờ đó dung lượng lưu trữ và compute được mở rộng độc lập và volume của node sự cố có thể nhanh chóng gắn lại (re-attach) sang node khác. Thứ hai, ở hạ tầng huấn luyện AI, để việc nạp tập dữ liệu ở mức hàng trăm GB/s không làm GPU bị đói, NVMe-oF (RDMA) kết hợp với GPUDirect Storage đẩy dữ liệu trực tiếp từ lưu trữ vào bộ nhớ GPU. Thứ ba, ở hệ thống trọng yếu tài chính, việc đưa FC-NVMe lên trên FC-SAN sẵn có được báo cáo đã giảm độ trễ lưu trữ của hệ thống giao dịch tới mức hàng chục phần trăm trong khi vẫn giữ tính ổn định đã kiểm chứng của hạ tầng FC. Cả ba trường hợp đều cho thấy bài học chung "dù phương tiện giống nhau, lựa chọn giao diện·truyền tải vẫn chi phối hiệu năng tổng thể và mô hình vận hành".

5. Chuyên sâu — NVMe 2.0 và các mở rộng thế hệ mới

Xu hướng gần đây của hệ sinh thái NVMe có thể tóm tắt thành mô-đun hóa quy cách và bố trí dữ liệu phù hợp với đặc tính phương tiện. NVMe 2.0, công bố năm 2021, đã tách quy cách khổng lồ đơn nhất thành quy cách nền tảng (base) + các quy cách tập lệnh (NVM·ZNS·Key-Value) + các quy cách truyền tải (PCIe·RDMA·TCP·FC) + giao diện quản lý (NVMe-MI). Việc mô-đun hóa này cho phép thêm một tập lệnh hay truyền tải mới một cách độc lập mà không làm lung lay toàn bộ quy cách, nâng cao tốc độ tiến hóa của hệ sinh thái.

Mở rộng được chú ý nhất là ZNS (Zoned Namespaces). ZNS chia namespace thành nhiều zone và ràng buộc mỗi zone chỉ cho phép ghi tuần tự (sequential write). Làm vậy giảm mạnh thu gom rác bên trong SSD và sự khuếch đại ghi (write amplification) kéo theo, đồng thời hạ thấp mức over-provisioning và yêu cầu DRAM. Đặc biệt trên flash QLC vốn có nhiều bit mỗi cell nên độ bền yếu, ZNS được đánh giá là phương thức cải thiện đồng thời tuổi thọ và hiệu quả chi phí. Nguyên lý là khi host bố trí zone theo vòng đời (lifetime) của dữ liệu, dữ liệu sẽ bị xóa cùng nhau tụ về cùng một vùng vật lý, nâng cao hiệu quả xóa. Một tiếp cận linh hoạt hơn là FDP (Flexible Data Placement) được chuẩn hóa tương đối gần đây, không áp đặt ràng buộc ghi tuần tự như ZNS mà vẫn để host đưa gợi ý về bố trí dữ liệu nhằm giảm khuếch đại ghi.

Ngoài ra quan hệ với CXL (Compute Express Link) cũng là luận điểm chuyên sâu. Nếu NVMe đại diện cho truy cập lưu trữ theo đơn vị block·dựa trên hàng đợi, thì CXL hướng tới truy cập bộ nhớ theo đơn vị byte·nhất quán cache (cache-coherent). Hai công nghệ không cạnh tranh mà bổ sung bằng cách phân lớp: phân tầng bộ nhớ–lưu trữ đặt dữ liệu nóng ở tầng bộ nhớ CXL, còn dữ liệu bền·dung lượng lớn ở tầng NVMe, được bàn như hướng đi của kiến trúc máy chủ thế hệ mới. Bên cạnh đó, các tính năng như CMB (Controller Memory Buffer)·PMR (Persistent Memory Region) cung cấp DMA peer-to-peer không qua bộ nhớ host và bộ đệm bền vững, làm ngắn hơn nữa đường di chuyển dữ liệu giữa lưu trữ với bộ tăng tốc·mạng.

6. Cân nhắc và hàm ý

Theo góc nhìn Kỹ sư chuyên nghiệp, việc đưa NVMe·NVMe-oF vào nên được tiếp cận không như một cuộc thay thiết bị đơn thuần mà như một thiết kế tổng hợp về kiến trúc·vận hành·kinh tế.

• Đánh đổi trong lựa chọn truyền tải: RDMA cho độ trễ thấp nhất nhưng đòi hỏi cấu hình Ethernet không mất gói và năng lực vận hành chuyên môn, còn TCP phổ dụng·chi phí thấp nhưng độ trễ tương đối lớn. Đánh giá đồng thời độ trưởng thành mạng của tổ chức·độ nhạy độ trễ của workload·tài sản sẵn có (có FC-SAN hay không), thiết kế pha trộn truyền tải theo workload sẽ thực tế hơn là thống nhất toàn diện một lựa chọn.
• Triển vọng về sự dịch chuyển nút thắt: một khi NVMe loại bỏ nút thắt phương tiện, nút thắt sẽ dịch sang CPU·mạng·ngăn xếp phần mềm. Do đó các tối ưu lớp trên như I/O dựa trên polling (driver không gian người dùng như SPDK), gộp ngắt, và offload đường dữ liệu lưu trữ xuống DPU phải tiến hành song song thì mới thực sự cảm nhận được hiệu năng của NVMe.
• Bảo mật và đa thuê bao (multi-tenancy): chỉ cô lập namespace là chưa đủ; khi truy cập từ xa phải cân nhắc đồng thời mã hóa truyền tải (kênh bảo mật của FC-NVMe·NVMe/TCP), xác thực·kiểm soát truy cập, và mã hóa phương tiện dựa trên ổ tự mã hóa (SED)·TCG Opal. Đặc biệt khi nhiều tenant chia sẻ một SSD vật lý trên cloud, cô lập QoS và bảo đảm xóa an toàn (secure erase) gắn liền trực tiếp với yêu cầu quy định·kiểm toán.
• Chiến lược áp dụng và công nghệ liên kết: giá trị của NVMe-oF được tối đa hóa khi kết hợp với tách rời compute-lưu trữ (disaggregation), lưu trữ định nghĩa bằng phần mềm (SDS), và cấp phát volume động qua driver CSI của Kubernetes. Hơn nữa, thông qua tầng dung lượng lớn giá rẻ nền QLC dùng ZNS·FDP, phân tầng với tầng bộ nhớ CXL, và kết hợp với các kỹ thuật bảo vệ dữ liệu như mã hóa xóa·snapshot, cần thiết kế điểm cân bằng giữa hiệu năng·độ bền·chi phí ở mức kiến trúc.

Tài liệu tham khảo

• NVM Express, "NVM Express Base Specification 2.0" — https://nvmexpress.org/specifications/
• NVM Express, "NVMe over Fabrics" overview — https://nvmexpress.org/
• SNIA, "NVMe and NVMe-oF educational materials" — https://www.snia.org/

---

Tóm tắt một câu: NVMe là giao diện lưu trữ PCIe khai thác tính song song của flash qua mô hình lệnh đa hàng đợi·độ trễ thấp, còn NVMe-oF là quy cách truyền tải từ xa mở rộng mô hình này lên fabric RDMA·FC·TCP để khả thi hóa việc tách rời compute-lưu trữ.