Khử trùng lặp dữ liệu (Data Deduplication)

1. Tổng quan

A. Định nghĩa

Khử trùng lặp dữ liệu (Data Deduplication) là kỹ thuật tối ưu dung lượng (capacity optimization) chia dữ liệu cần lưu thành các đơn vị (chunk), so sánh dấu vân tay băm (fingerprint) của từng chunk, rồi chỉ lưu một bản vật lý duy nhất cho các chunk có nội dung giống nhau và thay phần còn lại bằng con trỏ tham chiếu, qua đó loại bỏ việc lưu trùng lặp.

Bản chất của khử trùng lặp là hiện thực hóa nguyên lý đơn giản "không bao giờ ghi cùng một nội dung hai lần" thông qua cơ chế gọi là định địa chỉ theo nội dung (content addressing). Lưu trữ truyền thống định danh dữ liệu theo vị trí (địa chỉ), trong khi hệ thống khử trùng lặp định danh dữ liệu theo nội dung (băm). Một chuỗi byte giống nhau có cùng dấu vân tay bất kể xuất hiện ở đâu hay bao nhiêu lần, nên hệ thống tra cứu dấu vân tay trong chỉ mục để xác định chunk đã được lưu hay chưa và chỉ ghi các chunk mới. Kết quả là về mặt logic dữ liệu gốc được bảo toàn nguyên vẹn, còn về mặt vật lý chỉ còn tập các chunk duy nhất (unique) và siêu dữ liệu tham chiếu trỏ đến chúng.

Kỹ thuật này dễ bị nhầm với nén (compression) nhưng hoạt động ở tầng khác. Nén giảm sự dư thừa thống kê (entropy) bên trong một khối dữ liệu đơn lẻ, trong khi khử trùng lặp loại bỏ sự dư thừa vĩ mô trải trên nhiều khối, tập tin và hệ thống. Hai kỹ thuật không loại trừ nhau và thường dùng cùng nhau: khử trùng lặp trước tiên chỉ giữ các chunk duy nhất, rồi các chunk đó được nén lại trong tối ưu hóa hai tầng nhằm cực đại tỷ lệ giảm tổng thể.

Một cách hiểu khác về khử trùng lặp là sự tách rời giữa khung nhìn logic và khung nhìn vật lý của dữ liệu. Với ứng dụng và người dùng, mọi tập tin dường như tồn tại đầy đủ (khung nhìn logic), trong khi phương tiện thực tế chỉ chứa các chunk duy nhất và siêu dữ liệu tham chiếu (khung nhìn vật lý). Công thức tập tin (file recipe) nối liền khoảng cách này, và độ tin cậy của hệ thống khử trùng lặp rốt cuộc phụ thuộc vào việc duy trì siêu dữ liệu ánh xạ này an toàn đến đâu. Nếu siêu dữ liệu hỏng thì dù các chunk duy nhất còn nguyên vẫn không thể tái lắp bản gốc, nên bảo vệ siêu dữ liệu quan trọng ngang với bảo vệ dữ liệu.

B. Bối cảnh ra đời và sự cần thiết

Lý do chính khiến khử trùng lặp nổi lên là tốc độ tăng của dữ liệu đã vượt tốc độ giảm giá của phương tiện lưu trữ. Trong môi trường ảo hóa, đám mây và cộng tác, các ảnh hệ điều hành gần như giống hệt, tệp đính kèm thư được truyền lặp đi lặp lại, và các bản sao lưu đầy đủ hằng ngày hầu như không đổi bị nhân bản vô tận. Ví dụ nếu 100 máy ảo (VM) dùng cùng một hệ điều hành thì hàng chục GB vùng hệ điều hành được lưu 100 bản; khi áp dụng khử trùng lặp, chỉ một bản được lưu vật lý và 99 bản còn lại được thay bằng tham chiếu.

Đặc biệt sao lưu (backup) là nơi áp dụng mạnh nhất của khử trùng lặp. Khi thực hiện sao lưu đầy đủ hằng ngày, phần thay đổi thường chỉ 1-5% nhưng toàn bộ dung lượng vẫn bị lưu lại. Khi áp dụng khử trùng lặp, 97-99% chunk không đổi được loại bỏ, cho tỷ lệ giảm (reduction ratio) từ 10:1 đến thậm chí trên 30:1 tùy môi trường sao lưu. Điều này quy đổi trực tiếp thành tiết kiệm lượng đĩa mua sắm, diện tích đặt tủ rack ở trung tâm dữ liệu, chi phí điện và làm mát, và băng thông mạng khi sao chép từ xa.

Gần đây một nhu cầu mới được bổ sung dưới dạng chống mã độc tống tiền (ransomware). Kết hợp tính bất biến (immutable) và khóa lưu giữ (retention lock) trên thiết bị sao lưu dựa trên khử trùng lặp cho phép giữ nhiều điểm phục hồi không thể thay đổi trong một khoảng thời gian nhất định, ngay cả khi kẻ tấn công cố mã hóa hay xóa các bản sao lưu. Nhờ khử trùng lặp, nhiều điểm phục hồi hơn có thể được giữ lâu hơn trong cùng dung lượng, làm tăng khả năng phục hồi về một thời điểm sạch.

Về cơ bản, nhu cầu khử trùng lặp là vấn đề của kinh tế học lưu trữ và chi phí di chuyển dữ liệu. Ở quy mô nhiều PB, chênh lệch 2 lần về tỷ lệ giảm có nghĩa là chênh lệch hàng nghìn đĩa cùng chi phí vận hành kèm theo; và trong sao chép từ xa phục vụ khôi phục thảm họa (DR), khử trùng lặp phía nguồn theo kiểu "khử trùng lặp rồi mới truyền" trở thành phương tiện quyết định để khắc phục tình trạng thiếu băng thông WAN. Nói cách khác, khử trùng lặp đã khẳng định vị thế không chỉ là kỹ thuật tiết kiệm dung lượng mà còn là công nghệ nền tảng để lưu trữ một cách kinh tế và di chuyển một cách rẻ tiền khối lượng dữ liệu đang bùng nổ.

C. Đặc trưng cốt lõi

Tính chất của khử trùng lặp có thể tóm trong bốn điểm. Thứ nhất định danh theo nội dung — dữ liệu được định danh theo băm của nội dung chứ không theo vị trí, nên nội dung giống nhau tự động hội tụ về một. Thứ hai phụ thuộc vào tính toàn vẹn tham chiếu — vì nhiều tham chiếu trỏ đến một chunk duy nhất, sự hỏng của một chunk đó lan sang sự hỏng của mọi dữ liệu tham chiếu nó. Thứ ba sự bất đối xứng đọc/ghi — khi ghi phát sinh thêm các thao tác chia chunk, băm và tra cứu chỉ mục, còn khi phục hồi phải thu thập các chunk rải rác nên phát sinh hình phạt phân mảnh (fragmentation). Thứ tư tính tập trung siêu dữ liệu — chunk càng nhỏ thì tỷ lệ giảm càng cao nhưng chỉ mục dấu vân tay và bảng tham chiếu càng lớn, làm tăng gánh nặng bộ nhớ và tính toán. Các đặc trưng này là căn cứ để phán đoán "khi nào và theo phương thức nào áp dụng khử trùng lặp" bàn ở phần sau.

Chỉ số cốt lõi định lượng hiệu quả của khử trùng lặp là tỷ lệ khử trùng lặp (Deduplication Ratio), thường được định nghĩa là "dung lượng logic ÷ dung lượng vật lý" và biểu thị dưới dạng 10:1, 20:1, v.v. Tuy nhiên tỷ lệ này cực kỳ nhạy với đặc tính dữ liệu, dao động từ 2:1 đến 50:1 trên cùng thiết bị tùy khối lượng công việc, nên thay vì tin ngay vào giá trị tối đa nhà cung cấp đưa ra, quy trình đánh giá trước (assessment) bằng dữ liệu của chính mình là bắt buộc. Hơn nữa khử trùng lặp và nén thường được báo cáo gộp thành "tỷ lệ giảm dữ liệu (data reduction ratio)", nên phải phân định rõ chỉ số chỉ nói về khử trùng lặp thuần túy hay bao gồm cả nén và cấp phát mỏng (thin provisioning) trước khi so sánh.

2. Nguyên lý hoạt động và kiến trúc của khử trùng lặp

A. Chia chunk (Chunking) và lập dấu vân tay

Bước đầu tiên của khử trùng lặp là chia luồng dữ liệu thành các chunk, đơn vị so sánh. Phương thức chia chunk là quyết định thiết kế quan trọng nhất chi phối hiệu năng và tỷ lệ giảm của khử trùng lặp. Cách đơn giản nhất là chia chunk cố định (fixed-size chunking) cắt dữ liệu theo kích thước cố định như 4KB, 8KB. Dễ triển khai và nhanh, nhưng có điểm yếu chí mạng: chỉ cần một byte được chèn gần đầu tập tin thì mọi ranh giới phía sau bị dịch (boundary shift) và mọi chunk sau đó đều khác đi.

Điều này được giải quyết bởi chia chunk theo nội dung (CDC, Content-Defined Chunking), tức chia chunk độ dài biến thiên. CDC xác định ranh giới từ chính nội dung. Nó trượt một cửa sổ trong khi tính băm cuộn (rolling hash, ví dụ Rabin fingerprint) và lấy điểm nơi giá trị đó thỏa một điều kiện cụ thể (ví dụ n bit thấp nhất bằng 0) làm ranh giới chunk. Như vậy dù dữ liệu bị chèn hay xóa, ranh giới vẫn neo vào nội dung, nên chỉ các chunk lân cận bị thay đổi là khác đi còn phần còn lại giữ nguyên dấu vân tay, duy trì tỷ lệ phát hiện trùng lặp cao. Đó là lý do CDC trên thực tế là chuẩn mực cho các khối lượng công việc như sao lưu và đồng bộ, nơi các thay đổi nhỏ lặp lại.

Mỗi chunk đã chia được tính dấu vân tay bằng hàm băm mật mã (như SHA-256). Dấu vân tay này trở thành định danh toàn cục của chunk, và khi một dấu vân tay giống nhau được tra thấy trong chỉ mục, chunk được phán là trùng lặp. Ở đây về lý thuyết có khả năng va chạm băm, trong đó các chunk khác nhau có cùng dấu vân tay, nhưng xác suất va chạm của SHA-256 thấp đến mức thiên văn (bậc 2^-128) nên trong thực tế người ta coi "nếu dấu vân tay giống nhau thì nội dung cũng giống nhau". Tuy vậy, các thiết kế thận trọng đôi khi bổ sung so sánh mức byte (byte-level verification) sau khi dấu vân tay khớp để loại bỏ rủi ro va chạm từ gốc.

Việc chọn hàm băm cũng là một đánh đổi giữa hiệu năng và an toàn. SHA-256 có khả năng kháng va chạm mạnh nhưng chi phí tính toán lớn, có thể trở thành nút cổ chai trong đường dữ liệu tốc độ cao. Do đó một số hệ thống dùng các hàm băm vừa nhanh vừa an toàn như BLAKE2/BLAKE3, hoặc áp dụng kiểm chứng hai tầng sàng lọc ứng viên bằng băm phi mật mã nhanh trước rồi xác nhận bằng băm mạnh hoặc so sánh byte. Ngược lại, các hàm băm yếu như MD5, SHA-1 cho phép tạo va chạm có chủ đích, nên nếu kẻ tấn công ngụy trang nội dung khác nhau thành cùng một dấu vân tay rồi ghi đè bản này lên bản kia thì có rủi ro nhiễm độc dữ liệu (hash collision attack); cần tránh chúng trong môi trường quan trọng về an ninh.

flowchart LR
  IN["Luồng dữ liệu đầu vào"] --> CHUNK["Chia chunk (băm cuộn CDC định ranh giới)"]
  CHUNK --> HASH["Tính dấu vân tay từng chunk (SHA-256)"]
  HASH --> IDX{"Tồn tại trong chỉ mục dấu vân tay?"}
  IDX -->|"Có (trùng lặp)"| REF["Chỉ ghi con trỏ tham chiếu + tăng số đếm tham chiếu"]
  IDX -->|"Không (mới)"| STORE["Lưu chunk duy nhất + đăng ký vào chỉ mục"]
  REF --> META["Cập nhật ánh xạ tập tin->chunk (công thức)"]
  STORE --> META
  META --> OUT["Khung nhìn logic giữ nguyên như bản gốc"]

B. Kiến trúc quản lý chỉ mục/tham chiếu và đường I/O

Trái tim của hệ thống khử trùng lặp là chỉ mục dấu vân tay (fingerprint index) và công thức tập tin (file recipe). Chỉ mục dấu vân tay ánh xạ "chunk có dấu vân tay này được lưu ở đâu", còn công thức tập tin là danh mục tham chiếu ghi "tập tin này được nối từ những chunk nào theo thứ tự nào". Khi phục hồi, các chunk được thu thập theo công thức để tái lắp bản gốc. Nhờ cấu trúc này, dung lượng logic không đổi còn chỉ dung lượng vật lý thu nhỏ.

Thách thức thực tế lớn nhất là kích thước chỉ mục. Xử lý 1PB với chunk 8KB sinh ra hàng tỷ dấu vân tay, đẩy chỉ mục lên hàng trăm GB nên không thể giữ hết trong bộ nhớ. Để giải quyết, một bộ lọc Bloom (Bloom filter) sàng nhanh "chắc chắn không có" để giảm tra cứu đĩa, và các kỹ thuật nhóm các dấu vân tay tương tự theo tính cục bộ để nâng tỷ lệ truy cập cache (ví dụ SISL của Data Domain, Stream-Informed Segment Layout) được dùng. Việc giảm nhẹ nút cổ chai đĩa (disk bottleneck) này là lợi thế cạnh tranh cốt lõi về hiệu năng của thiết bị khử trùng lặp thương mại.

sequenceDiagram
  participant C as Máy khách/máy chủ sao lưu
  participant D as Động cơ khử trùng lặp
  participant I as Chỉ mục dấu vân tay
  participant S as Kho chunk
  C->>D: Yêu cầu ghi dữ liệu
  D->>D: Chia chunk + tính dấu vân tay
  D->>I: Tra cứu dấu vân tay (bộ lọc Bloom kiểm trước)
  I-->>D: Phản hồi có tồn tại hay không
  alt Chunk trùng lặp
    D->>I: Tăng số đếm tham chiếu
  else Chunk mới
    D->>S: Lưu chunk (nén tùy chọn)
    D->>I: Đăng ký vào chỉ mục dấu vân tay
  end
  D-->>C: Hoàn tất ghi (ghi công thức)

Việc xóa được quản lý bằng số đếm tham chiếu (reference count). Vì nhiều tập tin chia sẻ một chunk, xóa một tập tin cũng không thể xóa chunk thực cho đến khi số đếm tham chiếu về 0. Công việc thu hồi các chunk có số đếm tham chiếu về 0 là thu gom rác (GC), được thực hiện như một tác vụ nền nặng dựa trên mark-and-sweep vì phải theo dõi an toàn quan hệ tham chiếu của hàng tỷ chunk. Việc không gian không được trả lại ngay khi xóa là một đặc tính vận hành quan trọng của khử trùng lặp.

C. Khả năng mở rộng và giới hạn của khử trùng lặp toàn cục

Khử trùng lặp một nút chỉ loại bỏ sự dư thừa trong phạm vi dữ liệu nút đó đã thấy. Tuy nhiên, để hiện thực khử trùng lặp toàn cục (global dedup) trải trên mọi nút trong một hệ thống lưu trữ mở rộng theo chiều ngang gồm hàng chục nút, cả cụm phải chia sẻ việc dấu vân tay nào nằm ở nút nào, nên lưu lượng tra cứu dấu vân tay giữa các nút bùng nổ. Vì vậy nhiều hệ thống dùng phân mảnh dấu vân tay (fingerprint sharding), định tuyến dữ liệu đến một nút cụ thể theo băm dấu vân tay để cùng một dấu vân tay luôn đi về cùng một nút, hoặc thỏa hiệp bằng khử trùng lặp cục bộ chỉ loại bỏ dư thừa trong phạm vi một nút. Nói cách khác, tỷ lệ giảm của khử trùng lặp và khả năng mở rộng của hệ thống về bản chất xung đột nhau, và việc định điểm cân bằng giữa chúng là cốt lõi của thiết kế khử trùng lặp phân tán.

Việc chọn kích thước chunk cũng gắn trực tiếp với vấn đề mở rộng này. Ví dụ quản lý 100TB dữ liệu duy nhất với chunk trung bình 8KB sinh khoảng 13 tỷ dấu vân tay; riêng dấu vân tay SHA-256 (32 byte) đã vượt 400GB. Thêm siêu dữ liệu tham chiếu và vị trí vào thì khó giữ thường trú trong bộ nhớ, nên bộ lọc Bloom và cache cục bộ đã nói ở trên trở nên thiết yếu để tối thiểu hóa tra cứu đĩa. Ngược lại, tăng chunk lên 64KB, 128KB thì siêu dữ liệu giảm nhưng chỉ một thay đổi nhỏ cũng khiến cả một chunk lớn được lưu mới, làm hạ tỷ lệ giảm. Việc điều chỉnh đánh đổi tam giác tỷ lệ giảm / siêu dữ liệu / hiệu năng này theo đặc tính khối lượng công việc là then chốt của tinh chỉnh thực tế.

3. Phân loại

Khử trùng lặp được phân loại theo ba trục — thời điểm xử lý, nơi thực hiện và đơn vị so sánh — và mỗi lựa chọn kéo theo đánh đổi về hiệu năng, tỷ lệ giảm và sử dụng tài nguyên. Bảng dưới đây là phương tiện hỗ trợ so sánh; lý do mỗi trục sinh ra khác biệt được trình bày bằng văn xuôi sau bảng.

Trục phân loại	Loại	Đặc điểm	Môi trường phù hợp
Thời điểm xử lý	Nội tuyến (Inline)	Loại bỏ thời gian thực trước khi lưu, phát sinh độ trễ ghi	Flash, CPU dồi dào
	Hậu xử lý (Post-process)	Lưu trước rồi loại bỏ bất đồng bộ, cần không gian tạm	Ưu tiên hiệu năng ghi
Nơi thực hiện	Phía nguồn (Source-side)	Loại bỏ tại máy khách trước khi truyền, tiết kiệm băng thông	Sao lưu từ xa, WAN
	Phía đích (Target-side)	Loại bỏ tại thiết bị lưu trữ, không gánh nặng máy khách	LAN, thiết bị chuyên dụng
Đơn vị so sánh	Mức tập tin (SIS)	So sánh băm cả tập tin, nhẹ nhưng tỷ lệ giảm thấp	Tệp đính kèm thư, tài liệu
	Mức khối/byte	So sánh theo chunk, tỷ lệ giảm cao nhưng tính toán nặng	Sao lưu, ảnh VM

Việc chọn thời điểm xử lý là đánh đổi giữa độ trễ ghi và hiệu quả không gian. Phương thức nội tuyến loại bỏ trùng lặp trước khi dữ liệu chạm đĩa nên không cần không gian tạm bổ sung và cho hiệu quả giảm tức thì, nhưng việc chia chunk, băm và tra cứu chỉ mục chen vào đường ghi có thể làm độ trễ lớn lên. Phương thức hậu xử lý lưu bản gốc nhanh trước rồi loại bỏ trùng lặp vào lúc rảnh nên hiệu năng ghi tốt, nhưng cần riêng một không gian trung chuyển (landing zone) để chứa bản gốc trước khi loại bỏ. Trên lưu trữ hiệu năng cao như flash và NVMe với CPU dư dả, nội tuyến đã trở thành xu thế chủ đạo.

Việc chọn hai phương thức rốt cuộc phụ thuộc vào tính chất khối lượng công việc. Trong môi trường có cửa sổ sao lưu chật hẹp mà thông lượng ghi là ưu tiên hàng đầu, hậu xử lý có lợi để đẩy sớm thời điểm hoàn tất sao lưu; trong môi trường nhạy cảm với chi phí diện tích rack và điện hoặc khó bảo đảm không gian trung chuyển, nội tuyến có lợi. Một số sản phẩm thương mại kết hợp cả hai, cung cấp chính sách thích ứng (adaptive) hoạt động như hậu xử lý vào giờ cao điểm và chuyển sang mức nội tuyến vào giờ rảnh. Như vậy thời điểm xử lý không phải một đáp án cố định mà là biến thiết kế được chọn và điều chỉnh theo mục tiêu vận hành (RTO, cửa sổ sao lưu, TCO).

Việc chọn nơi thực hiện là đánh đổi giữa băng thông mạng và tải máy khách. Khử trùng lặp phía nguồn loại bỏ trùng lặp tại máy khách trước khi truyền và chỉ gửi các chunk duy nhất qua WAN, tiết kiệm băng thông kịch tính trong sao lưu từ xa. Tuy nhiên máy khách gánh phần tính toán chia chunk và băm. Khử trùng lặp phía đích xử lý tại thiết bị lưu trữ (appliance) nên máy khách nhẹ, nhưng toàn bộ khối lượng gồm cả phần trùng lặp đi qua mạng. Ở môi trường băng thông khan hiếm như sao lưu chi nhánh về trụ sở, phương thức nguồn thường dùng, còn trên LAN nội bộ trung tâm dữ liệu thì phương thức đích thường dùng.

Việc chọn đơn vị so sánh là đánh đổi giữa tỷ lệ giảm và khối lượng tính toán. Khử trùng lặp mức tập tin (SIS, Single Instance Storage) chỉ loại bỏ khi cả tập tin giống hệt nên nhẹ, nhưng không thể thấy trùng lặp nếu chỉ một byte trong tập tin khác đi. Chia sẻ mức khối/byte áp dụng ngay cả khi chỉ một phần tập tin giống nhau nên tỷ lệ giảm cao hơn nhiều, nhưng số chunk và siêu dữ liệu phải quản lý bùng nổ. Kích thước chunk càng nhỏ thì tỷ lệ giảm càng cao và gánh nặng chỉ mục càng lớn — đánh đổi tỷ lệ giảm / siêu dữ liệu điển hình xuất hiện.

4. So sánh và các trường hợp áp dụng

A. Khử trùng lặp vs nén — vì sao dùng cùng nhau

Khử trùng lặp và nén không phải quan hệ cạnh tranh mà bổ sung. Nén loại bỏ cục bộ các mẫu lặp bên trong một khối nên rất hiệu quả với dữ liệu entropy thấp như văn bản và nhật ký, nhưng không thể nhận ra sự trùng lặp của 100 tập tin giống hệt rải rác xa nhau. Ngược lại khử trùng lặp loại bỏ các chunk giống nhau trên diện rộng nhưng không đụng đến sự trùng lặp bên trong một chunk. Vì vậy lưu trữ thương mại áp dụng hai tầng theo thứ tự khử trùng lặp → nén, trước tiên chỉ giữ các chunk duy nhất rồi nén các chunk đó. Trên thực tế, việc đạt chẳng hạn tổng 20:1 bằng cách thu 10:1 chỉ với khử trùng lặp trong môi trường sao lưu VM rồi thêm 2:1 với nén là phổ biến.

Có lý do khi thứ tự là khử trùng lặp trước. Nếu nén trước thì ngay cả bản gốc giống hệt cũng có thể cho kết quả nén khác nhau chút ít tùy ranh giới khối và trạng thái từ điển, khiến phát hiện trùng lặp khó hơn. Do đó thứ tự "trước tiên nhóm và loại bỏ các chunk nội dung giống nhau theo dấu vân tay (khử trùng lặp), rồi nén các chunk duy nhất còn lại" có lợi cho tỷ lệ giảm. Tuy vậy, dữ liệu đã nén và ngẫu nhiên hóa cao như JPEG, video và bản mã thu lợi rất ít từ cả khử trùng lặp lẫn nén trong khi chỉ phát sinh chi phí tính toán, nên hợp lý khi có chính sách (dedup/compression bypass) loại các loại dữ liệu này khỏi diện giảm.

B. Trường hợp cụ thể và con số

Là trường hợp thương mại tiêu biểu, dòng Data Domain của Dell EMC đã kết hợp nội tuyến, chia chunk biến thiên và tính cục bộ chỉ mục SISL để công bố tỷ lệ giảm trong khoảng 10-55:1 cho khối lượng sao lưu, và đây là công nghệ cốt lõi mở ra thị trường thiết bị sao lưu chuyên dụng (PBBA). Trong mã nguồn mở, ZFS cung cấp khử trùng lặp nội tuyến mức khối, nhưng chi phí bộ nhớ chỉ mục của nó cao đến mức quy tắc ngón tay cái "khoảng 5GB RAM cho mỗi 1TB chunk" là phổ biến, và các trường hợp suy giảm hiệu năng do bật bừa bãi thường được báo cáo. Phần mềm sao lưu Veeam kết hợp khử trùng lặp nguồn/đích và nén để thường xuyên đạt mức giảm lớn trong sao lưu gia tăng. Các dịch vụ sao lưu đám mây cũng dùng khử trùng lặp phía nguồn để giảm khối lượng truyền và lưu, biến nó thành phương tiện cốt lõi hạ trực tiếp chi phí mạng và lưu trữ dưới mô hình tính phí theo mức dùng.

Các lớp ảnh Docker của hệ sinh thái container cũng có thể xem là một dạng khử trùng lặp dựa trên định địa chỉ theo nội dung. Khi nhiều ảnh chia sẻ cùng một lớp nền (ví dụ cùng lớp Ubuntu) thì lớp đó được lưu một lần trên đĩa và trong registry và chia sẻ bằng tham chiếu. Tương tự, kho đối tượng của Git là ví dụ kinh điển của định địa chỉ theo nội dung, định danh các blob theo băm nội dung (SHA-1/256) và giữ nội dung giống nhau chỉ một lần. Nói cách khác, nguyên lý khử trùng lặp thấm sâu trên khắp quản lý phiên bản và thiết kế phần mềm điện toán đám mây gốc, vượt ra ngoài các thiết bị lưu trữ chuyên dụng.

C. Trường hợp máy tính để bàn ảo (VDI) và lưu trữ thư

Hạ tầng máy tính để bàn ảo (VDI) là trường hợp tiêu biểu nơi hiệu quả của khử trùng lặp thể hiện kịch tính. Trong VDI, nơi hàng nghìn người dùng dùng các ảnh hệ điều hành và văn phòng gần như giống hệt, áp dụng khử trùng lặp mức khối nghĩa là vùng hệ điều hành chung thực tế chỉ được lưu vật lý một lần, cho mức giảm hàng chục trên một, với tác dụng phụ là hiệu năng còn cải thiện khi các khối chung tập trung truy cập cache trong lúc bão khởi động (boot storm). Trong lưu trữ thư cũng vậy, các tệp đính kèm giống hệt vốn được nhân bản theo số người nhận hội tụ về một nhờ khử trùng lặp mức tập tin/khối, hạ mạnh chi phí lưu giữ dài hạn cho tuân thủ quy định. Như vậy, cấu trúc càng gồm "nhiều người dùng dữ liệu gần như giống nhau" thì lợi tức đầu tư (ROI) của khử trùng lặp càng lớn.

5. Chuyên sâu — Xu hướng mới nhất và mở rộng ứng dụng

Công nghệ khử trùng lặp đang tiến hóa theo bốn hướng. Thứ nhất, chuyển sang lưu trữ all-flash/NVMe. Trước đây khử trùng lặp chịu tổn thất hiệu năng trên HDD do phân mảnh của các chunk rải rác khắp đĩa khi phục hồi, nhưng trên flash gần như không có độ trễ truy cập ngẫu nhiên thì hình phạt này thực tế biến mất. Kết quả là việc để khử trùng lặp nội tuyến luôn bật đã trở thành chuẩn ngay cả trên các mảng all-flash sơ cấp (sản xuất), và Pure Storage, NetApp cùng những hãng khác cung cấp giảm dữ liệu (data reduction) gộp khử trùng lặp + nén + cấp phát mỏng như một tính năng mặc định. Hơn nữa, vì flash có tuổi thọ ghi hữu hạn (hao mòn), khử trùng lặp vốn loại bỏ ghi trùng lặp từ gốc giúp giảm khối lượng ghi thực tế và qua đó còn góp phần kéo dài tuổi thọ SSD, một yếu tố ủng hộ việc áp dụng luôn bật cả trong sản xuất.

Thứ hai, căng thẳng với an ninh và quyền riêng tư. Trong môi trường đám mây đa thuê bao, khử trùng lặp liên người dùng (cross-user dedup) tiết kiệm không gian rất nhiều nhưng tạo ra tấn công kênh phụ trong đó việc một tập tin đã có trên máy chủ hay chưa bị lộ qua tốc độ phản hồi, và một xung đột với mã hóa đầu cuối vì khử trùng lặp phía máy chủ đòi hỏi nhìn thấy dữ liệu ở dạng bản rõ. Để giảm nhẹ, mã hóa hội tụ (convergent encryption), làm cho bản rõ giống hệt sinh ra bản mã giống hệt, và các kỹ thuật chứng minh quyền sở hữu (PoW, Proof of Ownership) đang được nghiên cứu và áp dụng. Tuy nhiên mã hóa hội tụ có hạn chế là dễ bị tấn công bản rõ đã biết (từ điển), nên phải đánh giá thận trọng đánh đổi giữa an ninh và hiệu quả không gian.

Thứ ba, mở rộng sang AI và tập dữ liệu quy mô lớn. Dữ liệu huấn luyện mô hình ngôn ngữ lớn chứa lượng lớn tài liệu trùng lặp và gần trùng lặp thu thập bằng thu thập web, và nghiên cứu gần đây báo cáo rằng khử trùng lặp dữ liệu huấn luyện đóng góp trực tiếp vào cải thiện chất lượng mô hình (giảm ghi nhớ, khái quát hóa tốt hơn) và hiệu quả huấn luyện, vượt ra ngoài tiết kiệm chi phí lưu trữ. Ngoài ra, khử gần trùng lặp (near-dedup), nhóm các dữ liệu tương tự dù không hoàn toàn giống hệt, và giảm lai kết hợp với mã hóa delta đang mở rộng trong lĩnh vực sao lưu và lưu trữ. Như vậy khử trùng lặp đang mở rộng phạm vi từ kỹ thuật tối ưu chi phí lưu trữ sang kỹ thuật chất lượng dữ liệu và quản trị.

Thứ tư, lưu trữ tính toán/giảm tải (offloading). Chia chunk, băm và nén là các thao tác thâm dụng CPU gây gánh nặng cho độ trễ phản hồi của lưu trữ sơ cấp. Để giảm nhẹ, các cách tiếp cận giảm tải tính toán khử trùng lặp xuống DPU (Data Processing Unit) hoặc ổ lưu trữ tính toán (CSD) có chức năng tính toán tích hợp đã xuất hiện. Điều này để CPU máy chủ tập trung xử lý ứng dụng còn phần cứng chuyên dụng đảm nhận giảm dữ liệu, hạ thêm chi phí hiệu năng của "khử trùng lặp luôn bật" trong môi trường all-flash. Đây là xu hướng khử trùng lặp dịch chuyển từ một chức năng phần mềm sang một chức năng tăng tốc phần cứng trên đường dữ liệu, có thể hiểu trong cùng bối cảnh với giảm tải mã hóa và mã hóa xóa (erasure coding).

6. Cân nhắc và hàm ý

Khử trùng lặp trông như "tiết kiệm dung lượng miễn phí", nhưng thực tế là công nghệ đòi hỏi các phán đoán thiết kế trải khắp hiệu năng, toàn vẹn, an ninh và quản trị.

Các hạng mục chiến lược cần cân nhắc khi áp dụng và vận hành khử trùng lặp dữ liệu dưới góc nhìn Kỹ sư chuyên nghiệp như sau.

Áp dụng chọn lọc dựa trên đặc tính dữ liệu (chiến lược áp dụng): Không phải mọi dữ liệu đều là ứng viên khử trùng lặp. Dữ liệu nhiều dư thừa như sao lưu, VM và chia sẻ tập tin có hiệu quả lớn, trong khi phương tiện đã nén/mã hóa hoặc dữ liệu đo lường độc nhất có tỷ lệ giảm thấp mà chỉ phát sinh chi phí tính toán. Hãy đánh giá tỷ lệ giảm theo từng khối lượng công việc trước để áp dụng chọn lọc, và thiết kế bằng cách phân biệt phương thức (nội tuyến/hậu xử lý) phù hợp với tầng sơ cấp so với tầng sao lưu.
Định lượng đánh đổi hiệu năng - dung lượng (đánh đổi): Giảm kích thước chunk nâng tỷ lệ giảm nhưng tăng gánh nặng bộ nhớ chỉ mục và CPU cùng phân mảnh khi phục hồi. Với các nghiệp vụ có RTO (thời gian mục tiêu phục hồi) nghiêm ngặt, cần một cân bằng ưu tiên hiệu năng phục hồi hơn mức giảm quá đà bằng cách tăng chunk hoặc chọn hậu xử lý. Như trường hợp ZFS "5GB RAM cho mỗi 1TB" cho thấy, xem nhẹ việc định cỡ tài nguyên có thể ngược lại làm sụp đổ hiệu năng.
Toàn vẹn dữ liệu và rủi ro lan truyền lỗi đơn (tính sẵn sàng): Vì nhiều dữ liệu chia sẻ một số ít chunk duy nhất, sự hỏng của một chunk lan sang mất mát dữ liệu trên diện rộng. Luôn phải đi kèm bảo vệ dữ liệu nền tảng như tổng kiểm đầu cuối, chà soát (scrubbing) định kỳ, RAID/EC/sao chép, và phải giới hạn khử trùng lặp ở "nâng hiệu quả lưu trữ" chứ không phải "thay thế sao lưu", kết hợp với nguyên tắc sao lưu 3-2-1.
An ninh, quy định và bảo đảm xóa (quản trị): Trong cấu trúc chia sẻ tham chiếu, xóa một tập tin không dẫn ngay đến xóa vật lý, có thể xung đột với yêu cầu tiêu hủy hoàn toàn dữ liệu cá nhân (quyền được xóa, right to erasure). Phải làm rõ chu kỳ GC và khung bằng chứng tiêu hủy, và trong môi trường đa thuê bao cần chính sách như giới hạn phạm vi trong một thuê bao sau khi đánh giá xung đột kênh phụ và mã hóa của khử trùng lặp liên thuê bao.
Triển vọng và công nghệ liên quan (triển vọng): Khử trùng lặp đang mở rộng phạm vi thành nền tảng giảm dữ liệu gộp với nén, cấp phát mỏng và phân tầng (tiering), và thành một bước quản lý chất lượng của đường ống dữ liệu AI. Khảo sát cùng nhau việc giảm tải xuống lưu trữ tính toán và DPU cùng sự kết hợp với mã hóa xóa và CDP (Bảo vệ dữ liệu liên tục) mở rộng tầm nhìn cho việc lựa chọn công nghệ.

Tài liệu tham khảo

Dell Technologies, "Data Domain / PowerProtect DD Deduplication" — https://www.dell.com/en-us/dt/data-protection/powerprotect-dd-series-appliances.htm
OpenZFS Documentation, "Deduplication" — https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Deduplication.html
Lee et al., "Deduplicating Training Data Makes Language Models Better" (ACL 2022) — https://arxiv.org/abs/2107.06499
NIST, "Guide to Storage Encryption / Data Reduction considerations" — https://csrc.nist.gov/

Tóm tắt một câu: Khử trùng lặp dữ liệu là kỹ thuật tối ưu dung lượng dựa trên định địa chỉ theo nội dung, chia dữ liệu thành chunk, định danh theo dấu vân tay băm và thay các chunk giống nhau bằng tham chiếu để giảm dung lượng vật lý; thiết kế chia chunk, lập chỉ mục và quản lý tham chiếu phải được cân nhắc cùng với các đánh đổi về hiệu năng, toàn vẹn và an ninh.