Xử lý dữ liệu mất cân bằng lớp (Class Imbalance)

1. Tổng quan

A. Định nghĩa

Mất cân bằng lớp (Class Imbalance) chỉ tình huống trong bài toán phân loại khi số lượng mẫu của một lớp (lớp đa số, majority) vượt trội hẳn so với lớp khác (lớp thiểu số, minority), làm phân bố nghiêng về một phía. Thông thường, khi tỷ lệ thiểu số:đa số vượt 1:10 thì gọi là "mất cân bằng", vượt 1:1000 thì gọi là "mất cân bằng cực đoan"; điều quan trọng là lớp thiểu số thường chính là đối tượng mà ta muốn phát hiện (giao dịch gian lận, ca bệnh dương tính, hỏng hóc thiết bị), và điều này bộc lộ bản chất của vấn đề.

Lý do căn bản khiến mất cân bằng lớp khó là vì phần lớn thuật toán phân loại học theo mục tiêu tối thiểu hóa lỗi phân loại tổng thể. Trên dữ liệu gian lận thẻ tín dụng nơi dương tính chỉ chiếm 0,1% toàn bộ, chỉ cần trả lời "tất cả đều bình thường" cũng đạt độ chính xác (Accuracy) 99,9%. Nghĩa là mô hình có thể trông rất xuất sắc "trên bảng điểm" dù hoàn toàn không bắt được lớp thiểu số, và xét về hàm mất mát, mất mát của lớp đa số chi phối toàn bộ, chôn vùi tín hiệu của lớp thiểu số. Đây gọi là nghịch lý độ chính xác (Accuracy Paradox). Do đó, xử lý mất cân bằng không phải chỉ là tiền xử lý "chỉnh lại dữ liệu", mà phải là cách tiếp cận tổng hợp tái thiết kế đồng thời chỉ số đánh giá, phân bố dữ liệu, chi phí học và ngưỡng quyết định.

B. Bối cảnh ra đời và tính cần thiết

Phần lớn dữ liệu có giá trị cao trong thế giới thực vốn mất cân bằng về bản chất. Phát hiện gian lận, chẩn đoán bệnh hiếm, phát hiện lỗi trong quy trình sản xuất, phát hiện xâm nhập (IDS) và dự đoán rời bỏ của khách hàng đều xử lý "các sự kiện hiếm khi xảy ra nhưng nếu bỏ sót thì nghiêm trọng". Chẳng hạn, tỷ lệ lỗi của quy trình bán dẫn ở mức vài ppm, và tỷ lệ mắc nhiễm trùng huyết nặng cũng dưới vài phần trăm số bệnh nhân nội trú. Trong những lĩnh vực như vậy, phân loại tốt lớp đa số gần như vô nghĩa; sự cân bằng giữa việc bắt được bao nhiêu sự kiện thiểu số hiếm (độ nhạy/recall) và việc kìm chế bao nhiêu cảnh báo giả (độ chính xác/precision) quyết định giá trị thực của mô hình.

Yếu tố làm vấn đề trầm trọng hơn không chỉ là tỷ lệ. Khi số mẫu tuyệt đối của lớp thiểu số không đủ (absolute rarity), bộ học thiếu cả căn cứ thống kê để ước lượng ranh giới quyết định của lớp đó; và khi lớp thiểu số phân tán thành nhiều cụm (small disjuncts) hoặc chồng lấn với lớp đa số trong không gian đặc trưng (class overlap), độ khó còn tăng thêm. Nói ngắn gọn, xử lý mất cân bằng không kết thúc ở "cân bằng tỷ lệ về 1:1"; tính cần thiết cốt lõi của chủ đề này là phải xét cả tính hiếm, mức chồng lấn và cấu trúc phân bố của dữ liệu. Chủ đề này liên hệ mật thiết với [[anomaly-detection]], [[ensemble-learning]] và [[cross-validation]].

C. Các yếu tố quyết định độ khó của mất cân bằng

Dù cùng một tỷ lệ, độ khó thực tế của bài toán thay đổi lớn theo các yếu tố sau. Đây là những mục cần chẩn đoán đầu tiên khi chọn chiến lược xử lý mất cân bằng.

Tỷ lệ mất cân bằng (IR): tỷ lệ thiểu số:đa số. 1:10, 1:100 và 1:1000 đòi hỏi những ứng phó hoàn toàn khác nhau.
Độ hiếm tuyệt đối: số lượng tuyệt đối mẫu thiểu số. Dù tỷ lệ khắc nghiệt, nếu thiểu số có hàng vạn mẫu thì vẫn học được, nhưng vài chục mẫu thì ngay cả lấy mẫu lại cũng có giới hạn.
Chồng lấn lớp: mức độ thiểu số và đa số chồng lấn trong không gian đặc trưng. Chồng lấn lớn thì không kỹ thuật nào tách hoàn hảo được.
Cụm nhỏ rời rạc (small disjuncts): khi lớp thiểu số bị chia thành nhiều cụm nhỏ, phải học riêng từng cụm.
Nhiễu và ngoại lai: lỗi nhãn và giá trị cực đoan khuếch đại tín hiệu sai trong SMOTE và boosting.

2. Cấu trúc của vấn đề và cơ chế phát sinh

Nhìn tổng thể con đường mà mất cân bằng dẫn tới suy giảm hiệu năng, phân bố lệch kéo hàm mất mát và ranh giới quyết định về phía lớp đa số, còn một chỉ số sai (Accuracy) che giấu điều đó, cuối cùng tạo thành vòng luẩn quẩn bỏ sót lớp thiểu số. Sơ đồ cấu trúc dưới đây tóm tắt mối nhân quả ấy.

flowchart TB
  A["Phân bố lớp lệch<br/>(thiểu số:đa số = 1:100)"] --> B["Mất mát bị lớp đa số chi phối"]
  B --> C["Ranh giới quyết định xâm lấn vùng thiểu số"]
  C --> D["Recall lớp thiểu số sụp đổ"]
  A --> E["Thiếu tuyệt đối, chồng lấn, phân tán của thiểu số"]
  E --> C
  D --> F["Accuracy vẫn hiển thị cao"]
  F --> G["Nghịch lý độ chính xác: vấn đề bị che giấu"]
  style G fill:#fde8e8,stroke:#d33,stroke-width:2px
  style D fill:#fde8e8,stroke:#d33

Chiến lược xử lý, theo tầng can thiệp, chia thành bốn nhánh lớn: mức dữ liệu (resampling), mức thuật toán (cost-sensitive), mức ensemble, và mức đánh giá/ngưỡng. Không nhánh nào là liều thuốc vạn năng; kết hợp chúng theo bản chất bài toán (số mẫu, mức chồng lấn, cấu trúc chi phí) mới là chuẩn mực thực hành. Các dự án thực tế thường theo quy trình dưới đây.

Chẩn đoán vấn đề: nắm tỷ lệ mất cân bằng, độ hiếm tuyệt đối, chồng lấn và cấu trúc chi phí, rồi trước hết thống nhất chỉ số đánh giá dùng thay cho Accuracy (F1, PR-AUC, Recall@Precision, v.v.).
Phân chia đúng cách: dùng kiểm định chéo phân tầng (stratified) để mỗi fold giữ tỷ lệ gốc, và không lấy mẫu lại tập kiểm định.
Thiết lập baseline: trước hết đo mô hình không xử lý và mô hình class_weight='balanced' để lấy mốc tham chiếu cho cải thiện.
Áp dụng và tìm kiếm kỹ thuật: gộp lấy mẫu lại, cost-sensitive và ensemble thành một pipeline chỉ áp dụng bên trong các fold huấn luyện, và tìm kiếm tỷ lệ như một siêu tham số.
Ngưỡng và hiệu chỉnh: chọn ngưỡng phù hợp mục tiêu vận hành trên đường cong PR và hiệu chỉnh xác suất nếu cần.
Giám sát: sau khi triển khai, liên tục theo dõi recall theo từng nhóm con và thay đổi phân bố (drift).

flowchart LR
  P["Bài toán phân loại mất cân bằng"] --> D1["Mức dữ liệu<br/>over/under-sampling, SMOTE"]
  P --> D2["Mức thuật toán<br/>cost-sensitive, trọng số lớp, Focal Loss"]
  P --> D3["Mức ensemble<br/>EasyEnsemble, Balanced RF"]
  P --> D4["Đánh giá & ngưỡng<br/>PR-AUC, F1, chỉnh ngưỡng"]
  D1 & D2 & D3 --> M["Mô hình đã huấn luyện"]
  M --> D4
  D4 --> R["Triển khai vận hành"]
  style R fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px

A. Kỹ thuật mức dữ liệu — Lấy mẫu lại (Resampling)

Kỹ thuật mức dữ liệu theo cách thay đổi chính phân bố dữ liệu huấn luyện để tiến gần tới cân bằng, và vì áp dụng được độc lập với thuật toán nên được dùng rộng rãi nhất. Dạng đơn giản nhất là lấy mẫu tăng ngẫu nhiên (Random Over-sampling) nhân bản mẫu thiểu số để tăng số lượng, và lấy mẫu giảm ngẫu nhiên (Random Under-sampling) loại bớt mẫu đa số. Tuy nhiên, cách trước gây quá khớp do phơi bày lặp lại cùng mẫu, còn cách sau gây mất thông tin do vứt bỏ thông tin hữu ích của lớp đa số — đều là những hạn chế rõ ràng.

Kỹ thuật tiêu biểu để vượt qua các hạn chế này là SMOTE (Synthetic Minority Over-sampling Technique, 2002). Thay vì nhân bản mẫu hiện có, SMOTE nội suy tuyến tính giữa một mẫu thiểu số và k láng giềng gần nhất của nó để sinh ra mẫu tổng hợp (synthetic) mới trong không gian đặc trưng. Vì không phải nhân bản đơn thuần, nó mở rộng ranh giới quyết định theo hướng tổng quát hơn, làm giảm quá khớp. Tuy vậy, vì SMOTE nối các láng giềng một cách bừa bãi, nó có thể tạo nhiễu ở vùng ranh giới chồng lấn với lớp đa số. Các biến thể bổ khuyết gồm Borderline-SMOTE tập trung vào mẫu thiểu số gần ranh giới, ADASYN (Adaptive Synthetic) sinh nhiều hơn ở vùng có độ khó học cao, và các lai ghép như SMOTE-Tomek và SMOTE-ENN dọn dẹp mẫu nhiễu/chồng lấn của lớp đa số bằng Tomek Link hoặc ENN (Edited Nearest Neighbors) sau khi tổng hợp.

Lấy mẫu giảm cũng có các biến thể tinh vi vượt khỏi việc loại bỏ ngẫu nhiên đơn thuần. Tomek Link tìm cặp gần nhất thuộc hai lớp khác nhau và loại mẫu đa số để làm sắc nét ranh giới; ENN xóa các mẫu có nhãn khác với đa số láng giềng để dọn nhiễu; và NearMiss giữ lại có chọn lọc các mẫu đa số gần với thiểu số. Cluster Centroids phân cụm lớp đa số và thay mỗi cụm bằng tâm của nó, giảm số lượng mà vẫn giữ tính đại diện của phân bố. Thiết kế lấy mẫu giảm theo hướng "vứt bỏ ít thông tin hơn" như vậy có thể giảm đáng kể vấn đề mất thông tin.

Cụ thể, trên dữ liệu gian lận thẻ tín dụng công khai với tỷ lệ 1:577 (492 ca gian lận, khoảng 280.000 ca bình thường), huấn luyện hồi quy logistic không xử lý gì cho recall rất thấp, nhưng bổ sung thiểu số bằng SMOTE làm recall tăng mạnh đổi lấy precision giảm — chính là sự đánh đổi điển hình. Điểm quan trọng là vì SMOTE dựa trên khái niệm khoảng cách của không gian đặc trưng số, dữ liệu có nhiều biến phân loại phải dùng SMOTE-NC hoặc biến thể chuyên cho biến phân loại, và nếu thang đo đặc trưng chênh lệch thì kết quả nội suy bị méo, nên phải đặt bước chuẩn hóa thang (scaling) trước bước lấy mẫu lại.

Lượng sinh ra cũng phải được quyết định cẩn trọng. Cân bằng thiểu số về đúng cùng số lượng với đa số (1:1) không phải lúc nào cũng tối ưu; tổng hợp quá mức đẩy ranh giới quyết định quá xa về phía thiểu số và làm bùng nổ cảnh báo giả. Trong thực hành, nên đặt tỷ lệ mục tiêu (ví dụ 1:3, 1:2) như một siêu tham số qua sampling_strategy và điều chỉnh trong khi quan sát hiệu năng kiểm định. Nghĩa là "cân bằng đến mức nào" tự nó là đối tượng tinh chỉnh.

Trên hết, lấy mẫu lại phải được thực hiện chỉ bên trong các fold huấn luyện. Áp dụng SMOTE cho toàn bộ dữ liệu trước khi phân chia kiểm định chéo khiến thông tin dùng để tổng hợp rò rỉ sang tập kiểm định (rò rỉ dữ liệu, leakage), làm hiệu năng phồng lên phi thực tế, và các chỉ số thu được theo cách này không tái lập được trong vận hành. Chỉ cần tuân thủ một nguyên tắc này, độ tin cậy của các thí nghiệm mất cân bằng đã tăng lên rất nhiều.

B. Kỹ thuật mức thuật toán — Học nhạy chi phí (Cost-Sensitive)

Kỹ thuật mức thuật toán không động đến dữ liệu mà làm cho thuật toán học coi lỗi của lớp thiểu số là đắt hơn. Trực tiếp nhất là học nhạy chi phí (Cost-Sensitive Learning), phản ánh vào hàm mất mát một ma trận chi phí đặt chi phí của việc phân loại sai lớp thiểu số (âm tính giả, FN) cao hơn lỗi lớp đa số (dương tính giả, FP). Trong thực hành, tùy chọn class_weight='balanced' mà hầu hết thư viện cung cấp — nhân mất mát với trọng số tỷ lệ nghịch với tần suất lớp — được dùng một cách dễ dàng.

Cần lưu ý ở đây rằng học nhạy chi phí và chỉnh ngưỡng về lý thuyết là hai mặt của cùng một đồng tiền. Theo lý thuyết quyết định Bayes tối ưu, đặt chi phí FN gấp C lần chi phí FP và hạ ngưỡng xác suất hậu nghiệm tương ứng sẽ tạo ra cùng một ranh giới quyết định. Do đó, nếu một mô hình đã huấn luyện xuất ra xác suất được hiệu chỉnh tốt, chỉ dịch chuyển ngưỡng mà không cần huấn luyện lại cũng đạt hiệu quả tương đương học nhạy chi phí. Tuy nhiên, đưa trọng số trực tiếp vào hàm mất mát như ở cây/boosting sẽ định hình chính ranh giới quyết định có lợi hơn về phía thiểu số, nên khi hiệu chỉnh xác suất chưa hoàn hảo thì phản ánh chi phí ở giai đoạn học sẽ bền vững hơn.

Trong học sâu, Focal Loss đóng vai trò quan trọng. Được đề xuất trong phát hiện đối tượng (RetinaNet, 2017), Focal Loss nhân cross-entropy với một số hạng điều biến dạng (1-p)^γ, giảm theo cấp số nhân đóng góp mất mát của các mẫu đa số dễ đã được phân loại tốt và tập trung việc học vào các mẫu thiểu số khó. Điều này đặc biệt hiệu quả trong mất cân bằng cực đoan khi phải phân biệt vô số nền (đa số) với số ít đối tượng (thiểu số). Ưu điểm của cách tiếp cận nhạy chi phí là không làm méo phân bố dữ liệu nên rủi ro rò rỉ nhỏ và giữ được đặc tính thống kê gốc; nhược điểm là khó định trước chi phí/trọng số phù hợp, đòi hỏi tìm kiếm thông qua kiểm định.

C. Kỹ thuật mức ensemble

Ensemble đặc biệt hợp với xử lý mất cân bằng. Một lần lấy mẫu giảm vứt bỏ thông tin lớp đa số, nhưng lấy mẫu giảm nhiều lần với các tập con đa số khác nhau rồi kết hợp các mô hình huấn luyện trên từng tập sẽ khôi phục thông tin đã vứt bỏ trên toàn ensemble. Các kỹ thuật tiêu biểu EasyEnsemble và BalanceCascade chia lớp đa số thành nhiều tập con, mỗi tập cân bằng với thiểu số, rồi huấn luyện và kết hợp nhiều bộ phân loại. BalanceCascade thêm tính tuần tự bằng cách loại khỏi giai đoạn sau các mẫu đa số đã được phân loại tốt ở một giai đoạn, tập trung dần vào các mẫu khó hơn.

Balanced Random Forest cân bằng đa số với thiểu số ở mỗi bước bootstrap, và RUSBoost kết hợp lấy mẫu giảm ngẫu nhiên ở mỗi vòng lặp boosting để đồng thời có tốc độ học và cân bằng. Chúng cộng thêm hiệu ứng cân bằng vào hiệu ứng giảm phương sai/độ chệch của [[ensemble-learning]], thường cho hiệu năng ổn định hơn so với lấy mẫu lại đơn lẻ.

Ưu điểm thực hành của cách tiếp cận ensemble là có thể tương đối dễ tìm được điểm cân bằng kìm chế cảnh báo giả (FP) nhờ giảm phương sai trong khi vẫn nâng recall thiểu số. Ví dụ, trong mất cân bằng cực đoan như phát hiện lỗi sản xuất nơi tỷ lệ lỗi ở mức vài ppm, một mô hình lấy mẫu giảm đơn lẻ bất ổn do mất dữ liệu, nhưng Balanced RF ổn định hóa quyết định nhờ phiếu bầu của nhiều cây, cho hiệu năng tái lập được. Tuy nhiên, vì số mô hình tăng tới hàng chục đến hàng trăm làm độ trễ suy luận và chi phí bộ nhớ tăng, nên hệ thống phát hiện thời gian thực phải cân nhắc đồng thời sự đánh đổi giữa hiệu năng và tốc độ phản hồi.

D. Chỉ số đánh giá và chỉnh ngưỡng

Quyết định quan trọng nhất trong mất cân bằng là chọn đúng chỉ số đánh giá. Hãy loại bỏ Accuracy và dùng các chỉ số theo góc nhìn lớp thiểu số. Các chỉ số chính suy ra từ ma trận nhầm lẫn (TP, FP, FN, TN) như sau.

Precision = TP/(TP+FP): tỷ lệ dương tính thực trong số được dự đoán dương tính. Được coi trọng khi chi phí cảnh báo giả lớn.
Recall = TP/(TP+FN): tỷ lệ bắt được trong số dương tính thực. Là chỉ số ưu tiên hàng đầu khi chi phí bỏ sót lớn (gian lận, bệnh tật).
F1-score: trung bình điều hòa của precision và recall. Tóm tắt sự cân bằng của hai đại lượng trong một con số.
PR-AUC: diện tích dưới đường cong precision-recall. Là chỉ số tổng hợp đáng tin cậy nhất trong mất cân bằng cực đoan.
G-mean / Balanced Accuracy: trung bình nhân/cộng của recall theo từng lớp, đánh giá cả hai lớp một cách đối xứng.

Đặc biệt trong mất cân bằng cực đoan, PR-AUC (diện tích dưới đường cong precision-recall) phản ánh hiệu năng thực của mô hình nhạy hơn ROC-AUC vốn ít nhạy với dương tính giả. Đó là vì khi thiểu số:đa số là 1:1000, lớp đa số chi phối mẫu số nên đường cong ROC trông vẫn ổn, trong khi đường cong PR vốn phản ánh trực tiếp precision của lớp thiểu số lại bộc lộ khắc nghiệt.

Ngoài ra, vì đầu ra của bộ phân loại là xác suất, không có lý do bám lấy ngưỡng mặc định 0,5. Nếu chọn ngược lại ngưỡng phù hợp mục tiêu nghiệp vụ (ví dụ bảo đảm recall 90%) trên đường cong PR của dữ liệu kiểm định, ta có thể điều chỉnh đặc tính vận hành mà không cần huấn luyện lại mô hình. Khi chi phí FN (gian lận bị bỏ sót) lớn hơn nhiều chi phí FP (cảnh báo giả) như trong phát hiện gian lận, phải song hành một thiết kế vận hành — hạ ngưỡng để nâng recall và hấp thụ cảnh báo giả phát sinh vào giai đoạn thẩm định thứ cấp.

Một điểm nữa cần lưu ý là hiệu chỉnh xác suất (calibration). Vì lấy mẫu lại thay đổi nhân tạo xác suất tiên nghiệm (prior) của dữ liệu huấn luyện, giá trị xác suất mô hình xuất ra lệch khỏi xác suất hậu nghiệm thực. Để dùng trực tiếp các xác suất sinh ra vào tính toán chi phí quyết định, phải hiệu chỉnh bằng Platt scaling hoặc Isotonic regression, hoặc áp dụng công thức hiệu chỉnh khôi phục xác suất tiên nghiệm phản ánh tỷ lệ lấy mẫu lại. Việc chọn chỉ số, chỉnh ngưỡng và hiệu chỉnh xác suất đều được nhấn mạnh từ góc độ Kỹ sư chuyên nghiệp như những phương tiện chi phí thấp hiệu quả cao "nâng chất lượng vận hành mà không đổi mô hình".

3. So sánh các kỹ thuật

Bảng dưới đây so sánh tính chất của các kỹ thuật bốn tầng. Tuy nhiên bảng chỉ là tóm tắt; lựa chọn thực tế dựa vào phán đoán bối cảnh "vì sao kỹ thuật đó có lợi trong tình huống đó". Khi mẫu cực kỳ ít, tổng hợp hoặc nhạy chi phí thắng lấy mẫu giảm vốn vứt thông tin, còn khi dữ liệu khổng lồ thì lấy mẫu giảm/ensemble dẫn trước về hiệu quả tính toán.

Phân loại	Mức dữ liệu (SMOTE v.v.)	Mức thuật toán (nhạy chi phí)	Mức ensemble	Đánh giá/ngưỡng
Điểm can thiệp	Phân bố dữ liệu huấn luyện	Hàm mất mát, trọng số	Cấu trúc kết hợp mô hình	Suy luận, quyết định
Ưu điểm	Độc lập thuật toán, trực quan	Giữ phân bố, ít rò rỉ	Bù mất thông tin, ổn định	Không cần huấn luyện lại
Nhược điểm	Rủi ro rò rỉ/nhiễu/quá khớp	Khó đặt ma trận chi phí	Phức tạp khi cài đặt/tính	Bản thân mô hình không đổi
Tình huống phù hợp	Thiểu số có một lượng mẫu	Cấu trúc chi phí rõ ràng	Quy mô lớn, mất cân bằng cao	Yêu cầu vận hành rõ ràng

Hàm ý chồng lấn trong thực hành rất rõ. Bốn tầng này được kết hợp, không loại trừ lẫn nhau. Một pipeline điển hình dùng nhiều tầng cùng lúc — "SMOTE trong các fold huấn luyện + học nhạy chi phí + chọn mô hình theo PR-AUC + chỉnh ngưỡng theo nghiệp vụ" — phối hợp trong khi kiểm chứng hiệu quả từng bước bằng kiểm định chéo.

Hai trường hợp công nghiệp minh họa rõ nhu cầu kết hợp này. Thứ nhất, cảnh báo sớm nhiễm trùng huyết trong y tế là bài toán mất cân bằng điển hình nơi dương tính dưới vài phần trăm số bệnh nhân nội trú. Ở đây một bệnh nhân bị bỏ sót (FN) gắn trực tiếp với tính mạng nên recall là ưu tiên hàng đầu, nhưng cảnh báo giả quá nhiều (FP) gây "mệt mỏi vì cảnh báo (alarm fatigue)" làm xói mòn niềm tin của nhân viên y tế, nên phải chọn cẩn thận một điểm chấp nhận được về lâm sàng trên đường cong PR. Thứ hai, dự đoán rời bỏ (churn) trong viễn thông/thương mại có khoảng 10% khách rời bỏ — mất cân bằng mức trung bình — nhưng với ngân sách tiếp thị hạn chế, chi phí giữ chân chỉ dành cho khách có xác suất cao. Trong trường hợp này, Precision@K của top-K gợi ý trở thành chỉ số thực chất thay vì recall tổng thể, nên chuyển sang đánh giá theo thứ hạng thay vì ngưỡng là hợp lý. Bài học cốt lõi là ngay cả cùng một "mất cân bằng" cũng đòi hỏi chỉ số và chiến lược hoàn toàn khác nhau tùy cấu trúc chi phí nghiệp vụ.

4. Chuyên sâu — Cạm bẫy và xu hướng mới nhất

Thất bại phổ biến nhất là rò rỉ dữ liệu (leakage). Thực hiện lấy mẫu lại trước khi phân chia kiểm định chéo, hoặc áp dụng SMOTE cả cho tập kiểm định, sẽ đánh giá quá cao hiệu năng. Quy trình đúng là lập một pipeline chỉ áp dụng lấy mẫu lại cho phần huấn luyện của mỗi fold, trong khi tập kiểm định giữ phân bố mất cân bằng gốc (Pipeline của imbalanced-learn bắt buộc điều này). Ngoài ra, phân chia phân tầng (stratified split) phải để mỗi fold giữ tỷ lệ gốc thì đánh giá mới ổn định.

Một cạm bẫy khác thường bị bỏ qua là thay đổi phân bố sau triển khai (drift). Ngưỡng và tỷ lệ lấy mẫu lại được tinh chỉnh ở thời điểm huấn luyện nhanh chóng lệch khi phân bố dữ liệu dịch chuyển. Thủ đoạn gian lận tiến hóa và mẫu lỗi thay đổi theo sự lão hóa thiết bị, nên bản thân đặc tính của lớp thiểu số dịch chuyển theo thời gian. Do đó, mô hình mất cân bằng không phải làm tốt một lần rồi xong, mà phải được quản lý theo góc độ vòng đời vận hành (MLOps) — liên tục giám sát recall/precision của thiểu số, định kỳ chỉnh lại ngưỡng, và huấn luyện lại khi cần.

Các dòng chảy mới nhất đi theo ba hướng. Thứ nhất, trong học sâu, tái thiết kế hàm mất mát (Focal Loss, Class-Balanced Loss, LDAM) và học biểu diễn (tăng cường biểu diễn lớp thiểu số qua học tương phản) đã trở thành chủ đạo hơn tái cấu trúc dữ liệu. Thứ hai, tổng hợp lớp thiểu số dùng mô hình sinh (GAN, mô hình khuếch tán) đang được nghiên cứu như một giải pháp thay thế vượt qua giới hạn nội suy tuyến tính của SMOTE trong lĩnh vực ảnh/chuỗi thời gian. Thứ ba, quan điểm định nghĩa lại mất cân bằng thành bài toán phát hiện bất thường/mới lạ (one-class, novelty detection) thay vì một khiếm khuyết dữ liệu đang lan rộng trong phát hiện gian lận/xâm nhập, mô hình hóa lớp thiểu số không phải là "một lớp khác" mà là "độ lệch khỏi bình thường" (liên hệ với [[anomaly-detection]]). Trong các tình huống hiếm cực đoan, định nghĩa lại này thường thực tế hơn phân loại.

Cuối cùng, các cách tiếp cận giảm nhẹ vấn đề căn bản là dữ liệu vốn hiếm thông qua chiến lược gán nhãn cũng đáng chú ý. Với học chủ động (active learning), ưu tiên gán nhãn các mẫu ranh giới mà mô hình không chắc chắn có thể tăng thông tin lớp thiểu số một cách hiệu quả với chi phí thấp, còn học bán giám sát (semi-supervised) tận dụng lượng lớn dữ liệu chưa gán nhãn để củng cố biểu diễn thiểu số. Nghĩa là bài toán mất cân bằng mở rộng ra ngoài phạm vi thuật toán và lấy mẫu, thành một bài toán chiến lược dữ liệu về thu thập và gán nhãn cái gì, như thế nào.

5. Cân nhắc và hàm ý

Định chỉ số trước, đặt mô hình sau: Từ góc độ Kỹ sư chuyên nghiệp, sai lầm lớn nhất là báo cáo hiệu năng bằng Accuracy. Ở giai đoạn định nghĩa vấn đề, hãy định lượng chi phí nghiệp vụ của FN và FP, và thống nhất trước các chỉ số nhất quán với nó — PR-AUC, F1, Recall@Precision. Chọn chỉ số là vấn đề quản trị, không phải kỹ thuật.
Lấy mẫu lại là một phần của mô hình hóa, không phải tiền xử lý: Để ngăn rò rỉ, hãy gộp lấy mẫu lại, chuẩn hóa thang và học vào một pipeline và chỉ khớp (fit) bên trong các fold kiểm định chéo. Hiệu năng bị phồng do rò rỉ dữ liệu tất yếu sụp đổ trong vận hành, một rủi ro chí mạng về độ tin cậy và khả năng tái lập.
Tăng cường dữ liệu và thiết kế chi phí là một sự đánh đổi: Các phương pháp kiểu SMOTE có xu hướng nâng recall đổi lấy precision và nhiều cảnh báo giả hơn. Nếu mẫu thiểu số đủ, chỉ cần nhạy chi phí và chỉnh ngưỡng cũng đạt mục tiêu mà không làm méo phân bố, nên hãy tránh cách tiếp cận máy móc "luôn cân về 1:1" và tìm kiếm tỷ lệ như một siêu tham số.
Giữ ngỏ khả năng định nghĩa lại vấn đề: Mất cân bằng cực đoan với tỷ lệ mắc rất thấp có thể được tiếp cận tốt hơn bằng phát hiện bất thường hoặc học bán giám sát hơn là phân loại giám sát. Về triển vọng, khi tổng hợp sinh và học biểu diễn tự giám sát kết hợp lại, xử lý mất cân bằng đang chuyển từ "kỹ thuật tăng dữ liệu" sang "kỹ thuật biểu diễn và phát hiện tín hiệu thiểu số".
Quản lý sau triển khai quyết định thành bại: Hiệu năng của mô hình mất cân bằng đặc biệt dễ tổn thương trước thay đổi phân bố. Mẫu hình của lớp thiểu số dịch chuyển theo thời gian như thủ đoạn gian lận tiến hóa và thiết bị lão hóa, nên phải thiết kế trên tiền đề một hệ thống MLOps liên tục giám sát recall/precision/drift phân bố và định kỳ chỉnh lại ngưỡng mới giữ được hiệu năng bền vững.
Hàm ý vận hành và đạo đức: Vì phát hiện sai lớp thiểu số trong y tế/tài chính gắn trực tiếp với an toàn bệnh nhân và thiệt hại tài chính, đầu ra của mô hình phải được thiết kế như hỗ trợ quyết định kết hợp với thẩm định của chuyên gia ở giai đoạn thứ cấp, không phải quyết định tự động. Ngoài ra, cần một hệ thống giám sát recall theo từng nhóm con để thiên lệch đối với các nhóm thiểu số không leo thang thành vấn đề công bằng (fairness).

Tài liệu tham khảo

Chawla et al., "SMOTE: Synthetic Minority Over-sampling Technique", JAIR 2002: https://www.jair.org/index.php/jair/article/view/10302
Tài liệu chính thức imbalanced-learn: https://imbalanced-learn.org/stable/
Lin et al., "Focal Loss for Dense Object Detection", ICCV 2017: https://arxiv.org/abs/1708.02002
Google Developers, "Imbalanced data": https://developers.google.com/machine-learning/data-prep/construct/sampling-splitting/imbalanced-data

Tóm tắt một câu: Mất cân bằng lớp che giấu lớp thiểu số (đối tượng) qua nghịch lý độ chính xác; cốt lõi là kết hợp, không rò rỉ, lấy mẫu lại (SMOTE), học nhạy chi phí, ensemble cân bằng và PR-AUC/chỉnh ngưỡng, và định nghĩa lại sự hiếm cực đoan thành phát hiện bất thường.