Học chủ động (Active Learning)

1. Tổng quan

A. Định nghĩa

Học chủ động (Active Learning) là một mô thức của học bán giám sát, trong đó bộ học (learner) tự chọn các mẫu "có lượng thông tin lớn nhất" từ một kho dữ liệu chưa gán nhãn khổng lồ, truy vấn (query) nhãn từ một chuyên gia (oracle, thường là người gán nhãn), và cải thiện mô hình một cách lặp lại dựa trên phản hồi nhận được. Tiền đề cốt lõi là "nhãn thì đắt đỏ và khan hiếm", và mục tiêu là hiệu quả dữ liệu (data efficiency): đạt hiệu năng mục tiêu với chi phí gán nhãn tối thiểu.

Học giám sát truyền thống (học thụ động, passive learning) để người gán nhãn gán nhãn hàng loạt cho dữ liệu đã lấy mẫu ngẫu nhiên hoặc thu thập toàn bộ, rồi huấn luyện một lần trên toàn bộ. Ngược lại, học chủ động đan kết việc huấn luyện và gán nhãn thành một vòng lặp khép kín (closed loop) duy nhất thay vì xem chúng là các bước tiền xử lý tách rời. Vì mô hình tự quyết định "mẫu nào mà tôi đang phân vân nhất lúc này, hoặc mẫu nào nếu biết nhãn sẽ dịch chuyển ranh giới quyết định nhiều nhất?" và chỉ truy vấn những mẫu đó, số nhãn cần thiết để đạt cùng hiệu năng có thể giảm vài lần đến vài chục lần so với thu thập ngẫu nhiên. Nói cách khác, bản chất của học chủ động là định nghĩa lại giá trị của việc học theo "xem cái gì" chứ không phải "xem bao nhiêu".

B. Bối cảnh ra đời và sự cần thiết

Nút thắt cổ chai của học máy hiện đại đang chuyển từ thuật toán hay tính toán sang nhãn chất lượng cao. Kiến trúc mô hình đã được san bằng lên cao nhờ các mô hình tiền huấn luyện và mã nguồn mở, nhưng nhãn theo lĩnh vực vẫn phải do con người gán thủ công, và chi phí đó chiếm ưu thế. Để phân đoạn (segmentation) tổn thương trên ảnh y khoa, bác sĩ chuyên khoa phải đánh dấu theo từng điểm ảnh, và để khoanh hộp ranh giới vật thể trong đám mây điểm lidar 3D cho xe tự lái phải mất hàng chục phút cho mỗi khung hình. Gán nhãn toàn bộ là phi thực tế cả về chi phí, thời gian lẫn sự sẵn có của chuyên gia, và tại đây ý tưởng "đằng nào cũng không gán được tất cả, vậy hãy gán từ những cái có giá trị nhất" là điểm khởi đầu của học chủ động.

Trục thứ hai làm tăng nhu cầu là sự lệch cực đoan của dữ liệu. Ở các lĩnh vực mà đối tượng quan tâm hiếm gặp như giao dịch gian lận, bệnh hiếm, lỗi quy trình bán dẫn, việc lấy mẫu ngẫu nhiên thậm chí khó gặp được lớp thiểu số. Học chủ động truy vấn tập trung các mẫu mơ hồ gần ranh giới quyết định, tức vùng mà lớp thiểu số có khả năng tụ lại, nên phân bổ ngân sách nhãn một cách hiệu quả trong tình huống [[class-imbalance]]. Trục thứ ba là thu thập dữ liệu ưu tiên trong kỷ nguyên mô hình nền tảng và LLM. Vì đánh giá so sánh của con người trong RLHF hay căn chỉnh ưu tiên rất đắt, chiến lược chọn các cặp chỉ dẫn–phản hồi mà mô hình bất định nhất rồi hỏi con người chính là một ứng dụng của học chủ động. Chủ đề này liên kết chặt chẽ với [[class-imbalance]], [[semi-supervised-learning]], [[data-labeling]] và [[rlhf]].

C. Các thuộc tính cốt lõi đặc trưng cho học chủ động

Để học chủ động thành lập, một số tiền đề và biến thiết kế phải ăn khớp với nhau. Nếu thiếu các yếu tố này, học chủ động dễ trở thành thiết kế quá mức chỉ tăng độ phức tạp mà không mang lại lợi ích, nên trước khi áp dụng cần chẩn đoán trước các mục dưới đây.

Sự bất đối xứng của chi phí gán nhãn: hiệu quả nhất khi thu thập dữ liệu rẻ nhưng gán nhãn đắt (tồn tại một kho chưa gán nhãn lớn). Nếu nhãn miễn phí thì động lực của học chủ động biến mất.
Chiến lược truy vấn (query strategy): định nghĩa "lượng thông tin" theo tiêu chí nào. Việc chọn giữa bất định, bất đồng của hội đồng, thay đổi mô hình kỳ vọng, đa dạng v.v. quyết định hiệu năng.
Kịch bản truy vấn: chọn từ toàn bộ kho (pool-based), phán đoán tức thời từ luồng chảy (stream-based), hay tổng hợp đầu vào để hỏi (membership query synthesis).
Kích thước lô (batch budget): truy vấn từng mẫu một, hay gộp hàng trăm mẫu để truy vấn. Học sâu bắt buộc truy vấn theo lô vì chi phí huấn luyện lại.
Chất lượng của oracle: con người không phải lúc nào cũng cho đáp án đúng (nhiễu, chủ quan). Cần thiết kế đặt tiền đề rằng oracle có sai sót.

2. Cấu trúc hoạt động và vòng lặp khép kín của học chủ động

Học chủ động lặp lại, cho đến khi gặp điều kiện dừng, chu trình tạo mô hình từ một lượng nhỏ nhãn ban đầu → chấm điểm kho chưa gán nhãn → rút ra các mẫu có lượng thông tin lớn nhất → truy vấn con người → thêm nhãn vào tập huấn luyện và huấn luyện lại. Vòng lặp khép kín này là bộ khung của học chủ động, và sơ đồ cấu trúc dưới đây tóm tắt toàn bộ luồng.

flowchart TB
  U["Kho dữ liệu chưa gán nhãn<br/>(lớn, chi phí thấp)"] --> S["Chiến lược truy vấn<br/>(chấm điểm lượng thông tin)"]
  L0["Tập nhãn ban đầu nhỏ"] --> M["Huấn luyện mô hình hiện tại"]
  M --> S
  S --> Q["Chọn mẫu có lượng thông tin lớn nhất<br/>(top k)"]
  Q --> O["Truy vấn oracle (người gán nhãn)"]
  O --> A["Lấy nhãn, thêm vào tập huấn luyện"]
  A --> M
  M --> C{"Điều kiện dừng?<br/>(ngân sách, bão hòa hiệu năng)"}
  C -->|"Không"| S
  C -->|"Có"| R["Triển khai mô hình cuối"]
  style R fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
  style S fill:#fff4e5,stroke:#e8a33d,stroke-width:2px

Quyết định thiết kế quan trọng nhất trong vòng lặp này là kịch bản truy vấn. Ba kịch bản phân nhánh theo "tiếp cận dữ liệu chưa gán nhãn ở dạng nào".

Lấy mẫu dựa trên kho (pool-based): chấm điểm toàn bộ kho chưa gán nhãn cố định, lớn ở mỗi vòng và rút ra các mẫu đứng đầu. Phần lớn thực tiễn, nơi dữ liệu chưa gán nhãn đã được gom sẵn (kho lưu trữ ảnh y khoa, nhật ký lái xe đã thu thập), rơi vào đây và được dùng rộng rãi nhất.
Lấy mẫu chọn lọc dựa trên luồng (stream-based): mỗi khi một mẫu chảy đến, phán đoán tại chỗ "hiện có đáng hỏi mẫu này không?" rồi bỏ đi hoặc truy vấn. Dùng khi không thể lưu trọn cả kho, như luồng cảm biến hoặc môi trường biên.
Tổng hợp truy vấn thành viên (membership query synthesis): bộ học thẳng tay tạo ra đầu vào để hỏi, nhưng đầu vào được tạo có thể mang hình thức mà con người không thể diễn giải, nên ứng dụng thực tế bị hạn chế.

Ba kịch bản được chọn gắn với ràng buộc lưu trữ và tính toán. Pool-based phải suy luận trên toàn kho mỗi vòng, nên nếu kho có hàng trăm triệu mẫu thì việc chấm điểm tự thân trở thành nút thắt và cần xấp xỉ hoặc lấy mẫu ứng viên, còn stream-based không thể xem lại dữ liệu quá khứ nhưng gánh nặng bộ nhớ nhỏ. Phần lớn môi trường doanh nghiệp đã tích lũy nhật ký, ảnh trong data lake nên pool-based là chuẩn, nhưng nơi cần phán đoán tức thời như dây chuyền kiểm tra chất lượng thời gian thực thì stream-based phù hợp.

Điểm then chốt thứ hai là thiết kế chế độ lô (batch-mode). Vì huấn luyện lại học sâu sau mỗi lần thêm một mẫu tốn kém quá mức, mỗi vòng gộp hàng trăm đến hàng nghìn mẫu để truy vấn. Thế nhưng nếu đơn thuần lấy "top k theo bất định" thì nảy sinh vấn đề các mẫu gần như giống nhau được chọn thành cụm. Ví dụ nếu 500 ảnh mờ tương tự đều mơ hồ, chỉ cần gán nhãn vài tấm trong số đó là đủ lượng thông tin. Do đó truy vấn theo lô phải khử trùng lặp bằng cách xét cả lượng thông tin (informativeness) và sự đa dạng giữa các mẫu (diversity). Đây chính là lý do các chiến lược hỗn hợp như BADGE, Core-set được trình bày sau ra đời.

Thiết kế lô cũng ẩn chứa sự đánh đổi giữa số vòng và kích thước lô. Chia lô nhỏ và chạy nhiều vòng cho phép truy vấn chính xác hơn với mô hình mới nhất ở mỗi vòng, nhưng chi phí khứ hồi của huấn luyện lại và gán nhãn tăng lên; lấy lô lớn thì vận hành dễ nhưng mô hình không được cập nhật trong một vòng, làm tăng rủi ro chọn trùng các mẫu tương tự. Trong thực tế, kích thước lô được định bằng cách xét cả chu kỳ xử lý của tổ chức gán nhãn (ví dụ: một lô mỗi ngày) và chi phí huấn luyện lại, với quy tắc kinh nghiệm như lấy 5–10% tổng ngân sách nhãn làm một lô.

Trục thiết kế thứ ba là điều kiện dừng (stopping criterion). Vì học chủ động không thể chạy vô hạn, các tiêu chí dừng là cạn ngân sách nhãn, bão hòa hiệu năng kiểm định (plateau), hoặc thời điểm mức tăng hiệu năng cận biên từ một lô rơi xuống dưới ngưỡng. Nếu không nêu rõ điều kiện dừng thì phát sinh đầu tư quá mức khi ngân sách nhãn cứ đổ vào vùng gần như không hữu ích, nên ở giai đoạn thiết kế vận hành phải chuẩn bị kèm theo hệ thống giám sát độ dốc của đường cong hiệu năng–nhãn.

3. Các loại và nguyên lý của chiến lược truy vấn

Chiến lược truy vấn chia rộng, theo "định nghĩa lượng thông tin thế nào", thành dựa trên bất định, dựa trên hội đồng, dựa trên tác động kỳ vọng, và dựa trên tính đại diện/đa dạng. Không cái nào là vạn năng; chuẩn mực là kết hợp chúng cho hợp với tính chất dữ liệu và loại mô hình.

A. Lấy mẫu bất định (Uncertainty Sampling)

Chiến lược trực quan và được dùng rộng rãi nhất truy vấn các mẫu mà mô hình ít tự tin nhất về dự đoán. Trực giác rất đơn giản: một mẫu mô hình đã tự tin thì dù gán nhãn cũng ít điều để học, nhưng một mẫu nằm ngay trên ranh giới quyết định và làm nó phân vân 50:50 thì một nhãn duy nhất dịch chuyển ranh giới rất nhiều. Có ba cách tiêu biểu để định lượng bất định. Độ tin cậy thấp nhất (least confidence) chọn mẫu có xác suất lớp đứng đầu thấp nhất, lấy mẫu biên (margin) chọn mẫu có khoảng cách nhỏ nhất giữa xác suất lớp hạng nhất và hạng nhì, và entropy chọn mẫu có entropy của toàn phân phối lớp lớn nhất. Trong phân loại nhị phân cả ba thực chất như nhau, nhưng trong đa lớp, entropy phản ánh tốt hơn độ mơ hồ của toàn phân phối còn margin phản ánh tốt hơn sự tranh chấp giữa hai ứng viên đầu bảng.

Hãy xem sự khác biệt bằng con số cụ thể. Trong bài toán ba lớp, giả sử mẫu X có xác suất dự đoán (0.50, 0.49, 0.01) và mẫu Y có (0.40, 0.30, 0.30). Độ tin cậy thấp nhất hơi ưu ái Y vì cả hai xác suất đứng đầu tương tự (0.50 so với 0.40), còn margin, vì khoảng cách hạng nhất–nhì của X (0.01) nhỏ hơn của Y (0.10), coi X mơ hồ hơn. Ngược lại, entropy coi Y mơ hồ hơn vì xác suất của nó trải đều hơn trên ba lớp. Tức là "hai ứng viên có giằng co ở ranh giới không (margin)?" và "phân phối có phân tán tổng thể không (entropy)?" là hai câu hỏi khác nhau, và nếu mục tiêu phát hiện là "giải quyết cặp nhầm lẫn" thì margin hợp, còn "giảm độ mơ hồ tổng quát" thì entropy hợp. Như vậy, dù cùng là "bất định", việc chọn công thức làm thay đổi kết quả truy vấn, đó là điểm tinh tế của thực tiễn.

Điểm yếu của lấy mẫu bất định là dễ bị tổn thương bởi nhiễu và ngoại lai. Các giá trị cực đoan có lỗi nhãn hoặc nằm ngoài phân phối luôn làm mô hình phân vân nên bị chọn lặp đi lặp lại, nhưng gán nhãn chúng không giúp ích cho khái quát hóa. Ngoài ra, khi ước lượng xác suất của mô hình quá tự tin (overconfidence) (đặc biệt ở học sâu) thì bản thân bất định bị bóp méo. Vì vậy trong học sâu người ta dùng phương pháp hiệu chỉnh bất định dự đoán bằng Monte Carlo dropout (MC Dropout) hoặc ensemble rồi mới chấm điểm (ví dụ: BALD, Bayesian Active Learning by Disagreement). Căn bản hơn, phải phân biệt bất định nhận thức (epistemic) khi mô hình "lầm tưởng không biết điều nó biết" với bất định ngẫu nhiên (aleatoric) của chính dữ liệu; vì học chủ động chỉ giảm được loại trước (giải quyết được bằng thêm dữ liệu), nên một cơ chế hiệu chỉnh lọc bỏ các mẫu có nhiễu ngẫu nhiên lớn quyết định độ hoàn thiện của chiến lược.

B. Truy vấn theo hội đồng (Query-by-Committee, QBC)

Chiến lược này lập một hội đồng (committee) gồm nhiều giả thuyết (mô hình) khác nhau rồi truy vấn các mẫu mà dự đoán của các thành viên phân kỳ nhiều nhất. Nguyên lý được giải thích bằng sự thu hẹp không gian phiên bản (version space). Với mẫu mà các thành viên đồng thuận, kết luận như nhau dù chọn mô hình nào nên không có gì để học, nhưng với mẫu mà các thành viên chia rẽ, biết nhãn của nó sẽ thu hẹp mạnh "tập giả thuyết có thể sống sót". Mức bất đồng được đo bằng entropy phiếu (vote entropy) hoặc độ phân kỳ KL giữa phân phối của từng thành viên và phân phối dự đoán trung bình. Hội đồng được lập bằng bagging/boosting ([[ensemble-learning]]) hoặc bằng các khởi tạo và siêu tham số khác nhau, và trong học sâu các mẫu ensemble, dropout thực chất đóng vai trò hội đồng.

Truy vấn theo hội đồng về mặt lịch sử là chiến lược đặt nền móng lý thuyết cho học chủ động; dưới điều kiện lý tưởng khi không gian phiên bản giảm một nửa sau mỗi truy vấn, có thể chứng minh rằng số truy vấn cần thiết giảm theo thang logarit. Mô hình thực tế không thỏa mãn hoàn toàn lý tưởng này, nhưng trực giác "bất đồng chính là thông tin" vẫn còn hiệu lực, được nối tiếp vào ensemble sâu và xấp xỉ Bayes ngày nay.

Ưu điểm thực tiễn của QBC nằm ở chỗ ít bị cuốn theo thiên lệch của một mô hình cụ thể. Bất định của một mô hình đơn lẻ kế thừa nguyên vẹn thiên lệch quy nạp (inductive bias) của mô hình đó, nhưng một hội đồng không đồng nhất phơi bày điểm mù của nhau như thể kiểm chứng chéo. Tuy nhiên, chi phí huấn luyện và duy trì hội đồng mỗi vòng được cộng thêm, và nếu các thành viên quá giống nhau (tương quan cao) thì tín hiệu bất đồng yếu đi và thực chất thoái hóa thành lấy mẫu bất định. Do đó đảm bảo đa dạng giữa các thành viên là mấu chốt thành bại của QBC, và việc trộn các tập con đặc trưng khác nhau (feature bagging) hoặc các mô hình khác cấu trúc được khuyến nghị.

C. Dựa trên tác động kỳ vọng (Expected Model Change, Error Reduction)

Chiến lược này ước lượng trực tiếp "nếu mẫu này được gán nhãn thì mô hình thay đổi lớn đến mức nào". Độ dài gradient kỳ vọng (Expected Gradient Length, EGL) chọn mẫu có kỳ vọng độ lớn gradient sinh ra khi thêm mẫu là lớn nhất. Tiến thêm một bước, giảm sai số kỳ vọng (Expected Error Reduction) chọn mẫu mà khi thêm vào với một nhãn giả định thì giảm nhiều nhất sai số kỳ vọng (hoặc bất định) trên toàn bộ tập chưa gán nhãn còn lại. Về mặt lý thuyết nó nguyên tắc nhất, nhưng vì phải giả định huấn luyện lại trên mỗi ứng viên × mỗi nhãn khả dĩ nên chi phí tính toán khổng lồ, khó dùng cho quy mô lớn hay học sâu nếu không xấp xỉ.

Hiểu biết mà họ này mang lại là "bất định không nhất thiết đồng nghĩa với hữu ích". Dù mô hình phân vân, nếu tác động thực tế của mẫu đó lên ranh giới quyết định là nhỏ, hoặc vùng đó đã học đủ từ các mẫu tương tự, thì giá trị cận biên của nhãn là thấp. Chiến lược dựa trên tác động kỳ vọng trung thành với mục tiêu nhất ở chỗ nó nhắm trực tiếp vào "hiệu quả học kỳ vọng" chứ không phải "sự mơ hồ". Trong thực tế, người ta dùng các biến thể chỉ dùng gradient lớp cuối thay cho huấn luyện lại toàn bộ, hoặc hạ chi phí bằng hàm ảnh hưởng (influence function), xấp xỉ thông tin Fisher.

D. Dựa trên tính đại diện và đa dạng (Representativeness, Diversity)

Trong khi các chiến lược trước tập trung vào "sự mơ hồ của ranh giới", họ này làm cho các mẫu được chọn đại diện và bao phủ toàn bộ phân phối dữ liệu. Chỉ đuổi theo bất định sẽ sinh ra thiên lệch lấy mẫu (sampling bias) khi các mẫu tụ ở một vùng nhất định, nên người ta chọn đều bằng cách chia phân phối với phân cụm (clustering), hoặc tối ưu như kỹ thuật Core-set sao cho "các mẫu được chọn phủ toàn bộ tập chưa gán nhãn trong bán kính r". Một trong các chiến lược hỗn hợp thành công nhất trong thực tế, BADGE, áp dụng k-means++ lên các embedding gradient của lớp cuối mô hình để đạt đồng thời lượng thông tin (độ lớn gradient) và đa dạng (các mẫu cách xa nhau).

Một thế mạnh khác của chiến lược dựa trên tính đại diện là nó cưỡi trực tiếp lên chất lượng của không gian biểu diễn (representation space). Nếu có các embedding được căn chỉnh tốt từ tiền huấn luyện tự giám sát, thì khoảng cách và mật độ trong không gian đó chính là "bao phủ phân phối đến đâu", nên các chiến lược phân cụm, core-set hoạt động tốt hơn nhiều. Ngược lại, ở giai đoạn khởi động nguội ban đầu khi biểu diễn còn nghèo nàn, tín hiệu bất định không đáng tin, nên nhiều đường ống thực tế áp dụng thiết kế hai pha (two-phase) chuyển từ đa dạng dựa trên embedding ở pha 1 sang bất định ở pha 2. Bảng dưới đây so sánh đặc tính của từng chiến lược. Tuy nhiên, bảng chỉ là tóm tắt; căn cứ cho lựa chọn phải tìm trong các nguyên lý ở phần văn xuôi phía trên.

Chiến lược	Định nghĩa lượng thông tin	Chi phí tính toán	Thế mạnh	Điểm yếu
Lấy mẫu bất định	Gần ranh giới (tin cậy, margin, entropy)	Thấp	Đơn giản, nhanh, dễ cài đặt	Dễ tổn thương bởi nhiễu, quá tự tin, thiên lệch
Truy vấn theo hội đồng (QBC)	Bất đồng giữa các thành viên	Trung bình	Không phụ thuộc mô hình, có cơ sở lý thuyết	Chi phí lập và duy trì hội đồng
Tác động kỳ vọng (EGL, EER)	Kỳ vọng thay đổi mô hình, giảm sai số	Rất cao	Nguyên tắc, tối ưu tham lam	Phi thực tế với quy mô lớn hay học sâu
Tính đại diện, đa dạng	Bao phủ phân phối, khử trùng lặp	Trung bình	Mạnh ở lô và giảm thiên lệch	Yếu ở phản ánh sự mơ hồ ranh giới

4. So sánh với học thụ động và các mô thức tương tự

Để hiểu giá trị của học chủ động, so sánh với cái gì là điều quan trọng. So sánh dưới đây không tập trung vào liệt kê đơn thuần mà vào vì sao khác biệt phát sinh.

flowchart LR
  subgraph PASSIVE["Học thụ động (Passive)"]
    P1["Thu thập ngẫu nhiên/toàn bộ"] --> P2["Gán nhãn hàng loạt"] --> P3["Huấn luyện một lần"]
  end
  subgraph ACTIVE["Học chủ động (Active)"]
    A1["Nhãn ban đầu nhỏ"] --> A2["Truy vấn lượng thông tin"] --> A3["Gán nhãn chọn lọc"] --> A4["Huấn luyện lại lặp"]
    A4 --> A2
  end
  style ACTIVE fill:#e8f0fe,stroke:#2f6fed

Học thụ động (passive) rút dữ liệu ngẫu nhiên và gán nhãn toàn bộ. Nó có ưu điểm cài đặt đơn giản và không thiên lệch phân phối, nhưng tiêu cùng chi phí cả cho các mẫu dễ mà mô hình đã biết rõ, nên hiệu quả nhãn thấp. Trong các benchmark điển hình, thường có báo cáo rằng học chủ động đạt cùng độ chính xác với ít hơn 30–60% nhãn so với ngẫu nhiên. Dẫu vậy, phải nói rõ rằng "nếu dữ liệu đã đủ và nhãn rẻ" thì học thụ động an toàn và nhanh hơn. Học chủ động chỉ có lợi so với đầu tư khi chi phí gán nhãn chiếm ưu thế.

Hãy ước lượng lợi ích bằng con số đơn giản. Ở bài toán mà thu thập ngẫu nhiên cần 100.000 mẫu để đạt độ chính xác mục tiêu, nếu học chủ động tạo mức giảm 40% thì đạt cùng hiệu năng với 60.000 mẫu. Với đơn giá nhãn mỗi mẫu là 1.000 won, đó là mức tiết kiệm trực tiếp 40 triệu won, và ở các lĩnh vực mà đơn giá mỗi mẫu là hàng chục nghìn won như đọc phim của bác sĩ chuyên khoa, quy mô tiết kiệm lớn hơn nhiều. Tất nhiên, lợi nhuận ròng chỉ có sau khi trừ các chi phí thêm là tính toán chiến lược truy vấn, huấn luyện lại lặp và vận hành vòng lặp, nên ở các bài toán có đơn giá nhãn thấp và dữ liệu dồi dào, cán cân này có thể đảo ngược. Quyết định áp dụng phải dựa trên phân tích điểm hòa vốn (break-even) này.

Học bán giám sát (semi-supervised) sử dụng dữ liệu chưa gán nhãn theo cách khác. Học bán giám sát để mô hình tự gán nhãn giả (pseudo-label) cho dữ liệu chưa gán nhãn rồi tận dụng, trong khi học chủ động hỏi con người nhãn thật. Hai cái không xung đột mà bổ sung cho nhau, nên kết hợp chủ động và bán giám sát—tự gán nhãn bán giám sát cho các mẫu tự tin và chỉ hỏi con người các mẫu mơ hồ—tối đa hóa hiệu quả dữ liệu. Học tự giám sát (self-supervised) tiền huấn luyện biểu diễn (representation) mà không cần nhãn, là vật bổ sung làm dịu vấn đề khởi động nguội bằng cách cung cấp cho học chủ động "một không gian đặc trưng ban đầu tốt". Khác biệt với học tăng cường là ở tính chất phản hồi: học tăng cường học "chính sách" từ tín hiệu thưởng, còn học chủ động chọn "dữ liệu" qua truy vấn nhãn.

Mặt khác, học chủ động có hai cạm bẫy cấu trúc. Thứ nhất là khởi động nguội (cold start): nếu mô hình ban đầu quá nghèo nàn thì chính phán đoán "cái gì có lượng thông tin lớn" đã sai và chỉ truy vấn những mẫu lạc lõng. Vì vậy được khuyến nghị dùng cách tiếp cận dựa trên đa dạng để phủ rộng phân phối ở các vòng đầu và chuyển sang dựa trên bất định một khi mô hình đã ổn định phần nào, một lịch trình lai (hybrid). Thứ hai là thiên lệch lấy mẫu: nếu tập huấn luyện gom bằng một chiến lược cụ thể bóp méo phân phối thực thì đánh giá của mô hình đó có thể bị ước lượng quá cao hoặc quá thấp. Do đó tập đánh giá nhất thiết phải dùng một tập kiểm thử cố định được bảo đảm ngẫu nhiên, độc lập với vòng lặp học chủ động.

Cạm bẫy thứ ba thường bị bỏ qua là sự phụ thuộc mô hình (model dependency). Dữ liệu gom bằng học chủ động là tập "các mẫu mà mô hình đó mơ hồ vào thời điểm đó", nên nếu sau này thay bằng mô hình có cấu trúc hoàn toàn khác thì dữ liệu đó có thể không tối ưu. Nói cách khác, một tập dữ liệu được tuyển chọn bằng học chủ động gắn kết ngầm với mô hình tại thời điểm thu thập và có tính tái sử dụng thấp. Để làm dịu điều này, hãy đặt mô hình thu thập ở một biểu diễn tổng quát và mạnh nhất có thể (dựa trên tiền huấn luyện tự giám sát), hoặc giữ một phần chiến lược ở dạng dựa trên đa dạng không phụ thuộc mô hình để bảo toàn giá trị tổng quát của dữ liệu.

5. Chuyên sâu: học chủ động trong kỷ nguyên học sâu và mô hình nền tảng

Lý thuyết học chủ động truyền thống phát triển trên tiền đề các mô hình nông như SVM, hồi quy logistic, nhưng học sâu đặt ra ba thách thức mới. Thứ nhất, học sâu khiến huấn luyện lại từng mẫu trở nên phi thực tế, nên truy vấn theo lô là bắt buộc và sự cân nhắc đa dạng đã thấy ở trên trở thành trung tâm. Thứ hai, xác suất softmax của học sâu có xu hướng quá tự tin, bóp méo ước lượng bất định, nên các kỹ thuật tách bất định nhận thức (epistemic uncertainty) qua xấp xỉ Bayes như MC Dropout, ensemble sâu, BALD đã phát triển. Thứ ba, huấn luyện một mô hình khổng lồ từ đầu mỗi vòng với một lượng nhỏ nhãn thì bất ổn, nên sự kết hợp đảm bảo biểu diễn trước bằng tiền huấn luyện tự giám sát rồi chỉ chọn các mẫu tinh chỉnh bằng học chủ động đã trở thành chuẩn mực.

Trong dòng nghiên cứu mới nhất, tinh chỉnh chủ động (active fine-tuning) cũng được chú ý. Khi thích ứng một mô hình tiền huấn luyện khổng lồ vào một lĩnh vực cụ thể, thay vì gán nhãn toàn bộ dữ liệu, chỉ tinh chỉnh một ít mẫu mà mô hình bất định nhất trong quá trình chuyển lĩnh vực thì thu được mức tăng hiệu năng lớn ngay cả với ít nhãn. Điều này đặc biệt mạnh khi kết hợp với các kỹ thuật tinh chỉnh ít mẫu (few-shot) và hiệu quả ([[lora]]) vốn thích ứng chỉ với vài mẫu, và trở thành trục trung tâm của chiến lược thích ứng hiện đại "mô hình khổng lồ + một lượng nhỏ nhãn lĩnh vực được chọn lọc kỹ".

Thay đổi lớn nhất là sự xuất hiện của mô hình nền tảng và LLM. Giờ đây, thay cho con người, "gán nhãn hỗ trợ bởi AI", trong đó một mô hình mạnh đề xuất nhãn ứng viên và con người chỉ kiểm duyệt, đã thành hiện thực. Trong cấu hình này, học chủ động được diễn giải lại thành một chính sách phân bổ human-in-the-loop kiểu "tự động phê duyệt cái mô hình tự tin, chỉ để con người kiểm duyệt cái mơ hồ". Ngoài ra, vì đánh giá so sánh của con người rất đắt trong RLHF và căn chỉnh ưu tiên, thu thập ưu tiên chủ động (active preference learning), vốn truy vấn các cặp phản hồi mà mô hình thưởng bất định nhất, được chú ý như kỹ thuật cốt lõi giảm chi phí dữ liệu căn chỉnh.

Đi sâu thêm một bước, học chủ động hội tụ với các dòng chảy giám sát yếu (weak supervision) và AI lấy dữ liệu làm trung tâm (data-centric AI). Người ta tạo rẻ một khối lượng lớn nhãn nhiễu bằng các hàm gán nhãn hoặc heuristic, rồi để con người tinh lọc chỉ các mẫu mà mô hình bất định nhất hoặc nơi các hàm gán nhãn xung đột. Điều này gặp gỡ quan điểm lấy dữ liệu làm trung tâm "cải thiện dữ liệu một cách hệ thống thay vì đổi mô hình", và học chủ động đóng vai trò động cơ sắp xếp các đối tượng cải thiện theo thứ tự giá trị lớn nhất.

Các ứng dụng công nghiệp cũng phong phú. Động cơ dữ liệu xe tự lái là tiêu biểu: vòng lặp khép kín chọn lọc chỉ các cảnh "trường hợp biên" mà mô hình thất bại hoặc phân vân từ khối nhật ký lái xe khổng lồ thu trên đường, gán nhãn chúng và huấn luyện lại, chính là học chủ động quy mô lớn. Trong ảnh y khoa, chi phí đọc phim của bác sĩ chuyên khoa cực cao, và nhiều nghiên cứu báo cáo cắt giảm gánh nặng đọc phim gấp vài lần bằng cách chỉ truy vấn các lát cắt có bất định cao. Trong phát hiện lỗi sản xuất, truy vấn tập trung một ít mẫu lỗi khắc phục sự mất cân bằng cực đoan. Trong phát hiện gian lận tài chính, chỉ gửi các giao dịch mơ hồ đến điều tra viên để phân bổ tài nguyên điều tra hiệu quả. Điểm chung của các trường hợp này là "tài nguyên gán nhãn và kiểm duyệt hữu hạn và đắt đỏ", và học chủ động vận hành như nguyên lý phân bổ các tài nguyên đó cho các mẫu có giá trị nhất.

Dẫu vậy, không được kết luận rằng học chủ động sâu luôn thắng ngẫu nhiên. Một số nghiên cứu benchmark đã báo cáo rằng, dưới các điều kiện có tăng cường dữ liệu mạnh và tiền huấn luyện tự giám sát, lợi ích của học chủ động không khác mấy so với lấy mẫu ngẫu nhiên, hoặc thậm chí thua kém tùy chiến lược. Tức là lợi ích của học chủ động nhạy cảm với tổ hợp dữ liệu, mô hình, tăng cường và ngân sách, và cần sự thận trọng kiểm chứng trước bằng một benchmark độc lập xem "có thực sự có lợi cho bài toán của chúng ta không". Vì sự bất định này, tầm quan trọng của một giao thức đánh giá có thể tái lập (cùng tập ban đầu, cùng tập kiểm thử, trung bình qua nhiều seed) được nhấn mạnh.

6. Các cân nhắc và hàm ý

Học chủ động, trước khi là một kỹ thuật thuật toán, là một hệ thống vận hành trong đó tổ chức gán nhãn, ngân sách, chất lượng và quản trị gắn kết với nhau. Từ góc nhìn Kỹ sư chuyên nghiệp, phải cân nhắc không chỉ độ chính xác của mô hình mà cả lợi ích so với đầu tư nhãn, kiểm soát thiên lệch, thiết kế cộng tác người–mô hình, và khả năng vận hành liên tục. Các vấn đề cốt lõi cần kiểm tra khi áp dụng như sau.

Tính khả thi và phán đoán ROI: học chủ động không miễn phí. Tính toán chiến lược truy vấn, huấn luyện lại lặp, hạ tầng gán nhãn và vận hành vòng lặp đều phát sinh chi phí kỹ thuật. Lợi nhuận ròng chỉ đến khi chi phí gán nhãn chiếm tỷ trọng áp đảo của tổng và kho chưa gán nhãn đủ lớn. Nếu nhãn rẻ hoặc dữ liệu đã đủ thì học thụ động hợp lý hơn, và phải quyết định áp dụng sau khi cân nhắc định lượng sự đánh đổi này.
Thiên lệch lấy mẫu và độ tin cậy của đánh giá: tập huấn luyện gom bằng học chủ động về bản thiết kế đã lệch phân phối, nên "đánh giá" mô hình trên dữ liệu này sẽ bóp méo hiệu năng. Phải luôn kiểm định bằng một tập kiểm thử cố định ngẫu nhiên độc lập với vòng lặp, và trong giai đoạn khởi động nguội dùng các chiến lược dựa trên đa dạng để bảo đảm bao phủ phân phối và ngăn tích lũy thiên lệch.
Chất lượng oracle và thiết kế human-in-the-loop: người gán nhãn mắc lỗi do mệt mỏi, chủ quan và chênh lệch chuyên môn. Phải thiết kế gán nhãn trùng lặp và đồng thuận (consensus), ước lượng độ tin cậy của người gán nhãn, và một lộ trình leo thang đến chuyên gia cho các mẫu mơ hồ, và UX truy vấn (bao nhiêu mẫu một lần, trình bày bối cảnh gì) chi phối chất lượng nhãn và thông lượng. Trong kỷ nguyên gán nhãn hỗ trợ bởi AI, đặt ranh giới giữa tự động phê duyệt và kiểm duyệt của con người ở đâu là đòn bẩy cốt lõi của chất lượng và chi phí.
Điều kiện dừng và quản trị vận hành: phải định nghĩa trước khi nào dừng vòng lặp (bão hòa hiệu năng, cạn ngân sách, sụt lượng thông tin cận biên) mới ngăn được đầu tư quá mức. Ngoài ra, để ứng phó với sự trôi phân phối (drift) sau triển khai, nên mở rộng vòng lặp học chủ động thành một hệ thống vận hành liên tục (continual), và lưu lại lịch sử mẫu nào được truy vấn và vì sao mới bảo đảm phả hệ dữ liệu và khả năng truy vết kiểm toán ([[data-lineage]]), khiến nó phòng thủ được từ góc độ quy định và chất lượng.
Sự phù hợp theo tình huống của lựa chọn chiến lược: thay vì dựa vào một chiến lược đơn lẻ, một thiết kế với chuyển đổi theo giai đoạn—đa dạng/tính đại diện ở đầu, bất định sau khi ổn định, và chiến lược hỗn hợp kiểu BADGE cho truy vấn theo lô—là bền vững nhất trong thực tế. Vì hiệu quả của một chiến lược thay đổi theo đặc tính mô hình và dữ liệu, nên đo trước đường cong hiệu quả nhãn theo từng chiến lược bằng một thử nghiệm quy mô nhỏ.
Khả năng tái sử dụng dữ liệu và tài sản hóa: vì dữ liệu được tuyển chọn bằng học chủ động có thể gắn kết với mô hình tại thời điểm thu thập và có tính tái sử dụng thấp, nên trộn một phần chiến lược đa dạng không phụ thuộc mô hình và lưu lịch sử thu thập, căn cứ dưới dạng siêu dữ liệu để quản lý nó như một tài sản dữ liệu có thể tái sử dụng của tổ chức. Đây là cân nhắc chiến lược kết nối với MLOps và quản trị dữ liệu về lâu dài.

Tài liệu tham khảo

Burr Settles, "Active Learning Literature Survey," University of Wisconsin-Madison, CS Technical Report 1648. https://minds.wisconsin.edu/handle/1793/60660
Ash et al., "Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds (BADGE)," ICLR 2020. https://arxiv.org/abs/1906.03671
Sener & Savarese, "Active Learning for Convolutional Neural Networks: A Core-Set Approach," ICLR 2018. https://arxiv.org/abs/1708.00489
Gal et al., "Deep Bayesian Active Learning with Image Data (BALD)," ICML 2017. https://arxiv.org/abs/1703.02910

Tóm tắt một câu: Học chủ động là một vòng lặp khép kín trong đó bộ học tự chọn các mẫu chưa gán nhãn có lượng thông tin lớn nhất để truy vấn con người và huấn luyện lại, kết hợp các chiến lược bất định, hội đồng, tác động kỳ vọng và đa dạng tùy tình huống—một mô thức bán giám sát lấy hiệu quả dữ liệu làm trung tâm nhằm đạt hiệu năng mục tiêu với chi phí gán nhãn tối thiểu.