Học chuyển giao (Transfer Learning)
1. Tổng quan
A. Định nghĩa
Một mô hình (paradigm) học máy trong đó tri thức và biểu diễn (Representation) thu được từ việc học trên dữ liệu quy mô lớn ở một tác vụ (Source Task) được chuyển giao (Transfer) và tái sử dụng cho một tác vụ khác (Target Task) nơi dữ liệu khan hiếm hoặc khó học, qua đó đạt hiệu năng cao với ít dữ liệu và chi phí.
Tiền đề của học chuyển giao là quan sát rằng "các biểu diễn ở mức thấp được chia sẻ ngay cả giữa các tác vụ khác nhau." Các đặc trưng nền tảng như cạnh và kết cấu của ảnh, hay ngữ pháp và nghĩa của từ trong ngôn ngữ, đều có thể tái sử dụng dù tác vụ thay đổi. Do đó, thay vì học từ đầu (from scratch) mỗi lần, ta lấy tri thức tổng quát mà một mô hình đã học sẵn làm điểm xuất phát và chỉ bổ sung phần mà tác vụ mục tiêu cần. Điều này được ví như người biết tiếng Anh học tiếng Tây Ban Nha nhanh hơn, và với ý nghĩa "tái sử dụng việc học" nó đã trở thành động lực cốt lõi đưa học sâu vào ứng dụng thực tiễn.
Giả thuyết "chia sẻ biểu diễn" này được giải thích bằng cấu trúc phân tầng của mạng nơ-ron. Các tầng dưới của mạng sâu học các mẫu phổ quát, cục bộ của đầu vào, còn các tầng trên càng lên cao càng học các mẫu trừu tượng, đặc thù theo tác vụ. Do vậy các tầng dưới được tái sử dụng gần như nguyên vẹn giữa các tác vụ, và chuyển giao về bản chất là công việc "kế thừa các biểu diễn dưới có thể chia sẻ và xây dựng lại chỉ các biểu diễn trên đặc thù theo tác vụ." Sự thấu hiểu về cấu trúc này là cơ sở lý thuyết cho chiến lược "đóng băng hay học lại tầng nào" ở phần sau.
B. Bối cảnh ra đời và sự cần thiết
Học có giám sát truyền thống giả định rằng "dữ liệu học và dữ liệu kiểm thử đến từ cùng phân phối, và mỗi tác vụ có đủ nhãn." Tuy nhiên các lĩnh vực y tế, sản xuất, tài chính thực tế có chi phí gán nhãn lớn, dữ liệu khan hiếm, và phân phối thay đổi thường xuyên. Việc thu thập hàng triệu mẫu cho mỗi tác vụ để huấn luyện một mô hình khổng lồ từ đầu là phi thực tế đối với hầu hết tổ chức. Học chuyển giao lấp khoảng trống này. Nó coi một mô hình đã học sẵn trên dữ liệu dồi dào như ImageNet hay một kho ngữ liệu lớn là tài sản dùng chung, và thích nghi nó với tác vụ mục tiêu chỉ bằng một lượng nhỏ dữ liệu.
Xu hướng này bùng nổ sau năm 2012, khi AlexNet xác nhận rằng đặc trưng CNN chuyển giao tốt sang các tác vụ thị giác khác, và trở thành chuẩn mực trên thực tế vào khoảng năm 2018 khi mô hình tiền huấn luyện-tinh chỉnh (Pre-train & Fine-tune) của BERT, GPT và các mô hình khác thống trị xử lý ngôn ngữ tự nhiên. Các mô hình nền tảng và LLM ngày nay đều là sản phẩm của học chuyển giao quy mô lớn, và trong thực tiễn "xây dựng một mô hình" thường mang nghĩa gần với "chuyển giao một mô hình tiền huấn luyện công khai."
Có thể tóm tắt sự cần thiết thành ba điểm. Thứ nhất là tính kinh tế: chỉ một số ít tổ chức có vốn và dữ liệu để huấn luyện mô hình khổng lồ từ đầu, nên phần còn lại buộc phải dựa vào chuyển giao. Thứ hai là tốc độ: khi thời gian ra thị trường là lợi thế cạnh tranh cốt lõi, hàng tuần đến hàng tháng của việc học từ đầu là khó chấp nhận. Thứ ba là chất lượng: để đảm bảo độ chính xác cao chỉ với ít dữ liệu, mượn sức mạnh của tri thức tổng quát mà tiền huấn luyện nắm giữ là cách chắc chắn nhất. Ba trục này kết hợp đã nâng học chuyển giao từ "kỹ thuật có thì tốt" thành "tiền đề không có thì không thành."
C. Đặc điểm
Học chuyển giao mang lại ba lợi ích thực tiễn: ① hiệu quả dữ liệu (hội tụ với ít nhãn), ② tăng tốc độ học (xuất phát từ khởi tạo tốt), và ③ cải thiện tổng quát hóa (tri thức tiên nghiệm dồi dào kiềm chế quá khớp). Ba lợi ích này vận hành đan xen vào nhau. Xuất phát từ khởi tạo tốt sẽ bắt đầu tối ưu hóa ở vùng thuận lợi hơn của hàm mất mát nên hội tụ với ít lần lặp (tốc độ); trong quá trình đó nó tìm được nghiệm ổn định dù chỉ với ít dữ liệu (hiệu quả); và tri thức tổng quát mà tiền huấn luyện nắm giữ đóng vai trò như một dạng chính quy hóa ngầm, kiềm chế quá khớp (tổng quát hóa).
Mặt khác, nếu tác vụ nguồn và đích khác nhau quá mức, nó tiềm ẩn rủi ro chuyển giao tiêu cực (Negative Transfer) làm hiệu năng thực sự sụt giảm. Ngoài ra, thiên lệch và lỗ hổng chứa trong một mô hình tiền huấn luyện bên ngoài có thể lan truyền trực tiếp vào dịch vụ đích, nên chuyển giao vừa là "tái sử dụng tri thức" vừa là "tái sử dụng rủi ro." Do đó học chuyển giao phải được xử lý không như một lợi ích vô điều kiện mà như một bài toán ra quyết định thiết kế bao gồm chọn nguồn, phạm vi chuyển giao và kiểm định.
2. Cấu trúc và phân loại học chuyển giao
flowchart LR
subgraph S["Miền nguồn (dữ liệu quy mô lớn)"]
SD["Source Data"] --> PT["Mô hình tiền huấn luyện<br/>Pre-trained Model"]
end
PT -->|"Chuyển giao tri thức/trọng số"| TM["Mô hình đích"]
subgraph T["Miền đích (dữ liệu quy mô nhỏ)"]
TD["Target Data"] --> TM
TM --> OUT["Hiệu năng tác vụ đích"]
end
style PT fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
style TM fill:#fef3e8,stroke:#ed8a2f,stroke-width:2px
Học chuyển giao được cấu trúc hóa quanh ba câu hỏi: "Chuyển giao cái gì (What), như thế nào (How), và khi nào (When)." Tùy theo chuyển giao cái gì, nó chia thành chuyển giao thể hiện, biểu diễn đặc trưng, tham số và tri thức quan hệ; tùy theo chuyển giao như thế nào, nó tách thành loại trích xuất đặc trưng và loại tinh chỉnh. Khi nào "không nên" chuyển giao gắn trực tiếp với bài toán tránh chuyển giao tiêu cực.
Phân loại theo việc miền và tác vụ có đồng nhất hay không thì được như dưới đây. Phân loại này quan trọng vì tính khả dụng của nhãn và sự khác biệt phân phối quyết định kỹ thuật nào được áp dụng. Chẳng hạn nếu hoàn toàn không có nhãn thì thích ứng miền (không giám sát) hữu hiệu; nếu có dù chỉ một ít nhãn thì tinh chỉnh hữu hiệu.
| Loại | Miền | Tác vụ | Tình huống tiêu biểu |
|---|---|---|---|
| Chuyển giao quy nạp (Inductive) | Giống/tương tự | Khác | Có nhãn đích — tinh chỉnh sau tiền huấn luyện |
| Chuyển giao chuyển dẫn (Transductive) | Khác | Giống | Không có nhãn đích — Thích ứng miền (Domain Adaptation) |
| Chuyển giao không giám sát (Unsupervised) | Khác | Khác | Cả hai phía đều khan nhãn — tập trung học biểu diễn |
A. Phương thức trích xuất đặc trưng (Feature Extraction)
Phương thức này đóng băng (Freeze) mô hình tiền huấn luyện và chỉ học mới lớp phân loại cuối (Head). Nó dùng đầu ra tầng trung gian của mô hình (embedding) như một bộ trích xuất đặc trưng cố định; vì học rất ít tham số nên nó phù hợp khi dữ liệu rất khan hiếm hoặc khi lo ngại quá khớp. Ví dụ, trong phân loại ảnh y tế chỉ có vài trăm ảnh, chỉ cần trích đặc trưng từ một CNN tiền huấn luyện ImageNet rồi đưa vào hồi quy logistic/SVM cũng đã đạt hiệu năng đáng kể.
Lý do phương thức này mạnh với ít dữ liệu là tham số phải học bị giới hạn ở một lớp phân loại, nên chính bậc tự do để mô hình ghi nhớ thuộc lòng là nhỏ. Chi phí tính toán cũng thấp, mang lại lợi thế thực tiễn là lưu đệm (cache) embedding đã trích một lần để lặp nhanh nhiều thí nghiệm. Tuy nhiên nếu phân phối nguồn và đích khác nhau nhiều, đặc trưng cố định không hợp với đích và gặp giới hạn; khi đó cần một dung hòa—chuyển sang tinh chỉnh hoặc giải phóng có chọn lọc các tầng trung gian.
B. Phương thức tinh chỉnh (Fine-tuning)
Phương thức này lấy trọng số tiền huấn luyện làm khởi tạo và học thêm một phần hoặc toàn bộ các tầng. Thông thường các tầng dưới gần đầu vào, nắm giữ đặc trưng tổng quát (cạnh, hình dạng), được đóng băng, còn các tầng trên gần đầu ra, nắm giữ đặc trưng đặc thù theo tác vụ, được học lại. Dữ liệu càng nhiều thì các tầng được giải phóng để học càng sâu, và quy tắc chuẩn ở đây là giữ tốc độ học nhỏ (để tránh phá hủy tri thức tiên nghiệm). Tinh chỉnh có trần hiệu năng cao hơn trích xuất đặc trưng nhưng mang rủi ro quá khớp và quên thảm họa lớn hơn.
C. Thích ứng miền (Domain Adaptation)
Nó xử lý tình huống tác vụ giống nhau nhưng phân phối dữ liệu khác nhau (dịch chuyển hiệp biến, Covariate Shift). Ý tưởng cốt lõi là căn chỉnh (Align) phân phối đặc trưng của hai miền để học một biểu diễn bất biến theo miền (Domain-Invariant). Tiêu biểu, DANN (Domain-Adversarial Neural Network) đặt một bộ phân biệt miền theo kiểu đối kháng, dẫn dắt bộ trích đặc trưng tạo ra biểu diễn mà "không phân biệt được là nguồn hay đích." Ví dụ, nó được dùng để thích nghi một mô hình nhận thức lái tự động đã học trên cảnh đường ban ngày sang môi trường ban đêm hoặc mưa (đích).
Thích ứng miền quan trọng vì phân phối trong thực tế không cố định. Khi cảm biến được thay, mùa thay đổi, hay nhóm người dùng đổi khác, phân phối đầu vào dịch chuyển, và khi đó hiệu năng mô hình gốc sụt giảm mạnh. Các kỹ thuật thích ứng căn chỉnh biểu diễn chỉ dùng phân phối đầu vào của đích dù hoàn toàn không có nhãn đích (không giám sát), nên đặc biệt hữu ích trong môi trường vận hành không thể gán nhãn. Ngoài DANN còn có nhiều họ đa dạng như cực tiểu hóa một khoảng cách thống kê (MMD), hay các phương thức dựa trên sinh biến đổi đặc trưng nguồn sang phong cách đích, và tất cả đều chia sẻ một câu hỏi: "đo và giảm sự khác biệt phân phối như thế nào."
D. Quan hệ với học đa tác vụ và siêu học
Học đa tác vụ thu được biểu diễn chia sẻ bằng cách học nhiều tác vụ đồng thời, tương ứng với "chuyển giao đồng thời" đối lập với "chuyển giao tuần tự" của học chuyển giao. Vì nhiều tác vụ củng cố tín hiệu học của nhau nên mỗi tác vụ tổng quát hóa tốt hơn so với học đơn lẻ, do cấu trúc được chia sẻ giữa các tác vụ đẩy mô hình về một biểu diễn tổng quát hơn. Siêu học (Learning to Learn) học từ nhiều tác vụ "chính phương pháp thích nghi nhanh," thích nghi với tác vụ mới chỉ bằng vài mẫu (Few-shot) (ví dụ: MAML). Cả hai đều thuộc phạm trù rộng của học chuyển giao và được dùng bổ sung cho nhau khi dữ liệu cực kỳ khan hiếm.
Tóm tắt quan hệ của ba khái niệm: học chuyển giao là khái niệm cấp cao "di chuyển tri thức từ một tác vụ sang tác vụ khác," học đa tác vụ là biến thể chia sẻ tri thức đó "đồng thời," và siêu học là biến thể nâng "chính năng lực thích nghi" thành đối tượng chuyển giao. Trong thực tiễn, ba kỹ thuật kết hợp theo tầng: xây dựng một biểu diễn tổng quát qua tiền huấn luyện đa tác vụ quy mô lớn, chuyển giao nó sang từng tác vụ, và chồng siêu học cùng Few-shot lên các tác vụ đuôi dài (long-tail) có cực ít dữ liệu.
3. Quy trình áp dụng và cơ chế cốt lõi
flowchart TD
A["1.Chọn mô hình nguồn<br/>Đánh giá độ tương tự tác vụ"] --> B["2.Quyết chiến lược chuyển giao<br/>Đóng băng vs tinh chỉnh"]
B --> C["3.Điều chỉnh cấu trúc mô hình<br/>Thay head, chọn tầng"]
C --> D["4.Huấn luyện<br/>LR nhỏ, dừng sớm"]
D --> E["5.Đánh giá/kiểm định<br/>Kiểm tra chuyển giao tiêu cực"]
E -->|"Chưa đạt"| B
E -->|"Đạt yêu cầu"| F["6.Triển khai và giám sát"]
style D fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
Thành bại của chuyển giao phụ thuộc vào quyết định "chuyển giao bao nhiêu (How much) và giải phóng ở đâu (Where)." Quyết định này được phán đoán theo hai trục: ① độ tương tự tác vụ của nguồn với đích, và ② quy mô dữ liệu của đích. Chiến lược bốn góc phần tư dưới đây được dùng rộng rãi như một hướng dẫn thực tiễn chuẩn.
| Dữ liệu đích \ Độ tương tự | Tương tự cao | Tương tự thấp |
|---|---|---|
| Ít dữ liệu | Chỉ trích đặc trưng (đóng băng) — tránh quá khớp | Khó — dùng đặc trưng tầng trung gian, kết hợp tăng cường dữ liệu |
| Nhiều dữ liệu | Tinh chỉnh một phần tầng trên | Tinh chỉnh toàn bộ (thực chất chỉ dùng khởi tạo) |
Cơ sở của hướng dẫn này rõ ràng. Khi dữ liệu khan hiếm, giải phóng nhiều tham số sẽ quá khớp nên mở rộng phạm vi đóng băng; khi dữ liệu dồi dào, giải phóng là an toàn nên mở rộng phạm vi tinh chỉnh. Khi độ tương tự thấp, đặc trưng tầng trên không hợp nên phải học lại đến các tầng dưới sâu hơn. Thực tế, một nghiên cứu của Google (Transfusion, 2019) báo cáo rằng tiền huấn luyện ImageNet mang lại ít lợi ích trên các tác vụ có phân phối rất khác như ảnh y tế, và các mô hình tùy biến nhỏ hơn thậm chí cho hiệu năng tương đương—củng cố nguyên lý "khi độ tương tự thấp thì hiệu quả chuyển giao giảm." Đây là trường hợp tiêu biểu cho thấy chiến lược phải thay đổi theo đặc tính miền thay vì áp dụng chuyển giao một cách máy móc.
Cơ chế của giai đoạn huấn luyện cũng quan trọng. Khi tinh chỉnh, người ta dùng tốc độ học nhỏ và dừng sớm (Early Stopping) để tri thức tiên nghiệm không bị phá hủy đột ngột, và giảm nhẹ sự quên bằng các kỹ thuật như tinh chỉnh phân biệt (Discriminative Fine-tuning) (cho tốc độ học khác nhau theo từng tầng) hay giải phóng dần (Gradual Unfreezing) (tăng rồi giảm tốc độ học từ từ ở giai đoạn đầu). Tất cả các kỹ thuật này đều bắt nguồn từ nguyên lý chung "thận trọng tìm kiếm quanh nghiệm tốt mà tiền huấn luyện đã tìm ra."
Lấy một ví dụ cụ thể, hãy xét phân loại lỗi sản phẩm nhà máy ở quy mô 1.000 ảnh. Học từ đầu có thể chững lại ở mức chính xác 70% do quá khớp, nhưng đóng băng các tầng dưới của một ResNet tiền huấn luyện ImageNet và chỉ tinh chỉnh một phần tầng trên thường nâng nó lên trên 90% trên cùng dữ liệu. Tại hiện trường khó tăng dữ liệu gấp mười lần, học chuyển giao trở thành giải pháp thực tế "mượn tri thức thay vì tăng dữ liệu." Ngược lại, nếu nguồn không phù hợp thì lợi ích này biến mất hoặc đảo chiều, nên chọn chiến lược và kiểm định quyết định thành bại.
A. Chuyển giao tiêu cực (Negative Transfer) và giảm nhẹ
Chuyển giao tiêu cực là hiện tượng tri thức nguồn lại làm hại hiệu năng đích. Nó xảy ra khi nguồn và đích không liên quan, hoặc khi nguồn chứa thiên lệch mâu thuẫn với đích. Biện pháp giảm nhẹ gồm ① đo khả năng chuyển giao (Transferability) trước (ví dụ, đánh giá độ phù hợp của nguồn bằng các chỉ số như LEEP hay H-score), ② chọn lọc nguồn có liên quan cao, và ③ điều chỉnh cường độ bảo tồn tri thức tiên nghiệm bằng tốc độ học nhỏ và chính quy hóa. Chẳng hạn, đưa một mô hình từ miền hoàn toàn khác vào phát hiện gian lận tài chính có thể kém hơn học từ đầu, nên luôn phải xác nhận hiệu quả chuyển giao trên tập kiểm định.
Chuyển giao tiêu cực nguy hiểm vì nó khó nhận ra. Khi một mô hình chuyển giao hoạt động ở mức nào đó, nhà phát triển dễ tin rằng "dù sao cũng nhờ chuyển giao," trong khi thực tế học từ đầu có thể đã tốt hơn. Do đó tiêu chí phán đoán hiệu quả chuyển giao luôn phải không phải là "hiệu năng tuyệt đối của mô hình chuyển giao" mà là "lợi ích tương đối so với học từ đầu trong cùng điều kiện." Bỏ qua phép so sánh đối chứng này khiến học chuyển giao đứng trên một giả định chưa được kiểm chứng.
B. Học chuyển giao trong kỷ nguyên LLM
LLM là đỉnh cao của học chuyển giao. Sau tiền huấn luyện tự giám sát trên kho ngữ liệu quy mô web, chúng được thích nghi với các tác vụ hạ nguồn bằng ① tinh chỉnh (SFT, PEFT/LoRA), ② prompt và học trong ngữ cảnh (chuyển giao tại thời điểm suy luận không cập nhật tham số), và ③ chưng cất tri thức (chuyển năng lực từ mô hình lớn sang mô hình nhỏ). Đặc biệt, học trong ngữ cảnh thu hút chú ý như một dạng thức mới khác biệt với học chuyển giao truyền thống ở chỗ nó chuyển giao một tác vụ chỉ từ các ví dụ mà không thay đổi trọng số.
Ba lộ trình này thể hiện sự đánh đổi rõ ràng về chi phí và tính linh hoạt. Tinh chỉnh khắc tri thức vĩnh viễn vào mô hình với tính nhất quán cao nhưng mang gánh nặng huấn luyện và triển khai cho mỗi tác vụ; học trong ngữ cảnh áp dụng được ngay nhưng phải chèn ví dụ ở mỗi lần suy luận, kéo theo chi phí token và giới hạn ngữ cảnh. Chưng cất tri thức hạ chi phí vận hành nhưng chấp nhận mất mát của quá trình chưng cất. Trong thực tiễn, một chiến lược lai "tinh chỉnh cho tác vụ thường xuyên, cố định; prompt cho tác vụ biến thiên, thăm dò" đang dần được xác lập.
Thêm tri thức bên ngoài, RAG (sinh tăng cường truy xuất) là một dạng thức khác của việc "chuyển giao" tri thức mà không thay đổi trọng số mô hình, được dùng rộng rãi như một thay thế hoặc bổ sung cho tinh chỉnh trong môi trường doanh nghiệp nơi tính cập nhật và truy vết nguồn gốc quan trọng. Rốt cuộc, chuyển giao trong kỷ nguyên LLM có thể được xem là đã mở rộng theo hai trục: "chuyển giao thay đổi tham số" và "chuyển giao bơm vào qua ngữ cảnh."
4. So sánh với học máy truyền thống
| Phân loại | Học có giám sát truyền thống | Học chuyển giao |
|---|---|---|
| Giả định dữ liệu | Học/kiểm thử cùng phân phối, đủ nhãn mỗi tác vụ | Cho phép phân phối/tác vụ khác nhau giữa nguồn và đích |
| Điểm xuất phát học | Khởi tạo ngẫu nhiên (from scratch) | Trọng số tiền huấn luyện (warm start) |
| Yêu cầu dữ liệu | Lớn | Có thể với cả ít |
| Rủi ro chính | Quá khớp khi dữ liệu khan | Chuyển giao tiêu cực |
Lý do căn bản khiến khác biệt giữa hai cách tiếp cận nảy sinh là "tri thức được thu nhận mới mỗi lần hay được tái sử dụng." Cách truyền thống độc lập theo từng tác vụ nên dữ liệu và tính toán tăng tuyến tính, còn học chuyển giao tài sản hóa một biểu diễn đã học một lần và hạ chi phí biên. Đây chính là nguyên lý mà tái sử dụng (Reuse) phần mềm nâng cao năng suất, và dưới góc nhìn MLOps, các kho mô hình tiền huấn luyện (như Hugging Face) vận hành như một "hệ sinh thái tái sử dụng mô hình."
Nhìn bằng con số cụ thể thì khác biệt rõ ràng. Học từ đầu đòi hỏi hàng chục nghìn đến hàng triệu nhãn và hàng chục đến hàng trăm giờ GPU cho mỗi tác vụ, trong khi học chuyển giao thường đạt hiệu năng gần tương đương trên cùng tác vụ trong phạm vi hàng trăm đến hàng nghìn nhãn và vài giờ GPU. Nói cách khác, giá trị thực chất của học chuyển giao là cắt giảm dữ liệu và tính toán theo bậc độ lớn trở lên. Tuy nhiên vì sự tiết giảm này chỉ thành lập "khi chọn được nguồn thích hợp," kết luận của phép so sánh được tóm tắt là "chuyển giao không miễn phí mà kéo theo một trách nhiệm thiết kế mới là chọn nguồn."
5. Chuyên sâu — Trường hợp ứng dụng công nghiệp và xu hướng mới nhất
Học chuyển giao đã thâm nhập sâu khắp công nghiệp. Trong y tế, các mô hình tiền huấn luyện trên ImageNet và lượng lớn ảnh X-quang ngực được chuyển giao sang đọc các bệnh hiếm, với các trường hợp được báo cáo đạt gần mức độ chính xác của chuyên gia chỉ từ vài trăm điểm dữ liệu. Trong sản xuất, một mô hình phát hiện lỗi từ một dây chuyền được chuyển giao sang dây chuyền mới hoặc sản phẩm mới, rút ngắn tái huấn luyện từ hàng tuần xuống hàng ngày. Trong tài chính, tiền huấn luyện thích ứng miền (Domain-Adaptive Pre-training) một mô hình ngôn ngữ tổng quát trên tài liệu tài chính, như ở BloombergGPT và dòng KB-ALBERT, là tiêu biểu.
Ngoài ra, xử lý ngôn ngữ tự nhiên nói chung đã chuẩn hóa việc chuyển giao các mô hình tiền huấn luyện dòng BERT và GPT sang hàng chục tác vụ hạ nguồn như phân tích cảm xúc, nhận dạng thực thể có tên và hỏi đáp, và công thức tiền huấn luyện quy mô lớn rồi thích ứng miền cũng lặp lại trong giọng nói, lái tự động và gợi ý. Điểm chung là "hoàn trả tri thức kiếm được trên các tác vụ tổng quát giàu dữ liệu về các tác vụ chuyên biệt nghèo dữ liệu," và cấu trúc hoàn trả này là yếu tố quyết định mở rộng tầm với của AI đến các miền khan dữ liệu.
Tóm lại, học chuyển giao không còn là một kỹ thuật tùy chọn mà đã trở thành phương thức làm việc mặc định trong phát triển AI hiện đại. Giữa xu hướng các mô hình tiền huấn luyện khổng lồ tích lũy thành tài sản công khai, PEFT hạ chi phí thích nghi, và ước lượng khả năng chuyển giao tự động hóa việc chọn nguồn, năng lực AI của một tổ chức về sau có lẽ sẽ được đo ít hơn bằng "nắm bao nhiêu dữ liệu" và nhiều hơn bằng "chuyển giao và vận hành tài sản mô hình dùng chung khéo léo đến đâu."
Xu hướng mới nhất: thứ nhất, chuyển giao lấy mô hình nền tảng làm trung tâm đã trở nên phổ biến, với "tiền huấn luyện khổng lồ → thích nghi nhẹ" là công thức mặc định xuyên suốt thị giác, ngôn ngữ và đa phương thức. Thứ hai, với PEFT (LoRA, QLoRA, Adapter) chỉ học khoảng 1% tổng số tham số, chuyển giao trở nên khả thi ngay cả trên một GPU đơn, hạ mạnh rào cản chi phí của chuyển giao. Thứ ba, nghiên cứu ước lượng khả năng chuyển giao (Transferability Estimation) sôi động, đề xuất các chỉ số (LEEP, LogME, v.v.) dự đoán trước khi huấn luyện nên đưa vào mô hình tiền huấn luyện nào trong số rất nhiều. Thứ tư, học liên kết và chuyển giao bảo toàn quyền riêng tư đang nổi lên, với hướng chuyển giao chỉ tri thức mô hình mà không chia sẻ dữ liệu gốc thu hút chú ý trong môi trường y tế và tài chính bị quản chế.
Tại Hàn Quốc, học chuyển giao cũng đang tự khẳng định như một nền tảng cốt lõi của AI công và công nghiệp. Chẳng hạn, các mô hình tiền huấn luyện chuyên tiếng Hàn (KoBERT, KoGPT, KB-ALBERT, v.v.) là các trường hợp chuyển giao tiêu biểu của tiền huấn luyện thích ứng miền trên kho ngữ liệu tiếng Hàn nhằm tránh sự sụt giảm hiệu năng khi dùng nguyên các mô hình lấy tiếng Anh làm trung tâm. Ngoài ra, chuyển giao sang các tác vụ ít nhãn bằng AI Hub và dữ liệu công được khuyến nghị như một phương tiện hạ chi phí áp dụng AI cho doanh nghiệp vừa và nhỏ cùng các cơ quan công. Theo cách này, học chuyển giao vận hành như một cầu nối tới phổ cập hóa AI kết nối "số ít sở hữu mô hình khổng lồ" với "số đông có ít dữ liệu."
6. Điểm cần cân nhắc và hàm ý
Dưới góc nhìn Kỹ sư chuyên nghiệp, cần cân nhắc toàn diện những điều sau khi áp dụng học chuyển giao.
- Kiểm định trước khả năng chuyển giao (chiến lược áp dụng): Đánh giá độ tương tự nguồn-đích và các chỉ số khả năng chuyển giao trước khi huấn luyện, và nhất thiết xác nhận hiệu năng so với học từ đầu trên tập kiểm định để loại trừ chuyển giao tiêu cực. Coi giả định "mô hình tiền huấn luyện thì luôn tốt hơn" là điều cấm kỵ.
- Đánh đổi dữ liệu/tính toán: Quyết phạm vi đóng băng/tinh chỉnh theo quy mô dữ liệu và độ tương tự của đích. Với ít dữ liệu, lấy việc tránh quá khớp qua đóng băng là chính cùng chính quy hóa mạnh; với nhiều dữ liệu, lấy trần hiệu năng qua mở rộng tinh chỉnh. Ưu tiên xem xét thiết kế cực tiểu hóa chi phí tính toán và lưu trữ bằng PEFT.
- Quản trị, giấy phép, an ninh: Mô hình tiền huấn luyện bên ngoài mang rủi ro về nguồn gốc dữ liệu huấn luyện, giấy phép, thiên lệch và cửa hậu. Bảo đảm khả năng truy vết ở mức Model Card và SBOM, và dưới góc nhìn an ninh chuỗi cung ứng chỉ dùng các kho mô hình đáng tin cậy. Chạy song song đánh giá tính công bằng để thiên lệch được chuyển giao không lan truyền vào dịch vụ đích.
- Vận hành liên tục và ứng phó dịch chuyển phân phối (triển vọng): Vì hiệu quả chuyển giao có thể giảm do trôi (drift) phân phối dữ liệu sau triển khai, hãy nội tại hóa chu kỳ giám sát và tái tinh chỉnh (Re-fine-tuning) vào đường ống MLOps. Về lâu dài, kết hợp với mô hình nền tảng, học liên kết và siêu học, nó được kỳ vọng tiến hóa thành một AI thích nghi liên tục thích nghi nhanh ngay cả dưới ràng buộc ít dữ liệu và quyền riêng tư.
- Năng lực nhân sự và tổ chức (triển vọng): Vì lợi ích thực chất của học chuyển giao phụ thuộc vào năng lực phán đoán "thích nghi mô hình tiền huấn luyện nào và như thế nào," tổ chức phải nội tại hóa bí quyết chọn mô hình, đánh giá khả năng chuyển giao và tinh chỉnh. Trọng tâm của các tổ chức AI đang dịch chuyển về hướng năng lực xử lý tài sản mô hình, chứ không phải bản thân dữ liệu, trở thành lợi thế cạnh tranh.
- Công nghệ liên đới: Nó gắn chặt với tinh chỉnh (PEFT/LoRA), mô hình nền tảng, học tự giám sát, học liên kết, chưng cất tri thức và thích ứng miền, và điểm then chốt là kết hợp chúng để thiết kế một chiến lược chuyển giao tối ưu phù hợp với ràng buộc dữ liệu, pháp lý và chi phí của tổ chức.
Tài liệu tham khảo
- Pan & Yang, "A Survey on Transfer Learning", IEEE TKDE, 2010: https://ieeexplore.ieee.org/document/5288526
- Ganin et al., "Domain-Adversarial Training of Neural Networks(DANN)", JMLR, 2016: https://jmlr.org/papers/v17/15-239.html
- Raghu et al., "Transfusion: Understanding Transfer Learning for Medical Imaging", NeurIPS, 2019: https://arxiv.org/abs/1902.07208
- Hugging Face, "Transfer Learning / Fine-tuning": https://huggingface.co/docs/transformers/training
- Yosinski et al., "How transferable are features in deep neural networks?", NeurIPS, 2014: https://arxiv.org/abs/1411.1792
Tóm tắt một câu: Học chuyển giao là một mô hình tái sử dụng các biểu diễn đã học từ dữ liệu quy mô lớn cho một tác vụ mới có ít dữ liệu, chọn các chiến lược trích xuất đặc trưng, tinh chỉnh và thích ứng miền theo quy mô dữ liệu và độ tương tự tác vụ, nhưng luôn phải kiểm định đối với chuyển giao tiêu cực.