Kỹ sư QLTT Ghi chú ôn thi
← Về danh sách
AI & Dữ liệu
#자기지도학습#SSL#표현학습#대조학습#마스킹모델링
Cập nhật lần cuối · 2026-10-17

Học tự giám sát (Self-Supervised Learning)

1. Tổng quan

A. Định nghĩa

Học tự giám sát (Self-Supervised Learning, SSL) là một mô hình học máy học biểu diễn (representation) bằng cách tự tạo ra tín hiệu giám sát (supervisory signal) từ chính cấu trúc của dữ liệu, mà không cần nhãn do con người gán. Mô hình được huấn luyện để che hoặc biến đổi một phần đầu vào rồi dự đoán phần bị che, bản gốc hoặc mối quan hệ từ phần còn lại; biểu diễn tổng quát thu được theo cách này sau đó được tinh chỉnh (fine-tuning) với một lượng nhỏ nhãn hoặc chuyển giao trực tiếp (frozen) sang các tác vụ hạ nguồn.

Bối cảnh căn bản cho sự xuất hiện của SSL nằm ở giới hạn "chi phí gán nhãn" của học có giám sát. Hiệu năng của học sâu tăng tỉ lệ với quy mô dữ liệu, nhưng dữ liệu do con người gán nhãn thủ công — như ImageNet cho phân loại ảnh — tốn vô cùng nhiều thời gian, chi phí và chuyên môn để tạo ra. Gán nhãn bệnh lý cho ảnh y khoa đòi hỏi bác sĩ chuyên khoa, và điều tương tự cũng đúng với giọng nói, văn bản và nhật ký cảm biến công nghiệp. Ngược lại, dữ liệu thô (raw data) không nhãn — văn bản web, video YouTube, nhật ký quy trình — tồn tại với số lượng gần như vô hạn. SSL là phương pháp trích "nhãn miễn phí (free label)" từ khối dữ liệu không nhãn dồi dào này, đi vòng qua nút thắt gán nhãn để cho phép tiền huấn luyện quy mô lớn.

Một bối cảnh khác là khả năng chuyển giao của học biểu diễn (representation learning). Thay vì huấn luyện mô hình từ đầu cho mỗi tác vụ, nếu cấu trúc tổng quát của dữ liệu được học sâu một lần, biểu diễn đó có thể được tái sử dụng cho nhiều tác vụ hạ nguồn. SSL chính là động cơ cốt lõi tạo ra "biểu diễn tổng quát được học sâu một lần" này, và ngày nay cả các mô hình ngôn ngữ lớn như GPT và BERT lẫn các mô hình nền thị giác như CLIP và DINO đều đứng trên nền tiền huấn luyện tự giám sát.

Về mặt lịch sử, sự trỗi dậy của SSL cũng là một bước ngoặt của mô hình học sâu. Nếu thành công của thị giác trong thập niên 2010 nhờ vào dữ liệu "có nhãn" quy mô lớn như ImageNet, thì dòng chảy trong xử lý ngôn ngữ tự nhiên quanh năm 2018 chạy theo word2vec → ELMo → BERT·GPT đã chứng minh rằng có thể thu được biểu diễn mạnh hơn "chỉ từ các kho ngữ liệu lớn không nhãn." Thành công này sớm được nhập ngược trở lại thị giác, dẫn đến SimCLR, MAE và DINO, và cuối cùng được thiết lập như một chiến lược chung cắt ngang các modality. Nói ngắn gọn, SSL tượng trưng không phải cho một kỹ thuật cụ thể mà cho sự chuyển hướng của học sâu rời khỏi sự phụ thuộc vào nhãn sang học từ chính dữ liệu.

B. Sự cần thiết và đặc điểm

Các lý do khiến SSL tự khẳng định là công nghệ nền tảng của AI hiện đại có thể được sắp xếp thành ba. Thứ nhất, hiệu quả dữ liệu và khả năng mở rộng. Quy mô dữ liệu có thể tăng lên hàng tỉ hoặc hàng nghìn tỉ token mà không cần gán nhãn, khiến nó trở thành tiền đề cho việc huấn luyện mô hình lớn nơi "quy luật mở rộng (scaling law)" vận hành. Thứ hai, khả năng chuyển giao của biểu diễn tổng quát. Một biểu diễn đã tiền huấn luyện thích nghi với nhiều tác vụ hạ nguồn đa dạng — phân loại, truy xuất, phát hiện, sinh — chỉ với một lượng nhỏ nhãn, nên đặc biệt có giá trị ở các lĩnh vực khan hiếm dữ liệu (y tế, sản xuất, tài chính). Thứ ba, sự tương đồng với nhận thức của con người. Con người học quy luật bằng cách quan sát thế giới mà không có bảng đáp án tường minh, và SSL hiện thực hóa "học bằng quan sát" này trong máy; Yann LeCun đã mô tả nó là "vật chất tối của trí tuệ (dark matter of intelligence)."

Nhìn kỹ hơn một chút vào các đặc điểm, điểm quyết định là SSL thuộc về học không giám sát nhưng lại mượn hình thức của học có giám sát. Trong khi học không giám sát truyền thống như phân cụm và giảm chiều dừng lại ở "khám phá cấu trúc mà không có đáp án", SSL tự động sinh các cặp (đầu vào, đáp án) từ dữ liệu và học với khung dự đoán-mất mát-lan truyền ngược hệt như học có giám sát. Do đó nó được gọi là kiểu học "không có nhãn nhưng có giám sát." Hơn nữa, tác vụ tiền văn bản (pretext task) không phải là mục đích tự thân mà là cái cớ (pretext) để thu được biểu diễn tốt, nên chất lượng thiết kế tác vụ chi phối chất lượng biểu diễn.

SSL cũng khác với học thông thường ở triết lý đánh giá, ở chỗ mục tiêu của nó là hiệu năng chuyển giao của biểu diễn được tạo ra như sản phẩm phụ, chứ không phải hiệu năng trên chính tác vụ tiền văn bản. Thước đo thành công không phải là điền đúng từ trống 95% số lần, mà là biểu diễn thu được hoạt động tốt đến đâu trong phân loại và truy xuất hạ nguồn. Vì lý do này, nghiên cứu trong SSL là một sự khảo sát thiết kế tác vụ đặt câu hỏi "tác vụ nào dẫn dắt ra biểu diễn tốt", và lịch sử tiến bộ từ các tác vụ ban đầu như tô màu và dự đoán góc xoay đến các phương pháp đối chiếu và che bản thân nó là "một quá trình tìm cái cớ tốt hơn."

2. Nguyên lý và cấu trúc học của SSL

Nguyên lý của SSL nằm ở việc "dự đoán một phần dữ liệu từ một phần khác." Nó dự đoán từ tiếp theo của một câu từ các từ đứng trước, hoặc khôi phục một mảnh ảnh bị che từ các điểm ảnh xung quanh. Trong quá trình gỡ rối cấu trúc nội tại của dữ liệu (tương quan ngữ cảnh, không gian và thời gian) theo cách này, mô hình thu được các biểu diễn có ý nghĩa. Toàn bộ pipeline được cấu thành từ một chuỗi liên tục hai giai đoạn: "tiền huấn luyện (pretraining) → đóng băng/chuyển giao biểu diễn → tinh chỉnh hạ nguồn."

flowchart LR
  D["Dữ liệu không nhãn quy mô lớn<br/>(văn bản, ảnh, nhật ký)"] --> A["Sinh tác vụ tự động<br/>(che, tăng cường, phân tách)"]
  A --> PT["Tiền huấn luyện<br/>(Pretext Task)"]
  PT --> E["Bộ mã hóa<br/>(học biểu diễn tổng quát)"]
  E --> R[("Mô hình tiền huấn luyện<br/>Representation")]
  R --> FT["Thích nghi hạ nguồn<br/>(Fine-tuning·Linear Probe)"]
  L["Ít nhãn<br/>(Downstream)"] --> FT
  FT --> T["Phân loại, phát hiện, truy xuất, sinh"]
  style PT fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
  style R fill:#e6f4ea,stroke:#34a853

Điểm đáng lưu ý trong cấu trúc hai giai đoạn này là dữ liệu và mục đích của tiền huấn luyện và của tác vụ hạ nguồn được tách biệt. Tiền huấn luyện học "rộng" từ khối dữ liệu không nhãn lớn bao trùm toàn lĩnh vực, trong khi thích nghi hạ nguồn chuyên biệt hóa "hẹp" với một lượng nhỏ nhãn cho một tác vụ cụ thể. Nhờ sự tách biệt này, một nền kinh tế quy mô nảy sinh trong đó một mô hình tiền huấn luyện được tái sử dụng qua nhiều tác vụ và nhiều tổ chức. Bản chất của nền kinh tế mô hình nền — một cấu trúc trong đó số ít tiền huấn luyện các mô hình khổng lồ và số đông thích nghi và sử dụng chúng — bắt nguồn chính từ sự tách biệt hai giai đoạn này.

Cốt lõi của việc học nằm ở thiết kế tác vụ tiền văn bản (pretext task). Tác vụ phải là loại mà "đáp án có thể được trích tự động từ dữ liệu, nhưng để trả lời đúng đáp án đó đòi hỏi hiểu sâu ý nghĩa của dữ liệu." Ví dụ, điền từ trống của một câu đòi hỏi huy động đồng thời ngữ pháp, tri thức thường thức và ngữ cảnh, nên một mô hình giải tốt tác vụ này sẽ thu được một biểu diễn phong phú về ngôn ngữ. Ngược lại, nếu tác vụ quá dễ (ví dụ một tác vụ giải được chỉ bằng biểu đồ màu), mô hình học một "lối tắt (shortcut)" và biểu diễn trở nên nghèo nàn. Do đó độ khó của tác vụ và phòng ngừa lối tắt là nguyên tắc số một của thiết kế.

Khi tiền huấn luyện hoàn tất, biểu diễn do bộ mã hóa sinh ra được chuyển giao sang tác vụ hạ nguồn. Có hai phương pháp chuyển giao: dò tuyến tính (linear probe), cố định bộ mã hóa và đánh giá chỉ với một bộ phân loại mỏng đặt lên trên, và tinh chỉnh (fine-tuning), huấn luyện lại cả bộ mã hóa. Dò tuyến tính thường được dùng như thước đo chất lượng của chính biểu diễn, còn tinh chỉnh được dùng khi tối đa hóa hiệu năng tác vụ hạ nguồn. Theo cách này, giá trị của SSL được đo bằng "một biểu diễn đã học một lần có thể được tái sử dụng rộng đến đâu với ít nhãn đến đâu."

Nhìn tín hiệu học dưới dạng công thức, hàm mất mát khác nhau theo loại tác vụ. Loại sinh/khôi phục dùng entropy chéo hoặc sai số bình phương trung bình (MSE) để đo khác biệt giữa bản gốc và giá trị khôi phục, trong khi loại đối chiếu dùng InfoNCE, đặt cặp dương ở tử số và cặp âm ở mẫu số để tối đa hóa độ tương đồng tương đối. Một hàm ý thực tiễn quan trọng là giá trị mất mát thấp không bảo đảm biểu diễn tốt. Ví dụ, trong loại phi đối chiếu, biến mọi đầu vào thành cùng một vector hằng sẽ đẩy mất mát về 0 nhưng khiến biểu diễn hoàn toàn vô dụng (sụp đổ). Do đó, trong SSL, thực hành chuẩn là theo dõi các chỉ số chẩn đoán như phương sai, tính đồng đều (uniformity) và tính liên kết (alignment) của biểu diễn song song với đường cong mất mát.

3. Các loại phương pháp luận SSL

Các phương pháp luận SSL được chia rộng, theo cách tạo tín hiệu học, thành loại dự đoán (sinh), loại đối chiếu, loại phi đối chiếu (tự chưng cất), và mô hình hóa che. Sơ đồ kiến trúc chi tiết dưới đây cho thấy các khác biệt về "cách mỗi loại biến đổi, đối chiếu hoặc khôi phục một đầu vào duy nhất."

flowchart TB
  X["Đầu vào gốc x"] --> AUG["Tăng cường/biến đổi dữ liệu"]
  AUG --> V1["Góc nhìn 1 (view)"]
  AUG --> V2["Góc nhìn 2 (view)"]
  V1 --> F1["Bộ mã hóa f"]
  V2 --> F2["Bộ mã hóa f / Động lượng f'"]
  F1 --> Z1["Biểu diễn z1"]
  F2 --> Z2["Biểu diễn z2"]
  Z1 --> OBJ{"Mục tiêu học"}
  Z2 --> OBJ
  OBJ --> C["Đối chiếu: kéo dương, đẩy âm<br/>(InfoNCE)"]
  OBJ --> NC["Phi đối chiếu: khớp hai góc nhìn<br/>(Stop-gradient·EMA)"]
  X --> MASK["Che/làm hỏng"]
  MASK --> DEC["Bộ giải mã khôi phục"]
  DEC --> REC["Khôi phục bản gốc<br/>(mất mát tái tạo)"]
  style OBJ fill:#fff4e5,stroke:#f9a825,stroke-width:2px

A. Loại dự đoán (sinh) — dựa trên tự hồi quy/khôi phục

Loại dự đoán là họ cổ điển nhất nhưng lại mạnh nhất ngày nay. Cốt lõi của nó là tách một phần dữ liệu ra làm "đáp án" và sinh/khôi phục nó từ phần còn lại. Đại diện trong lĩnh vực ngôn ngữ là mô hình ngôn ngữ tự hồi quy (autoregressive LM); họ GPT lặp lại tác vụ đơn giản "dự đoán từ tiếp theo từ các từ đứng trước" trên hàng nghìn tỉ token và thu được ngữ pháp, tri thức và năng lực suy luận trong ngôn ngữ. Vì đáp án (từ tiếp theo) đã có sẵn trong văn bản, tác vụ này không cần nhãn và, một cách quyết định, quy mô dữ liệu có thể tăng không giới hạn.

Trong lĩnh vực thị giác, các tác vụ ban đầu như tô màu (colorization), xếp hình (jigsaw), và dự đoán góc xoay (rotation) đã được đề xuất. Ví dụ, cho mô hình khôi phục màu cho ảnh trắng đen buộc nó phải học tri thức ngữ nghĩa như "bầu trời thì xanh và cỏ thì xanh lục." Tuy nhiên, các tác vụ thủ công (handcrafted) như vậy dễ bị lối tắt và có giới hạn hiệu năng rõ ràng, nên vai trò dẫn dắt sau đó chuyển sang các họ đối chiếu và che. Dù vậy, ý tưởng "dẫn dắt sự hiểu biết thông qua việc sinh" được kế thừa bởi mô hình hóa che về sau.

Hàm ý thực tiễn của loại dự đoán nằm ở khả năng mở rộng. GPT-3 (175 tỉ tham số) và các mô hình kế nhiệm đã làm trỗi dậy (emergence) các năng lực tổng quát bao trùm dịch, tóm tắt, lập trình và suy luận chỉ từ một tác vụ duy nhất là dự đoán từ tiếp theo. Điều này cho thấy bài học cốt lõi của SSL: rằng ngay cả khi tác vụ đơn giản, các biểu diễn phong phú vẫn trỗi dậy khi quy mô dữ liệu và mô hình đủ lớn.

Mặt khác, ngay trong loại dự đoán, lựa chọn giữa một chiều (tự hồi quy) và hai chiều (khôi phục) cũng phân chia sự phù hợp với tác vụ hạ nguồn. Tự hồi quy chỉ thấy "ngữ cảnh bên trái" nên tự nhiên cho việc sinh văn bản, nhưng khôi phục hai chiều có lợi cho các tác vụ phân loại và trích xuất đòi hỏi hiểu toàn bộ câu. Đây là lý do họ GPT mạnh về sinh và họ BERT mạnh về hiểu đã phân nhánh, và gần đây đã xuất hiện các thiết kế lai hợp nhất hai mục tiêu hoặc chuyển đổi giữa chúng theo tình huống. Chọn mục tiêu tiền huấn luyện cho khớp với bản chất của tác vụ (sinh hay hiểu) là một điểm thực tiễn của thiết kế.

B. Học đối chiếu (Contrastive Learning)

Học đối chiếu học biểu diễn bằng hình học khoảng cách "giữ cái giống nhau gần và cái khác nhau xa." Áp dụng các tăng cường khác nhau (cắt, biến đổi màu, làm mờ) lên một ảnh để tạo hai góc nhìn (view) khiến chúng thành một cặp dương (positive pair) vì chúng đến từ cùng bản gốc, trong khi các ảnh khác trong lô là các cặp âm (negative pair). Mô hình học kéo các biểu diễn của cặp dương lại gần nhau và đẩy các cặp âm ra xa, và mất mát dùng ở đây là InfoNCE. Các mô hình tiêu biểu là SimCLR (bảo đảm mẫu âm qua các lô lớn) và MoCo (duy trì một ngân hàng mẫu âm bằng bộ mã hóa động lượng và một hàng đợi).

Thế mạnh nguyên lý của học đối chiếu là học tính bất biến (invariance) ngữ nghĩa. Vì nó buộc cùng một biểu diễn phải xuất hiện ngay cả khi cùng một đối tượng được biến đổi theo nhiều cách, mô hình thu được một biểu diễn vô cảm với các thay đổi ngoại vi như màu, góc và nền, và nhạy với bản chất của đối tượng. Tuy nhiên các điểm yếu cũng rõ: nó đòi hỏi nhiều mẫu âm, nên cần các lô lớn hoặc một ngân hàng bộ nhớ, và vấn đề "âm giả (false negative)" — trong đó các ảnh cùng ý nghĩa bị trộn vào các mẫu âm — làm xói mòn hiệu năng. Trên thực tế, ở chuẩn dò tuyến tính ImageNet, SimCLR đạt độ chính xác (khoảng 76%) gần với tiền huấn luyện có giám sát, chứng minh rằng "các biểu diễn ngang tầm có giám sát là khả thi ngay cả khi không có nhãn."

Việc lựa chọn tăng cường dữ liệu quyết định tính chất của biểu diễn cũng là một hiểu biết thiết kế quan trọng trong học đối chiếu. Đó là vì những gì tăng cường "coi là giống nhau" chính là thứ định nghĩa "biểu diễn sẽ bất biến với cái gì." Ví dụ, đưa biến đổi màu vào các cặp dương tạo ra một biểu diễn vô cảm với màu, điều này có lợi cho nhận dạng vật thể tổng quát nhưng có thể gây hại cho các tác vụ mà màu là manh mối then chốt (ví dụ phân loại hoa hoặc chim). Do đó chính sách tăng cường phải được thiết kế có cân nhắc bản chất của tác vụ hạ nguồn, và điều này cho thấy học đối chiếu là một kỹ thuật "tiêm tri thức tiên nghiệm (inductive bias) chứa trong tăng cường vào việc học."

C. Loại phi đối chiếu (tự chưng cất) — học không có mẫu âm

Loại phi đối chiếu học biểu diễn chỉ với các cặp dương, không có mẫu âm. Không có mẫu âm, chỉ nói "hãy làm hai góc nhìn khớp nhau" sẽ gây sụp đổ (collapse), trong đó mọi đầu vào hội tụ về cùng một vector, nên cơ cấu khéo léo ngăn điều này là then chốt. BYOL đặt một mạng trực tuyến và một mạng đích được cập nhật bằng trung bình động mũ (EMA), và tránh sụp đổ bằng cách đặt một bộ dự đoán (predictor) và một stop-gradient ở một bên. SimSiam đạt cùng hiệu quả đơn giản hơn chỉ với stop-gradient. DINO kết hợp tự chưng cất (self-distillation) thầy-trò với căn giữa (centering) và làm sắc.

Hàm ý thực tiễn của loại phi đối chiếu là hiệu quả và ổn định. Vì không cần mẫu âm, nó hoạt động ngay cả với các lô nhỏ, và vấn đề âm giả biến mất. Đặc biệt, DINO/DINOv2, kết hợp với Vision Transformer (ViT), đã thu hút chú ý bằng cách làm trỗi dậy các bản đồ chú ý phân đoạn (segmentation) ranh giới đối tượng một cách tự thân ngay cả khi không có nhãn. DINOv2 của Meta, được tiền huấn luyện trên 140 triệu ảnh được tuyển chọn, được dùng như một mô hình nền thị giác cung cấp các biểu diễn thị giác tổng quát mạnh mẽ qua nhiều tác vụ — ước lượng độ sâu, phân đoạn, phân loại — ngay cả khi không tinh chỉnh.

Cách loại phi đối chiếu "ngăn sụp đổ" trông tầm thường bề ngoài nhưng lại là một điểm thú vị về lý thuyết. Cơ chế mà BYOL tránh sụp đổ không có mẫu âm chỉ bằng stop-gradient và một bộ dự đoán ban đầu là một bí ẩn "vì sao nó hoạt động", và sau đó các phân tích đã theo sau rằng cấu trúc bất đối xứng duy trì ngầm sự đa dạng của các biểu diễn. Bài học từ góc độ thực tiễn là thành bại của SSL bị chi phối ít bởi kiến trúc hoành tráng mà nhiều bởi các cơ cấu học tinh vi như phòng ngừa sụp đổ và ức chế giảm chiều, nên điều quan trọng là tuân theo chính xác các thiết lập chi tiết này khi tái lập.

D. Mô hình hóa che (Masked Modeling)

Mô hình hóa che là một họ che một phần đáng kể của đầu vào rồi cho khôi phục nó, và giờ đã trở thành tiêu chuẩn trên thực tế ở cả ngôn ngữ và thị giác. BERT của ngôn ngữ che khoảng 15% token của câu bằng [MASK] và dự đoán chúng bằng ngữ cảnh hai chiều (MLM, Masked Language Modeling), học một biểu diễn đọc ngữ cảnh từ cả hai phía. Điều này tương phản với tự hồi quy một chiều của GPT và cho thấy thế mạnh trong các tác vụ hiểu câu và phân loại.

MAE (Masked Autoencoder) của thị giác che một tỉ lệ cao 75% các mảnh ảnh rồi khôi phục toàn bộ từ 25% còn lại. Tỉ lệ che càng cao, càng nhiều lối tắt bị chặn và biểu diễn học được càng có ý nghĩa, và vì bộ mã hóa chỉ xử lý các mảnh nhìn thấy nên hiệu quả tính toán cũng cao. Thế mạnh nguyên lý của mô hình hóa che là bằng cách kết hợp loại sinh (khôi phục) và tự giám sát, nó bền vững với lối tắt và có khả năng mở rộng cao, và nó đang được mở rộng rộng rãi sang đa modality (ảnh + văn bản), âm thanh và chuỗi thời gian. Như một trường hợp ứng dụng công nghiệp, một phương pháp áp dụng khôi phục che lên chuỗi thời gian cảm biến quy trình để học các mẫu bình thường không nhãn rồi chuyển giao sang phát hiện bất thường được sử dụng trên sàn sản xuất.

Việc tỉ lệ che khác nhau rất nhiều giữa ngôn ngữ và thị giác (BERT 15% so với MAE 75%) được giải thích bằng sự khác biệt về mật độ thông tin (information density) của các modality. Trong ngôn ngữ, mỗi token mang ý nghĩa mật độ cao, nên chỉ che một chút cũng khiến việc khôi phục khó khăn; trong ảnh, các điểm ảnh liền kề là dư thừa (redundant), nên che một chút tạo ra một lối tắt sao chép nguyên văn vùng xung quanh để khôi phục. Do đó ảnh phải bị che nặng thì mô hình mới cuối cùng "suy luận ý nghĩa." Việc ngay cả các siêu tham số của một tác vụ tự giám sát cũng phải được tinh chỉnh cho khớp với các tính chất thống kê của dữ liệu một lần nữa cho thấy SSL là một ngành kỹ thuật của thiết kế tác vụ.

4. So sánh với học có giám sát, không giám sát và chuyển giao

Để làm rõ vị trí của SSL, ta phải chỉ ra các khác biệt với các mô hình lân cận xuống tận "lý do các khác biệt nảy sinh." Bảng là một tóm lược bổ trợ; cốt lõi là nguồn gốc của nhãn và tính chất của mục tiêu học.

Phân loại Nguồn nhãn Mục tiêu học Kỹ thuật tiêu biểu Yêu cầu dữ liệu
Học có giám sát Con người gán thủ công Ánh xạ đầu vào→đáp án Phân loại CNN, hồi quy Nhiều nhãn, đắt
Học không giám sát Không có Khám phá cấu trúc/phân bố K-means, PCA, autoencoder Không cần nhãn
Học tự giám sát Tự sinh từ dữ liệu Học biểu diễn tổng quát BERT, SimCLR, MAE Không nhãn lớn + ít nhãn
Học chuyển giao (Tái sử dụng mô hình tiền huấn luyện) Chuyển giao tri thức Fine-tuning, trích đặc trưng Tiền huấn luyện + nhãn hạ nguồn

Khác biệt bản chất với học có giám sát là con người cho nhãn hay dữ liệu tự cung cấp nhãn. Học có giám sát dùng đáp án chính xác nên tác vụ rõ ràng, nhưng chi phí gán nhãn quyết định trần của quy mô. SSL tự sinh đáp án từ dữ liệu nên ràng buộc quy mô được tháo bỏ, nhưng nếu thiết kế tác vụ kém, có nguy cơ học một biểu diễn không liên quan đến tác vụ hạ nguồn. Nói ngắn gọn, khác biệt giữa hai bên quy về một đánh đổi "độ chính xác so với khả năng mở rộng", và trên thực tế sự kết hợp tiền huấn luyện tự giám sát + tinh chỉnh ít nhãn đã trở thành chiến lược chủ đạo lấy được cả hai ưu điểm.

Các con số cụ thể bộc lộ lợi ích thực tiễn của đánh đổi này. Trong nhiều nghiên cứu ở lĩnh vực ảnh y khoa, ở các thiết lập tài nguyên thấp nơi nhãn chỉ là 1–10% tổng số, một mô hình được tinh chỉnh sau tiền huấn luyện tự giám sát cho thấy độ chính xác cao hơn một mô hình học có giám sát từ đầu — vài điểm phần trăm và đôi khi tới hai chữ số điểm phần trăm. Khi nhãn trở nên dồi dào, khoảng cách thu hẹp, nhưng biểu diễn tiền huấn luyện vẫn cho lợi thế về tốc độ hội tụ và tổng quát hóa. Nói ngắn gọn, tính quy luật rằng "nhãn càng hiếm, lợi ích tương đối của SSL càng lớn" là hàm ý cốt lõi của sự so sánh.

Khác biệt với học không giám sát là tinh tế nhưng quan trọng. SSL về rộng thuộc về học không giám sát (không nhãn), nhưng trong khi học không giám sát truyền thống nhắm vào chính việc "khám phá cấu trúc", như phân cụm và ước lượng mật độ, SSL nhắm vào việc mượn nguyên khung dự đoán-mất mát của học có giám sát để tạo ra các biểu diễn có thể chuyển giao. Mối quan hệ với học chuyển giao gần với một quan hệ bao hàm. Học chuyển giao là khái niệm cấp cao hơn về "di chuyển tri thức đã tiền huấn luyện xuống hạ nguồn", và SSL là một phương pháp cụ thể thực hiện giai đoạn tiền huấn luyện đó mà không có nhãn. Ngày nay học chuyển giao của các mô hình nền gần như hoàn toàn tiền giả định tiền huấn luyện tự giám sát.

5. Chuyên sâu — Xu hướng gần đây và sự lan tỏa trong công nghiệp

SSL đang lan tỏa vượt khỏi một kỹ thuật mô hình đơn lẻ thành động cơ chung của kỷ nguyên mô hình nền. Thứ nhất, SSL đa modality đã trỗi dậy. CLIP căn chỉnh 400 triệu cặp ảnh-văn bản bằng học đối chiếu, thu được một năng lực zero-shot phân loại các hạng mục tùy ý ngay cả khi không có nhãn. Nguyên lý "căn chỉnh các modality khác nhau vào cùng một không gian biểu diễn" này về sau trở thành nền tảng của các mô hình đa modality bao trùm ảnh, âm thanh và video.

Thứ hai, sự tổng quát hóa của mô hình hóa che. Khôi phục che, vốn khởi đầu ở ngôn ngữ (BERT), đã mở rộng sang thị giác (MAE), âm thanh (wav2vec 2.0), đồ thị và chuỗi thời gian, tự khẳng định là "một công thức tự giám sát hoạt động cho mọi modality." data2vec của Meta đã trình bày một khung tự giám sát hợp nhất xử lý giọng nói, thị giác và ngôn ngữ bằng một thuật toán duy nhất bằng cách áp dụng khung học đồng nhất (một học trò dự đoán các biểu diễn của thầy) bất kể modality. Thứ ba, mô hình thế giới (world model) và JEPA. I-JEPA/V-JEPA, do Yann LeCun đề xuất, thực hiện dự đoán trong không gian biểu diễn thay vì khôi phục cấp điểm ảnh, thu hút chú ý như hướng đi mới nhất tìm cách học các biểu diễn thiên về ý nghĩa hơn trong khi giảm gánh nặng sinh.

Đằng sau xu hướng này là ý thức về vấn đề rằng "năng lực mô hình bỏ ra để khôi phục các điểm ảnh bị lãng phí vào việc tái tạo các kết cấu chi tiết không liên quan đến ý nghĩa." Họ JEPA, sau khi che đầu vào, chỉ dự đoán biểu diễn (embedding) của phần đó, dẫn dắt mô hình tập trung vào thông tin trừu tượng như cấu trúc và các mối quan hệ của một cảnh thay vì các kết cấu vụn vặt. Điều này cho thấy hướng mà SSL tiến hóa từ "một tác vụ sinh đoán các điểm ảnh" sang "một tác vụ dự đoán cấu trúc trừu tượng của thế giới", và nó có tiềm năng lớn kết nối với các mô hình thế giới dự đoán cho robot và lái xe tự hành trong tương lai.

Thứ tư, sự kết hợp với các kỹ thuật thích nghi hiệu quả. Vì tinh chỉnh toàn bộ một biểu diễn khổng lồ đã tiền huấn luyện mỗi lần là đắt đỏ, thích nghi hiệu quả (PEFT) chỉ cập nhật một vài tham số — như LoRA, bộ chuyển đổi và tinh chỉnh lời nhắc — ghép cặp với tiền huấn luyện tự giám sát. Nói ngắn gọn, một sự phân công "tiền huấn luyện rộng bằng tự giám sát → thích nghi rẻ bằng các kỹ thuật nhẹ" đang bén rễ, và điều này đã trở thành mô hình vận hành cốt lõi để chạy SSL một cách thực dụng trong công nghiệp.

Về mặt ứng dụng công nghiệp, SSL phát huy giá trị đặc biệt ở các lĩnh vực chuyên biệt nơi nhãn đắt đỏ. Trong y tế, sự khan hiếm dữ liệu được khắc phục bằng cách tiền huấn luyện trên một khối lượng lớn ảnh X-quang và CT không nhãn rồi tinh chỉnh với một lượng nhỏ nhãn chẩn đoán; trong tài chính, các mẫu bình thường được học từ các nhật ký giao dịch không nhãn để phát hiện giao dịch bất thường và gian lận. Trong sản xuất, tự giám sát khôi phục che được áp dụng lên các nhật ký cảm biến quy trình và thiết bị để làm nền biểu diễn cho bảo trì dự đoán (predictive maintenance). Điểm chung là tất cả đều là các môi trường nơi "nhãn thì ít nhưng dữ liệu thô thì dồi dào," và đây là lý do SSL tự khẳng định là chiến lược cơ bản của AI ứng dụng.

6. Các điểm cân nhắc và hàm ý

Các điểm cân nhắc chiến lược từ góc độ Kỹ sư chuyên nghiệp khi áp dụng SSL vào các tổ chức và hệ thống như sau.

Thứ nhất, phải thiết kế đánh đổi giữa chi phí tiền huấn luyện và hiệu quả chuyển giao. Tiền huấn luyện tự giám sát quy mô lớn đòi hỏi GPU, dữ liệu và năng lượng khổng lồ, nên không phải tổ chức nào cũng cần huấn luyện từ đầu. Một chiến lược theo giai đoạn gồm tái sử dụng các mô hình nền mở (DINOv2, BERT, CLIP), thực hiện thích nghi tự giám sát bổ sung (continued pretraining) với dữ liệu lĩnh vực của chính mình, rồi tinh chỉnh với một lượng nhỏ nhãn là hiệu quả về chi phí. Tiền huấn luyện từ đầu chỉ được biện minh khi tính đặc thù của lĩnh vực là lớn và dữ liệu là đủ.

Thứ hai, phòng ngừa sụp đổ biểu diễn và học lối tắt chi phối chất lượng. Như sự sụp đổ của loại phi đối chiếu và các lối tắt của các tác vụ thủ công, trong SSL một thất bại thiết kế có thể dẫn đến "một biểu diễn có mất mát bề mặt thấp nhưng vô dụng." Do đó một hệ thống đánh giá kiểm chứng độc lập chất lượng biểu diễn thông qua dò tuyến tính và hiệu năng tác vụ hạ nguồn phải luôn chạy song song, và các siêu tham số như tăng cường dữ liệu và tỉ lệ che phải được tinh chỉnh cẩn thận.

Thứ ba, phải cảnh giác với thiên lệch dữ liệu và quản trị. Vì SSL không có quá trình soát xét nhãn, các vấn đề thiên lệch, độc hại và bản quyền của khối dữ liệu lớn cào từ web được in dấu trực tiếp vào biểu diễn. Quản trị dữ liệu như quản lý nguồn gốc, lọc, phi định danh thông tin cá nhân và kiểm tra giấy phép là tiền đề của độ tin cậy mô hình, và phải được quản lý trong sự liên kết với các yêu cầu về độ tin cậy AI và khả năng giải thích.

Thứ tư, chuẩn hóa đánh giá/chuyển giao và liên kết MLOps. Vì các biểu diễn tự giám sát được tái sử dụng qua nhiều tác vụ hạ nguồn, quản lý phiên bản biểu diễn, theo dõi hiệu năng chuyển giao và giám sát trôi dạt phải được tích hợp vào pipeline MLOps để bảo đảm khả năng tái lập và ổn định vận hành. Chỉ khi kết hợp với một kho đăng ký mô hình đăng ký và quản lý các mô hình tiền huấn luyện như các tài sản (asset) thì hiệu quả tái sử dụng trên quy mô toàn tổ chức mới được tối đa hóa.

Thứ năm, kiểm chứng sự phù hợp với tác vụ hạ nguồn và cảnh giác với kỳ vọng quá mức. Các biểu diễn tự giám sát không phải lúc nào cũng vượt qua học có giám sát; khi nhãn đủ và tác vụ hẹp, một mô hình học có giám sát từ đầu có thể tốt hơn. Ngoài ra, nếu phân bố dữ liệu tiền huấn luyện và phân bố tác vụ hạ nguồn khác nhau rất nhiều (khoảng cách lĩnh vực), hiệu quả chuyển giao sụt giảm. Do đó phải cảnh giác với kỳ vọng quá mức rằng "tự giám sát là liều thuốc vạn năng" và có một hệ thống ra quyết định chọn chiến lược phù hợp trong số học có giám sát, học tự giám sát và sử dụng các mô hình nền bên ngoài dựa trên sự sẵn có của nhãn, độ gần của lĩnh vực và chi phí.

Thứ sáu, triển vọng tích hợp với các công nghệ liên quan. Vì SSL là công nghệ nền tảng chung của embedding, học chuyển giao, mô hình nền, RAG và AI đa modality, nó phải được nhận thức và đầu tư không như một kỹ thuật đơn lẻ mà như tầng biểu diễn (representation layer) của nền tảng AI. Trong tương lai, trọng tâm dự kiến dịch chuyển từ loại khôi phục điểm ảnh sang loại dự đoán biểu diễn (JEPA), từ đơn modality sang đa modality hợp nhất, và từ tinh chỉnh thủ công sang thích nghi lời nhắc và trong-ngữ-cảnh.

Tài liệu tham khảo

Tóm tắt một câu: Học tự giám sát là một mô hình thu được các biểu diễn tổng quát bằng cách tự tạo tín hiệu học từ chính dữ liệu mà không cần nhãn do con người gán, và thông qua các phương pháp luận dự đoán, đối chiếu, phi đối chiếu và che, nó đã trở thành động cơ tiền huấn luyện của các mô hình nền như GPT, BERT và DINO — một chiến lược cốt lõi của AI hiện đại đi vòng qua "nút thắt gán nhãn."