Autoencoder và Variational Autoencoder (VAE)
1. Tổng quan
A. Định nghĩa và bối cảnh ra đời
Variational Autoencoder (VAE) là một mạng nơ-ron sâu sinh mẫu (generative) mã hóa dữ liệu đầu vào thành một phân phối xác suất trên các biến ẩn (latent variable) chiều thấp, lấy mẫu từ phân phối đó và học cách tái tạo bản gốc, xấp xỉ suy diễn biến phân (Variational Inference) bằng việc huấn luyện mạng nơ-ron để mô hình hóa phân phối sinh dữ liệu p(x).
Trước học sâu, giảm chiều và học biểu diễn hoặc bị ràng buộc bởi giả định tuyến tính như phân tích thành phần chính (PCA), hoặc dừng lại ở ánh xạ tất định (deterministic) của autoencoder thông thường vốn nén và tái tạo đầu vào. Autoencoder thông thường nén đặc trưng tốt qua nút cổ chai (bottleneck), nhưng không có bảo đảm rằng không gian ẩn liên tục hay đều đặn, nên không phù hợp để "sinh dữ liệu mới từ những điểm ẩn chưa từng học". Lý do là khắp không gian ẩn hình thành các lỗ hổng (vùng trống) và xuất hiện sự gián đoạn khiến hai điểm gần nhau cho ra đầu ra hoàn toàn khác nhau.
VAE khởi nguồn từ "Auto-Encoding Variational Bayes" do Kingma và Welling đề xuất năm 2013. Bước chuyển cốt lõi là biểu diễn biến ẩn không phải một điểm mà là một phân phối xác suất có kỳ vọng (μ) và phương sai (σ²), rồi ràng buộc phân phối đó gần với phân phối chuẩn tắc N(0, I). Nhờ vậy không gian ẩn được tổ chức mượt mà và liên tục, nên lấy một điểm bất kỳ đưa vào bộ giải mã vẫn cho ra dữ liệu mới hợp lý — bảo đảm năng lực sinh mẫu. Nói ngắn gọn, VAE là bước ngoặt nâng autoencoder từ "bộ nén" lên "mô hình sinh".
Ý nghĩa của bước chuyển này vượt khỏi một cải tiến kỹ thuật đơn thuần. Các mô hình sinh truyền thống (hỗn hợp Gaussian, máy Boltzmann) có chi phí tính toán và độ khó huấn luyện tăng vọt trên dữ liệu chiều cao, trong khi VAE kết hợp suy diễn biến phân với lan truyền ngược, mở ra con đường học phân phối dữ liệu phức tạp một cách mở rộng được bằng sức biểu diễn của mạng nơ-ron. Cùng với GAN và mô hình khuếch tán xuất hiện sau đó, nó được đánh giá là một trong ba trụ cột mở ra kỷ nguyên mô hình sinh sâu (Deep Generative Model).
B. Sự cần thiết và đặc điểm
VAE cần thiết vì nhiều bài toán thực tế đòi hỏi không phải tái tạo đơn thuần mà là sinh dữ liệu, nội suy và ước lượng mật độ. Việc tăng cường dữ liệu tổng hợp khi ảnh y tế khan hiếm, chỉ học sản phẩm bình thường không lỗi để phát hiện lỗi bằng sai số tái tạo, hay khám phá không gian ẩn của phân tử thuốc để thiết kế ứng viên mới — tất cả chỉ khả thi khi mô hình hiểu "dữ liệu được sinh ra như thế nào". Nếu phân loại và hồi quy học ánh xạ x→y của một mô hình phân biệt (discriminative), thì VAE khác biệt về căn bản ở chỗ nó học chính phân phối p(x) của dữ liệu, trở thành một mô hình sinh (generative).
Đặc điểm của VAE tóm tắt ở ba điểm. Thứ nhất, mã hóa xác suất khiến cùng một đầu vào vẫn tạo ra các mẫu ẩn hơi khác nhau mỗi lần, kìm hãm quá khớp và lấp đầy không gian ẩn một cách dày đặc. Thứ hai, không gian ẩn được chính quy hóa được bảo đảm khi số hạng phân kỳ KL kéo phân phối ẩn về phía phân phối tiên nghiệm, bảo đảm tính liên tục và khả năng nội suy. Thứ ba, huấn luyện ổn định tối đa hóa một hàm mục tiêu tường minh (ELBO) hội tụ đáng tin cậy hơn GAN vốn dựa vào huấn luyện đối kháng, với rủi ro sụp đổ chế độ (mode collapse) thấp hơn. Tuy nhiên, cái giá là tái tạo bị lấy trung bình nên kết quả có phần mờ (blurry).
Sự mờ này không phải khiếm khuyết ngẫu nhiên mà là tính chất cấu trúc phát sinh từ hàm mục tiêu xác suất của VAE. VAE có xu hướng học kỳ vọng có điều kiện của các bản tái tạo khả dĩ, nên khi tồn tại nhiều đầu ra hợp lý, nó cho ra hình ảnh trung bình của chúng. Chi tiết tần số cao sắc nét (sợi tóc, vân chất liệu) dễ bị nhòe trong quá trình lấy trung bình. Hiểu giới hạn này rất quan trọng cho việc chọn mô hình: biết "vì sao mờ" làm rõ nên dùng VAE ở đâu và ở đâu nên bổ sung bằng GAN hay mô hình khuếch tán.
Nhờ những đặc điểm đó, VAE phát huy thế mạnh ở các bài toán mà "cấu trúc, tính liên tục và khả năng diễn giải của không gian ẩn" quan trọng hơn là các bài toán mà "độ sắc nét là ưu tiên hàng đầu". Xét riêng chất lượng sinh, nó có thể thua GAN và mô hình khuếch tán, nhưng giá trị của huấn luyện ổn định và học biểu diễn có tổ chức vẫn được dùng rộng rãi trong toàn ngành.
Tóm lại, VAE gói ba năng lực vào một khuôn khổ: học biểu diễn nén đầu vào thành một chiều thấp có ý nghĩa, sinh mẫu lấy mẫu từ phân phối tiên nghiệm để tạo dữ liệu mới, và ước lượng mật độ xấp xỉ qua phân phối ẩn. Việc một mô hình đồng thời hỗ trợ nén, sinh và ước lượng mật độ khiến nó trở thành lựa chọn thiết kế đặc biệt hấp dẫn khi bài toán phức hợp hoặc nhãn dữ liệu khan hiếm.
2. Cấu trúc và nguyên lý học của Autoencoder
Để hiểu VAE, trước hết phải nắm cấu trúc của autoencoder thông thường — mô hình cội nguồn của nó. Autoencoder gồm một bộ mã hóa (encoder) nén đầu vào xuống chiều thấp, một vectơ ẩn (nút cổ chai) là biểu diễn đã nén, và một bộ giải mã (decoder) tái tạo nó về kích thước gốc. Mục tiêu huấn luyện là tối thiểu hóa sai số tái tạo (reconstruction loss) để đầu ra khớp đầu vào, và đây là phương thức tự giám sát (self-supervised) không cần nhãn.
Sơ đồ cấu trúc dưới đây trình bày cùng lúc luồng dữ liệu tổng thể của autoencoder và VAE. Khác biệt cốt lõi là autoencoder thông thường phát ra vectơ ẩn z như một điểm duy nhất, trong khi VAE phát ra tham số của phân phối ẩn (μ, σ) và trải qua lấy mẫu.
flowchart LR
X["đầu vào x"] --> ENC["Bộ mã hóa(Encoder)"]
ENC --> Z["vectơ ẩn z(điểm·tất định)"]
Z --> DEC["Bộ giải mã(Decoder)"]
DEC --> XH["tái tạo x-hat"]
ENC -.mở rộng VAE.-> MU["kỳ vọng mu"]
ENC -.mở rộng VAE.-> SIG["độ lệch chuẩn sigma"]
MU --> SAMP["lấy mẫu z ~ N(mu, sigma^2)"]
SIG --> SAMP
SAMP --> DEC
Lý do giữ chiều nút cổ chai nhỏ hơn đầu vào là để cưỡng chế nén thông tin sao cho chỉ còn lại các yếu tố cốt lõi của dữ liệu. Nếu nút cổ chai bằng hoặc lớn hơn đầu vào, mạng sẽ học một hàm đồng nhất chỉ sao chép y nguyên đầu vào và không thu được biểu diễn có ý nghĩa. Ví dụ, nén ảnh MNIST 784 chiều (28×28) xuống 2–32 chiều khiến các yếu tố ẩn như độ nghiêng, độ đậm của chữ số tự nhiên sắp xếp trong không gian ẩn. Cấu trúc đặt nút cổ chai hẹp hơn đầu vào như vậy gọi là autoencoder chưa đầy đủ (undercomplete), phân biệt với cấu trúc quá đầy đủ (overcomplete) vốn đặt nút cổ chai rộng nhưng điều khiển biểu diễn bằng ràng buộc thưa.
Việc chọn sai số tái tạo cũng là một phần quan trọng của thiết kế. Thông thường dùng sai số bình phương trung bình (MSE) cho dữ liệu giá trị liên tục (cảm biến, cường độ thang xám) và entropy chéo nhị phân (BCE) cho điểm ảnh chuẩn hóa về 0–1 hoặc dữ liệu nhị phân. Hàm mất mát và hàm kích hoạt của lớp đầu ra (tuyến tính, sigmoid) phải được ghép nhất quán với giả định phân phối dữ liệu; nếu sai lệch, tái tạo bị méo hoặc huấn luyện bất ổn. Trông như một quyết định nhỏ, nhưng trong thực tế nó chi phối chất lượng sinh và tái tạo.
Autoencoder đã phát triển thành nhiều biến thể tùy mục đích. Bảng dưới đây tổng hợp các biến thể tiêu biểu và ý đồ thiết kế của chúng. Mỗi biến thể trả lời khác nhau cho câu hỏi "cần cưỡng chế thêm điều gì".
| Biến thể | Ý tưởng cốt lõi | Mục đích·hiệu quả |
|---|---|---|
| AE thông thường (Vanilla) | Nén-tái tạo | Giảm chiều·trích xuất đặc trưng |
| AE khử nhiễu (Denoising) | Tái tạo bản gốc từ đầu vào pha nhiễu | Đặc trưng bền vững, khử nhiễu |
| AE thưa (Sparse) | Ràng buộc thưa trên kích hoạt ẩn | Biểu diễn diễn giải được·quá đầy đủ |
| AE co rút (Contractive) | Ẩn ít nhạy với thay đổi đầu vào | Bất biến cục bộ |
| AE biến phân (Variational) | Ẩn thành phân phối xác suất | Sinh mẫu·không gian ẩn liên tục |
Autoencoder khử nhiễu cố ý thêm nhiễu vào đầu vào rồi tái tạo bản gốc sạch, đây là một chính quy hóa hiệu quả khiến mô hình học cấu trúc bản chất của dữ liệu (đa tạp). Thực tế ý tưởng này đã đóng vai trò cầu nối quan trọng dẫn về sau tới khái niệm khử nhiễu dần của mô hình khuếch tán (diffusion). Như vậy họ autoencoder điều chỉnh tính chất của biểu diễn qua các ràng buộc khác nhau, và VAE là biến thể xác suất trong số đó nhằm vào "sinh mẫu".
Lý do căn bản khiến autoencoder thông thường không phù hợp để sinh mẫu là không gian ẩn của nó không được định nghĩa về mặt xác suất. Mô hình không biết các vùng trống giữa những điểm ẩn mà dữ liệu huấn luyện được ánh xạ tới có nghĩa gì, và đưa một điểm trống như vậy vào bộ giải mã dễ cho ra nhiễu vô nghĩa. Hơn nữa thang đo và tâm của không gian ẩn tùy tiện, nên không có cả tiêu chí về nơi để lấy mẫu. Việc VAE khớp phân phối ẩn với phân phối chuẩn tắc qua ràng buộc KL chính là cơ chế để giải quyết đồng thời cả hai vấn đề này — "thiếu tính liên tục" và "thiếu tiêu chí lấy mẫu".
3. Cấu trúc xác suất và việc huấn luyện VAE
Bộ khung toán học của VAE là suy diễn biến phân. Vì phân phối hậu nghiệm p(z|x) của biến ẩn z sinh ra dữ liệu x là bất khả tính (intractable) để tính trực tiếp, nó được thay bằng một phân phối xấp xỉ dễ xử lý q(z|x). Bộ mã hóa biểu diễn chính phân phối hậu nghiệm xấp xỉ q(z|x) này, còn bộ giải mã biểu diễn phân phối sinh có điều kiện p(x|z), cả hai đều bằng mạng nơ-ron. Huấn luyện tiến hành bằng cách tối đa hóa ELBO (Evidence Lower Bound), một cận dưới của log-likelihood dữ liệu.
Từ góc nhìn mô hình sinh, VAE giả định một quá trình sinh xác suất. Mạch truyện là: trước hết lấy biến ẩn z từ phân phối tiên nghiệm p(z)=N(0, I), rồi cho z đó đi qua bộ giải mã (phân phối có điều kiện p(x|z)) để sinh dữ liệu x. Huấn luyện nghĩa là đồng thời khớp tham số của bộ giải mã p(x|z) và bộ mã hóa q(z|x) sao cho quá trình sinh giả định này giải thích tốt dữ liệu thực. Bản thân log-likelihood log p(x) bất khả tích phân, nhưng logic cốt lõi của suy diễn biến phân là tối đa hóa cận dưới ELBO của nó sẽ gián tiếp nâng log-likelihood lên.
Sơ đồ quy trình chi tiết dưới đây trình bày luồng của một lượt lan truyền xuôi, từ mã hóa → lấy mẫu (tái tham số hóa) → giải mã → tính mất mát → lan truyền ngược. Tính độc đáo của việc huấn luyện VAE nằm ở chỗ nó vòng qua phép toán lấy mẫu không khả vi bằng thủ thuật tái tham số hóa (Reparameterization Trick) để khiến lan truyền ngược khả thi.
flowchart TB
A["đầu vào x"] --> B["bộ mã hóa → mu, log-var"]
B --> C["epsilon ~ N(0, I) mẫu"]
C --> D["z = mu + sigma * epsilon(tái tham số hóa)"]
B --> D
D --> E["bộ giải mã → tái tạo x-hat"]
E --> F["mất mát tái tạo(sai số tái tạo)"]
B --> G["phân kỳ KL(phân phối ẩn vs N(0,I))"]
F --> H["ELBO = tái tạo - KL"]
G --> H
H --> I["lan truyền ngược·cập nhật tham số"]
I --> B
ELBO là tổng của hai số hạng. Viết dưới dạng công thức là L = E[log p(x|z)] - KL(q(z|x) || p(z)). Số hạng tái tạo thứ nhất đo mẫu ẩn tái tạo bản gốc tốt đến đâu, với ảnh thì tính bằng sai số bình phương trung bình (MSE) hay entropy chéo nhị phân. Số hạng phân kỳ KL thứ hai là số hạng chính quy hóa kéo phân phối ẩn q(z|x) do bộ mã hóa tạo ra lại gần phân phối tiên nghiệm p(z)=N(0, I). Hai số hạng ở trong thế căng. Chỉ nhấn mạnh tái tạo sẽ khiến không gian ẩn phân tán và năng lực sinh suy giảm, còn chỉ nhấn mạnh KL sẽ khiến ẩn bị ép về phân phối tiên nghiệm và mất thông tin, gây sụp đổ hậu nghiệm (Posterior Collapse).
Về trực giác, số hạng tái tạo nói "hãy tái tạo bản gốc thật chính xác" và cố nhồi nhét thông tin vào ẩn, còn số hạng KL nói "hãy giữ ẩn đơn giản và mượt như phân phối chuẩn tắc" và cố gạn bớt thông tin. Tại điểm cân bằng của hai lực, không gian ẩn đạt trạng thái lý tưởng "chỉ chứa thông tin thiết yếu cho tái tạo nhưng được tổ chức liên tục". Khi cân bằng này đổ vỡ và KL quá mức — nhất là khi bộ giải mã mạnh — mô hình phớt lờ ẩn mà vẫn tái tạo, nên sụp đổ hậu nghiệm, trong đó ẩn trở nên vô dụng trên thực tế, xuất hiện như một ca thất bại điển hình.
Ở đây cũng đáng chỉ ra lý do chọn phân phối tiên nghiệm là phân phối chuẩn tắc N(0, I). Phân kỳ KL giữa các Gaussian được tính ở dạng đóng (closed-form) khiến huấn luyện đơn giản, và phân phối đẳng hướng với kỳ vọng 0, phương sai đơn vị là điểm quy chiếu tự nhiên cho lấy mẫu và nội suy. Dẫu vậy, lựa chọn này cũng là một ràng buộc giả định không gian ẩn là một Gaussian đơn, nên khi dữ liệu đa đỉnh (multi-modal), đôi khi người ta dùng tiên nghiệm hỗn hợp hay một tiên nghiệm linh hoạt hơn như VampPrior để nâng sức biểu diễn.
Thủ thuật tái tham số hóa là cơ chế quyết định đã khiến VAE trở nên thực dụng. Lấy z trực tiếp từ phân phối là không khả vi, làm đứt lan truyền ngược. Thay vào đó, viết z = μ + σ ⊙ ε (ε ~ N(0, I)) sẽ đẩy tính ngẫu nhiên vào nhiễu ngoài ε trong khi μ và σ được nối tất định vào mạng, nên gradient có thể chảy tới tận bộ mã hóa. Ví dụ, nếu chiều ẩn là 16, bộ mã hóa xuất ra 16 giá trị μ và 16 giá trị log(σ²), nhân với ε để tạo z 16 chiều rồi gửi tới bộ giải mã. Việc sắp xếp lại công thức đơn giản này là tuệ kiến cốt lõi dung hòa "lấy mẫu xác suất" với "huấn luyện hạ gradient".
Khi huấn luyện xong, sinh mẫu và nội suy trở nên khả thi. Lấy z từ phân phối tiên nghiệm N(0, I) đưa vào bộ giải mã cho ra dữ liệu mới (sinh mẫu), và nội suy tuyến tính giữa các điểm ẩn của hai đầu vào cho phép một chuyến đi dạo trong không gian ẩn (latent walk) nơi hình thái trung gian biến đổi mượt mà. Nhân số hạng KL với một trọng số β như trong β-VAE sẽ tách các yếu tố ẩn (disentanglement), dẫn dắt một chiều ẩn mang ý nghĩa độc lập như "xoay" và một chiều khác là "kích thước".
Khi muốn điều khiển việc sinh, người ta dùng VAE có điều kiện (Conditional VAE, CVAE). Đưa một biến điều kiện c như nhãn hay thuộc tính vào cùng bộ mã hóa và bộ giải mã cho phép chỉ định thuộc tính mong muốn để sinh, chẳng hạn "sinh chữ số 7" hay "chuyển thành biểu cảm tươi cười". Điều này vượt khỏi giới hạn của VAE cơ bản vốn lấy mẫu ngẫu nhiên toàn bộ phân phối, cho phép sinh định hướng mục đích mà hiện trường công nghiệp đòi hỏi. Ví dụ, nó được dùng để sinh có điều kiện các mẫu tổng hợp của một loại lỗi cụ thể nhằm bổ sung lớp hiếm, hay để sinh nội dung ở các phong cách khác nhau tùy điều kiện.
4. So sánh — AE · VAE · GAN · mô hình khuếch tán
Để chọn một mô hình sinh hay biểu diễn, phải hiểu mỗi họ khác nhau ở chỗ "xử lý phân phối như thế nào". Autoencoder thông thường không phải mô hình sinh mà là bộ nén; vì không gian ẩn không có cấu trúc xác suất nên về nguyên tắc khó sinh mẫu mới. VAE là mô hình xác suất tường minh và ổn định, nhưng kết quả mờ do lấy trung bình. GAN cho ra kết quả sắc nét qua huấn luyện đối kháng với một bộ phân biệt nhưng huấn luyện bất ổn và dễ sụp đổ chế độ. Mô hình khuếch tán đạt chất lượng cao nhất qua khử nhiễu dần nhưng suy luận chậm. Khác biệt này không phải xếp hạng đơn thuần mà phát sinh từ một đánh đổi giữa độ ổn định, chất lượng, tốc độ và khả năng diễn giải.
| Phân biệt | AE thông thường | VAE | GAN | Mô hình khuếch tán |
|---|---|---|---|---|
| Bản chất | Bộ nén | Sinh xác suất | Sinh đối kháng | Khử nhiễu dần |
| Không gian ẩn | Không đều | Liên tục·chính quy hóa | Ngầm định | Nhiễu theo trục thời gian |
| Độ ổn định huấn luyện | Cao | Cao | Thấp(rủi ro sụp đổ) | Cao |
| Chất lượng sinh | Thấp | Trung bình(mờ) | Cao(sắc nét) | Rất cao |
| Tốc độ suy luận | Nhanh | Nhanh | Nhanh | Chậm(nhiều bước) |
| Ước lượng mật độ | Không | Xấp xỉ được | Không | Xấp xỉ được |
Đặc biệt, tương phản với GAN đến từ khác biệt căn bản về mô thức huấn luyện. GAN là một trò chơi minimax nơi bộ sinh và bộ phân biệt cạnh tranh; không có likelihood tường minh, nó học cách tạo mẫu "giống thật đủ để đánh lừa bộ phân biệt", nên sắc nét nhưng khó tìm điểm cân bằng, dẫn tới dao động và sụp đổ thường xuyên. Ngược lại, VAE tối đa hóa cận dưới của một mô hình xác suất tường minh bằng hạ gradient nên có thể tái lập và ổn định, nhưng hy sinh một phần độ sắc nét cho việc lấy trung bình dựa trên likelihood. Vì thế VAE-GAN, vốn kết hợp hai cách tiếp cận, đã xuất hiện như một nỗ lực thêm độ sắc nét của GAN vào cấu trúc ẩn ổn định của VAE.
Hàm ý thực tiễn rất rõ. GAN và mô hình khuếch tán phù hợp với sinh ảnh chân thực nơi độ sắc nét là sống còn, còn VAE phù hợp với các bài toán cần huấn luyện ổn định và biểu diễn ẩn có tổ chức, phát hiện bất thường và nội suy. Tại các hiện trường nghiên cứu, công nghiệp nơi dữ liệu khan hiếm và độ ổn định, khả năng tái lập của huấn luyện quan trọng, VAE thường trở thành đường cơ sở (baseline) hợp lý để thử trước, đi trước GAN vốn khó tinh chỉnh. Đặc biệt, giá trị của VAE như một cấu phần lớn hơn giá trị khi đứng một mình. Tiêu biểu, một mô hình khuếch tán tiềm ẩn (latent diffusion) như Stable Diffusion dùng VAE nén ảnh 512×512 thành ẩn 64×64 rồi chạy khuếch tán trong không gian ẩn đó, cắt giảm tính toán hàng chục lần so với xử lý trực tiếp không gian điểm ảnh. Nghĩa là trong AI sinh mẫu hiện đại, VAE đảm nhận vai trò cốt lõi của một "xương sống nén".
5. Chuyên sâu — Xu hướng mới nhất và trường hợp ứng dụng thực tế
Họ VAE đã tiến hóa đều đặn và bén rễ trong công nghiệp. VQ-VAE (Vector Quantized VAE, 2017) lượng tử hóa ẩn bằng một bộ mã (codebook) rời rạc thay cho ẩn liên tục, làm dịu đáng kể vấn đề mờ, và về sau trở thành nền tảng cho DALL·E thế hệ đầu, sinh âm thanh (token hóa giọng nói·âm nhạc) và các bộ token hóa video. VQ-VAE-2 sinh ảnh độ phân giải cao bằng bộ mã phân cấp, và ý tưởng "nén dữ liệu thành token rời rạc" này đã mở đường để các mô hình lớn đa phương thức xử lý ảnh và âm thanh như ngôn ngữ, dưới dạng token.
Các trường hợp ứng dụng công nghiệp nổi bật ở ba lĩnh vực. Thứ nhất, kiểm tra chất lượng sản xuất. Phát hiện bất thường không giám sát — học VAE chỉ từ ảnh sản phẩm bình thường rồi gắn cờ lỗi khi sai số tái tạo của đối tượng kiểm tra vượt ngưỡng — được dùng trong các quy trình bán dẫn và màn hình. Ví dụ, người ta học hàng vạn tấm wafer bình thường để thu phân phối sai số tái tạo theo điểm ảnh, rồi lấy một bách phân vị trên (ví dụ 99,5% của phân phối bình thường) làm ngưỡng để bắt các vết xước, dị vật nhỏ. Trong thực tế mẫu lỗi khan hiếm, cách tiếp cận "chỉ học từ bình thường" giảm mạnh chi phí gán nhãn và có ưu điểm bắt được cả các loại lỗi mới chưa định nghĩa trước. Thứ hai, thiết kế thuốc và vật liệu. Người ta mã hóa phân tử dưới dạng chuỗi SMILES hay đồ thị để dựng một không gian ẩn liên tục, rồi tối ưu và khám phá không gian đó để thiết kế ngược (inverse design) phân tử mới có tính chất mong muốn. Đóng góp quyết định của VAE là biến không gian hóa học rời rạc và đồ sộ thành một không gian ẩn liên tục, khả vi, để có thể áp dụng các tìm kiếm như tối ưu Bayes. Thứ ba, gợi ý và cá nhân hóa: lọc cộng tác mô hình hóa tương tác người dùng-sản phẩm bằng VAE (Mult-VAE) cho hiệu năng gợi ý bền vững ngay cả trên dữ liệu nhấp chuột thưa, vì nó học phân phối sinh của vectơ tiêu thụ theo từng người dùng và nội suy xác suất cả những sở thích chưa quan sát được.
Việc đánh giá hiệu năng VAE không kết thúc ở một chỉ số đơn lẻ. Về mặt huấn luyện, người ta theo dõi ELBO và các cấu phần của nó (mất mát tái tạo·KL) để kiểm tra có sụp đổ hậu nghiệm hay không; chất lượng sinh được đo bằng FID (Fréchet Inception Distance) của mẫu hay sai số tái tạo; còn với mục đích phát hiện bất thường thì đánh giá bằng độ tách biệt của phân phối sai số tái tạo bình thường/bất thường và PR-AUC. Nghĩa là trục đánh giá thay đổi theo "dùng VAE để làm gì", nên định nghĩa trước chỉ số phù hợp mục đích là điều cơ bản của thực tiễn.
Một xu hướng mới nhất đáng chú ý là VAE đang được chuẩn hóa thành một mô-đun nén tri giác (Perceptual Compression) cho các mô hình sinh lớn. Phần lớn các mô hình sinh video·3D·âm thanh nén dữ liệu bằng một bộ token hóa VAE rồi sinh bằng transformer·khuếch tán. Từ góc nhìn Kỹ sư chuyên nghiệp, các hướng ra đề dự kiến là ① khác biệt cấu trúc/mất mát giữa AE thông thường và VAE cùng thủ thuật tái tham số hóa, ② so sánh VAE·GAN·mô hình khuếch tán và tiêu chí lựa chọn, ③ ứng dụng thực tế của phát hiện bất thường·tăng cường dữ liệu dựa trên VAE, và ④ các câu hỏi về vị trí trong đường ống AI sinh mẫu, chẳng hạn vai trò của VAE trong khuếch tán tiềm ẩn. Một bài làm hiệu quả triển khai sơ đồ cấu trúc, công thức mất mát và các trường hợp xoay quanh bản chất "biểu diễn ẩn xác suất".
6. Cân nhắc và hàm ý
Khi áp dụng VAE trong thực tế, Kỹ sư chuyên nghiệp phải cân nhắc toàn diện những điều sau.
Thứ nhất, chiến lược cân bằng mất mát và phòng ngừa sụp đổ hậu nghiệm. Trọng số (β) của số hạng tái tạo và số hạng KL phải được tinh chỉnh theo tính chất bài toán. Nếu đa dạng sinh quan trọng thì tăng cường KL; nếu độ trung thực tái tạo quan trọng thì nhấn mạnh tái tạo — nhưng phòng ngừa sụp đổ hậu nghiệm bằng KL annealing, vốn nâng trọng số KL từ từ ở giai đoạn đầu huấn luyện, hoặc bằng kỹ thuật Free Bits. Nếu ẩn rỗng đi thì cả sinh lẫn biểu diễn đều thất bại, nên cân bằng này quyết định thành bại.
Thứ hai, giới hạn chất lượng và đánh đổi của việc chọn mô hình. Sự mờ của VAE là một giới hạn cấu trúc đến từ việc lấy trung bình, nên nếu mục tiêu là sinh chân thực thì cân nhắc kết hợp VAE với GAN hay mô hình khuếch tán (VAE-GAN, khuếch tán tiềm ẩn) thay vì VAE đứng một mình. Ngược lại, nếu độ ổn định huấn luyện, tốc độ suy luận và khả năng diễn giải ẩn được ưu tiên thì VAE là hợp lý. Chọn bằng cách cân nhắc toàn diện chất lượng yêu cầu, lượng dữ liệu, ngân sách tính toán và độ ổn định vận hành — thay vì mù quáng chạy theo "mô hình mới nhất, chất lượng cao nhất" — là phán đoán của Kỹ sư chuyên nghiệp.
Thứ ba, ứng phó dữ liệu, đạo đức và quy định. Mô hình sinh có thể bảo vệ quyền riêng tư bằng dữ liệu tổng hợp, đồng thời có nguy cơ tái sản xuất thiên lệch của dữ liệu huấn luyện hay tái tạo thông tin nhạy cảm. Trong lĩnh vực y tế, tài chính, phải đánh giá tính hữu ích của dữ liệu tổng hợp song song với nguy cơ tái định danh, và vận hành song song quản trị quản lý nguồn gốc, mục đích của sản phẩm sinh ra (đạo đức AI·truy vết dòng dõi dữ liệu).
Thứ tư, tính liên tục vận hành và công nghệ liên kết. Khi phân phối dữ liệu thay đổi (trôi dạt khái niệm), ngưỡng sai số tái tạo cũng phải được điều chỉnh lại, nên cần một đường ống huấn luyện lại·giám sát dựa trên MLOps. Ngoài ra, giá trị của VAE được tối đa hóa khi nó được kết hợp như một cấu phần của phát hiện bất thường·tăng cường dữ liệu·học biểu diễn·sinh khuếch tán tiềm ẩn thay vì như một giải pháp đứng một mình, nên nên cân nhắc vị trí của nó trong toàn bộ đường ống AI ngay từ đầu thiết kế. Nhìn về phía trước, VAE với vai trò bộ token hóa rời rạc được dự kiến sẽ lan rộng hơn như một tầng tiền xử lý tiêu chuẩn cho các mô hình nền tảng đa phương thức.
Thứ năm, khả năng diễn giải của không gian ẩn và thiết kế tận dụng. Chọn thích hợp một biến thể tách và điều khiển các yếu tố ẩn, như β-VAE hay VAE có điều kiện, cho phép gán ý nghĩa cho từng chiều ẩn và hiện thực hóa các chức năng giá trị cao như "chỉnh sửa thuộc tính" hay "phân tích nguyên nhân". Ngược lại, một thiết kế từ bỏ khả năng diễn giải và chỉ tối đa hóa hiệu suất nén đôi khi lại tốt hơn. Do đó Kỹ sư chuyên nghiệp phải trước hết xác định bài toán đòi hỏi chất lượng sinh, khả năng diễn giải ẩn, hiệu suất nén, hay độ nhạy bất thường, và giữ vững quan điểm thiết kế do yêu cầu dẫn dắt, thiết kế ngược biến thể VAE·trọng số mất mát·chiều ẩn·phân phối tiên nghiệm cho phù hợp.
Tài liệu tham khảo
- Kingma & Welling, "Auto-Encoding Variational Bayes", https://arxiv.org/abs/1312.6114
- van den Oord et al., "Neural Discrete Representation Learning (VQ-VAE)", https://arxiv.org/abs/1711.00937
- Higgins et al., "beta-VAE", https://openreview.net/forum?id=Sy2fzU9gl
- Rombach et al., "High-Resolution Image Synthesis with Latent Diffusion Models", https://arxiv.org/abs/2112.10752
- Kingma & Welling, "An Introduction to Variational Autoencoders", https://arxiv.org/abs/1906.02691
Tóm tắt một câu: VAE là một mô hình sinh mã hóa đầu vào thành một phân phối xác suất trên các biến ẩn và khiến lan truyền ngược khả thi bằng thủ thuật tái tham số hóa, tối đa hóa ELBO (tái tạo−KL) để bảo đảm một không gian ẩn liên tục, được chính quy hóa cùng năng lực sinh; nó nâng autoencoder thông thường thành một mô hình sinh và được dùng rộng rãi như xương sống nén của phát hiện bất thường, tăng cường dữ liệu và khuếch tán tiềm ẩn.