Embedding (Nhúng, biểu diễn vector)

1. Tổng quan

A. Định nghĩa

Embedding (Nhúng) là kỹ thuật học biểu diễn ánh xạ (mapping) các đối tượng rời rạc (discrete)·phi cấu trúc như từ·câu·hình ảnh·người dùng thành vector số thực có số chiều thấp, trong đó sự tương đồng ngữ nghĩa được bảo toàn dưới dạng khoảng cách (distance), và cũng chỉ chính vector kết quả đó. Tính chất cốt lõi là "nếu nghĩa tương tự thì vector cũng gần nhau", biến các ký hiệu (symbol) mà máy tính không xử lý được thành tọa độ trong không gian liên tục có thể tính toán được.

Bối cảnh căn bản làm nảy sinh embedding nằm ở giới hạn của mã hóa one-hot (One-Hot Encoding), cách thức truyền thống để máy tính xử lý dữ liệu văn bản·phân loại. Nếu từ vựng có 100.000 từ thì mỗi từ được biểu diễn bằng một vector thưa (sparse) chỉ có một trong 100.000 chiều bằng 1 và phần còn lại bằng 0, và cách này có hai vấn đề chí tử. Thứ nhất, số chiều bùng nổ đúng bằng kích thước từ vựng nên việc lưu trữ·tính toán kém hiệu quả. Thứ hai, vì mọi vector từ đều trực giao (orthogonal) với nhau nên ngay cả những từ có nghĩa gần nhau như "vua" và "hoàng hậu", "Seoul" và "Busan" cũng có khoảng cách hoàn toàn như nhau, nên hoàn toàn không chứa được quan hệ ngữ nghĩa. Nghĩa là one-hot "nhận dạng" được nhưng không "hiểu" được.

Embedding giải quyết trực diện vấn đề này. Mỗi đối tượng được biểu diễn bằng vector số thực đậm đặc (dense) có hàng trăm chiều, nhưng tọa độ đó được học từ dữ liệu sao cho các đối tượng có nghĩa tương tự được đặt gần nhau trong không gian. Kết quả là khoảng cách·góc giữa các vector chính là độ tương đồng ngữ nghĩa, và như ví dụ nổi tiếng king - man + woman ≈ queen, thậm chí có thể suy luận quan hệ ngữ nghĩa bằng phép số học vector. Hệ tọa độ được học như vậy được tái sử dụng làm đầu vào cho các tác vụ tiếp sau (downstream task) như tìm kiếm·gợi ý·phân loại·gom cụm.

Ví von thì embedding là việc gán vĩ độ·kinh độ (tọa độ) ngữ nghĩa cho các khái niệm của thế giới. Cũng như trên bản đồ, chỉ cần biết kinh vĩ độ của hai thành phố là có thể tính khoảng cách, khi đặt mọi đối tượng lên cùng một hệ tọa độ thì câu hỏi "cái gì giống cái gì" được quy về phép tính khoảng cách giữa các tọa độ. Ý tưởng đơn giản nhưng mạnh mẽ này là nguyên lý chung xuyên suốt toàn bộ tìm kiếm·gợi ý·AI tạo sinh.

B. Sự cần thiết và đặc điểm

Ngày nay embedding đã vượt khỏi công cụ của một số ít nhà nghiên cứu để trở thành hạ tầng của toàn ngành công nghiệp. Tìm kiếm ngữ nghĩa của công cụ tìm kiếm, gợi ý sản phẩm của thương mại, RAG của AI tạo sinh, phát hiện bất thường của bảo mật đều vận hành trên embedding. Nghĩa là embedding là "cửa ải đầu tiên đưa dữ liệu lên không gian ngữ nghĩa", và chất lượng của cửa ải này quyết định giới hạn trên của mọi dịch vụ thông minh về sau.

Có ba lý do khiến embedding trở thành công nghệ nền tảng của AI hiện đại. Thứ nhất, hiệu quả về chiều. Nén vector thưa 100.000 chiều thành vector đậm đặc 300~1.000 chiều, giảm đột phá gánh nặng lưu trữ·tính toán. Thứ hai, tính bảo toàn ngữ nghĩa, khi độ tương đồng được biểu diễn bằng khoảng cách nên được dùng ngay cho các tác vụ dựa trên độ gần như "tìm kiếm·gợi ý·gom cụm". Thứ ba, tính chuyển giao được (transferability). Embedding được học một lần bằng dữ liệu quy mô lớn (mô hình tiền huấn luyện) có thể tái sử dụng cho tác vụ khác có ít dữ liệu, giảm mạnh chi phí học. Nhờ ba tính chất này, embedding ngày nay trở thành đồng tiền chung (common currency) của tìm kiếm ngữ nghĩa·RAG·máy gợi ý·phát hiện bất thường.

Nhìn kỹ hơn vào đặc điểm, điều mang tính quyết định là không gian embedding liên tục và khả vi (differentiable). Biểu diễn one-hot là rời rạc nên không hợp lắm với học giảm gradient của mạng nơ-ron, nhưng vector đậm đặc là tọa độ của không gian liên tục nên có thể được học·tinh chỉnh cùng các lớp khác qua lan truyền ngược. Nghĩa là embedding không phải một quy tắc mã hóa đơn thuần mà là tham số học mà mô hình tự tối ưu từ dữ liệu. Ngoài ra, một không gian embedding không chỉ áp dụng cho văn bản mà còn áp dụng cùng nguyên lý cho bất kỳ đối tượng rời rạc nào như người dùng·sản phẩm·nút·hình ảnh, nên tính vạn năng khi quy các bài toán ở những miền khác nhau về bài toán chung "tìm kiếm độ tương đồng vector" cũng là sức hấp dẫn cốt lõi của embedding.

2. Nguyên lý và cấu trúc học của embedding

Việc học embedding bắt rễ từ "giả thuyết phân bố (Distributional Hypothesis)", tức nhận thức ngôn ngữ học rằng "những từ xuất hiện trong ngữ cảnh tương tự thì có nghĩa tương tự". Nếu huấn luyện mạng nơ-ron dự đoán đối tượng từ ngữ cảnh (hoặc ngược lại), thì như một sản phẩm phụ, tọa độ (ma trận embedding) của từng đối tượng tự nhiên được sắp xếp. Toàn bộ pipeline được cấu thành từ chuỗi liên tục "học → lưu vector → tìm kiếm độ tương đồng" như dưới đây.

flowchart LR
  D["Dữ liệu nguồn<br/>(văn bản·hình ảnh·log)"] --> P["Tiền xử lý·tách token"]
  P --> M["Mô hình embedding<br/>(word2vec·BERT·CLIP)"]
  M --> V["Vector đậm đặc<br/>(ví dụ: 768 chiều)"]
  V --> S[("Kho lưu vector<br/>Vector DB")]
  Q["Truy vấn (Query)"] --> M
  M --> QV["Vector truy vấn"]
  QV --> ANN["Tìm kiếm lân cận gần đúng<br/>(ANN: HNSW·IVF)"]
  S --> ANN
  ANN --> R["Kết quả tương tự<br/>Top-k"]
  style M fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
  style S fill:#e6f4ea,stroke:#34a853

Cốt lõi của việc học nằm ở thiết kế mục tiêu (objective). word2vec, embedding tĩnh ban đầu, đề xuất hai phương thức. CBOW (Continuous Bag-of-Words) dự đoán từ trung tâm từ các từ xung quanh, còn Skip-gram thì ngược lại dự đoán các từ xung quanh từ từ trung tâm. Khi đó softmax trên toàn bộ từ vựng có khối lượng tính toán quá lớn, nên được làm hiệu quả bằng lấy mẫu tiêu cực (Negative Sampling) vốn học phân biệt lân cận thực với phi-lân cận ngẫu nhiên. Đây cũng chính là nguyên mẫu của học tương phản (contrastive learning) sẽ đề cập sau.

Tuy nhiên không gian embedding được học không phải lúc nào cũng lý tưởng. Đặc biệt embedding câu dựa trên transformer thể hiện vấn đề bất đẳng hướng (anisotropy) khi các vector dồn về vùng nón (cone) hẹp, có thể sinh ra méo mó là độ tương đồng cosine giữa các câu khác nhau nhìn chung cao. Để giảm nhẹ điều này, người ta nghiên cứu·áp dụng hậu xử lý trải đều không gian bằng làm trắng (whitening)·chuẩn hóa·học tương phản, và embedding tốt hướng tới không gian đẳng hướng (isotropic) "nếu nghĩa khác thì chắc chắn xa nhau".

Điểm quan trọng nữa là chính hành động nén xuống chiều thấp cưỡng bức tính tổng quát hóa. Nếu chứa 100.000 từ vào 300 chiều thì mỗi chiều được chia sẻ qua nhiều từ, nên mô hình bị ép phát hiện trục ngữ nghĩa tiềm ẩn (latent factor) như "giới tính", "thì", "khẳng·phủ định" thay vì ghi nhớ từng từ riêng lẻ. Kết quả là mỗi chiều của embedding trở thành tổ hợp của các yếu tố ngữ nghĩa mà dữ liệu tự tìm ra, con người không định nghĩa trước. Điều này về nguyên lý cùng mạch với trích xuất đặc trưng của giảm chiều, và vì thế người ta cũng xem embedding là "giảm chiều được học".

Về mặt hiện thực, lớp embedding thực chất là một bảng tra cứu (lookup table) khổng lồ. Khi kích thước từ vựng V, số chiều d thì có ma trận kích thước V×d, và dùng chỉ số nguyên của token đầu vào để rút hàng tương ứng ra được vector. Các phần tử của ma trận này chính là đối tượng học, có thể được học như sản phẩm phụ của tác vụ dự đoán như word2vec, hoặc học đầu-cuối (end-to-end) cùng transformer bên trên như BERT. Nếu embedding tĩnh chỉ dừng ở việc tra cứu bảng này nguyên trạng, thì embedding ngữ cảnh gia công lại vector khởi đầu đã tra cứu bằng attention để tạo vector cuối cùng phù hợp với ngữ cảnh — đây là khác biệt mang tính quyết định.

Trong không gian embedding thu được như vậy, cấu trúc hình học phản ánh cấu trúc ngữ nghĩa. Ví dụ quan hệ quốc gia–thủ đô ("Hàn Quốc:Seoul = Nhật Bản:Tokyo") xuất hiện dưới dạng một vector hướng nhất định, và các quan hệ ngữ pháp như số ít·số nhiều, thì, giới tính cũng được biểu diễn bằng dịch chuyển đều đặn. Điều này cho thấy embedding không phải nén đơn thuần mà là hệ tọa độ mã hóa (encode) quan hệ. Tuy nhiên cần lưu ý rằng tính quy luật này là khuynh hướng xấp xỉ chứ không phải đẳng thức chặt chẽ, và phụ thuộc vào thống kê của kho ngữ liệu học.

Do đó chất lượng embedding chịu chi phối mang tính quyết định bởi quy mô·chất lượng·tính đại diện của dữ liệu học. Nếu thuật ngữ của miền cụ thể (y tế·pháp lý·bán dẫn) hiếm gặp trong kho ngữ liệu web tổng quát, thì embedding vạn năng không phân biệt được các thuật ngữ đó nên độ chính xác tìm kiếm sụt mạnh. Vì thế trong thực tế người ta học thêm (continued pretraining) mô hình vạn năng bằng kho ngữ liệu miền, hoặc tinh chỉnh bằng các cặp truy vấn–đáp án để sắp xếp lại cấu trúc ngữ nghĩa của miền. "Embedding tốt" cũng là vấn đề đã học bằng cái gì, không chỉ là cấu trúc mô hình.

3. Các loại embedding

Embedding được phân loại theo "biểu diễn cái gì (đối tượng)·như thế nào (có phản ánh ngữ cảnh hay không)". Sắp xếp phả hệ phát triển tiêu biểu theo dòng tĩnh → ngữ cảnh → đa phương thức thì như sau.

flowchart TB
  E["Embedding<br/>(Embedding)"] --> W["Embedding từ<br/>Word Embedding"]
  E --> C["Embedding ngữ cảnh<br/>Contextual"]
  E --> X["Embedding đa phương thức<br/>Multimodal"]
  W --> W1["word2vec<br/>(CBOW·Skip-gram)"]
  W --> W2["GloVe<br/>(đồng xuất hiện toàn cục)"]
  W --> W3["FastText<br/>(từ con·xử lý OOV)"]
  C --> C1["ELMo·BERT<br/>(phản ánh ngữ cảnh trong câu)"]
  C --> C2["SBERT<br/>(embedding câu)"]
  X --> X1["CLIP<br/>(căn chỉnh văn bản-hình ảnh)"]
  style E fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px

Phả hệ này cũng chính là lịch sử mở rộng bài toán mà embedding muốn giải, từ "nghĩa của từ" sang "nghĩa trong ngữ cảnh", rồi đến "nghĩa xuyên qua các phương thức". Càng về sau khả năng biểu diễn càng lớn nhưng chi phí tính toán và độ phức tạp vận hành cũng tăng theo, nên trong thực tế nguyên tắc là chọn khả năng biểu diễn tối thiểu mà tác vụ yêu cầu.

Embedding từ (tĩnh, Static) gán một vector cố định cho một từ. word2vec dùng cửa sổ ngữ cảnh cục bộ, còn GloVe (Global Vectors) phân rã ma trận thống kê đồng xuất hiện toàn cục để thu tọa độ. FastText biểu diễn từ bằng tổng các n-gram ký tự, nên mạnh với từ chưa đăng ký (OOV) không có trong lúc học hoặc với ngôn ngữ biến đổi hình thái nhiều (bao gồm trợ từ·biến cách tiếng Hàn). Giới hạn của embedding tĩnh là gộp từ đa nghĩa vào một vector như "bae (trái lê)" và "bae (con thuyền)" nên không phân biệt được ngữ cảnh.

Trong xử lý tiếng Hàn, việc chọn đơn vị của embedding tĩnh đặc biệt quan trọng. Tiếng Hàn vốn là ngôn ngữ chắp dính, hình thái biến đổi đa dạng khi trợ từ gắn vào gốc từ như "trường học/ở trường học/tới trường học", nên nếu học theo đơn vị tiết vị (từ tố) thì từ vựng bùng nổ và độ thưa trầm trọng. Vì thế điểm mấu chốt trong thực tế là tách gốc từ bằng phân tích hình thái, hoặc dùng từ con (subword) của FastText·bộ tách token cấp từ con (như BPE) để xử lý vững chắc từ chưa đăng ký và các dạng biến cách. Đây là ví dụ tiêu biểu cho việc đặc tính ngôn ngữ can thiệp trực tiếp vào thiết kế embedding.

Embedding ngữ cảnh (Contextual) vượt giới hạn này, sinh ra vector khác nhau mỗi lần ngay cả với cùng một từ tùy theo vị trí·các từ xung quanh trong câu. Ví dụ "sagwa" trong "đã ăn sagwa (táo)" và "sagwa" trong "đã dâng sagwa (lời xin lỗi)" là cùng một vector trong embedding tĩnh, nhưng trong embedding ngữ cảnh chúng phân hóa thành các vector khác nhau, lần lượt gần với trái cây·lời xin lỗi. Qua ELMo (LSTM hai chiều) rồi đến BERT dựa trên transformer là tiêu biểu, xử lý toàn bộ câu bằng tự chú ý (self-attention) để phản ánh ngữ cảnh. Để tìm kiếm theo đơn vị câu·tài liệu, SBERT (Sentence-BERT) vốn tinh chỉnh BERT thành mạng Siamese được dùng rộng rãi, sinh trực tiếp embedding câu nên xử lý tìm kiếm câu tương tự nhanh hơn hàng chục nghìn lần so với BERT gốc. Vì để tính độ tương đồng cặp câu bằng BERT gốc thì phải mã hóa lại mọi cặp, còn SBERT vector hóa mỗi câu chỉ một lần rồi để đó và so sánh chỉ bằng phép tính vector.

Embedding đa phương thức (Multimodal) căn chỉnh các phương thức (modality) khác nhau vào một không gian chung. CLIP tiêu biểu học tương phản để hình ảnh và văn bản mô tả nó gần nhau, giúp thực hiện tìm kiếm chéo "tìm hình ảnh bằng văn bản". Đây trở thành nền tảng của các mô hình hình ảnh·video tạo sinh và RAG đa phương thức ngày nay.

Embedding đa phương thức gần đây đang mở rộng theo hướng căn chỉnh cả âm thanh·video·bảng (table)·mã vào một không gian, vượt khỏi văn bản·hình ảnh. Nếu biểu diễn mọi phương thức bằng vector chung thì tìm kiếm chéo "tìm hình ảnh bằng giọng nói, tìm tài liệu bằng mã" trở nên tự nhiên. Điều này kết hợp với LLM đa phương thức tạo thành tầng tri giác (perception) của tác nhân hiểu tích hợp tài liệu·màn hình·giọng nói.

Mặt khác, chiến lược gộp (pooling) cũng là phương pháp thực tế quan trọng để thu embedding câu·tài liệu. Các mô hình như BERT xuất ra vector cho mỗi token, nên phải hợp chúng thành một vector câu. So với cách dùng vector của token đặc biệt (CLS), gộp trung bình (mean pooling) lấy trung bình mọi vector token nhìn chung tốt hơn về chất lượng tìm kiếm nên dòng SBERT áp dụng rộng rãi. Vượt khỏi văn bản, embedding còn được áp dụng cho cả đồ thị: node2vec·DeepWalk học chuỗi nút thu được bằng bước đi ngẫu nhiên (random walk) trên đồ thị giống như word2vec để tạo embedding nút, được dùng cho biểu diễn quan hệ của mạng xã hội·đồ thị tri thức·gợi ý. Như vậy embedding chỉ thay đổi đối tượng biểu diễn nhưng chia sẻ nguyên lý "học biểu diễn từ ngữ cảnh".

Loại	Mô hình tiêu biểu	Phản ánh ngữ cảnh	Điểm mạnh	Giới hạn
Từ tĩnh	word2vec·GloVe·FastText	Không (vector cố định)	Nhẹ và nhanh, dễ diễn giải	Không phân biệt được từ đa nghĩa
Ngữ cảnh	BERT·ELMo·SBERT	Có (vector biến đổi)	Bắt được từ đa nghĩa·nghĩa câu	Chi phí tính toán lớn
Đa phương thức	CLIP v.v.	Có (chéo phương thức)	Tìm kiếm chéo hình ảnh-văn bản	Khó về dữ liệu học·độ khó căn chỉnh

Kiểm định chất lượng embedding thế nào cũng là điểm tranh luận cốt lõi trong thực tế. Đánh giá chia thành hai nhánh lớn. Đánh giá nội tại (intrinsic) trực tiếp kiểm tra cấu trúc ngữ nghĩa của bản thân embedding bằng tập dữ liệu độ tương đồng từ·loại suy (analogy), còn đánh giá ngoại tại (extrinsic) đánh giá gián tiếp bằng hiệu năng của tác vụ tiếp sau thực tế như tìm kiếm·phân loại. Vì điều quan trọng cuối cùng là hiệu năng tác vụ tiếp sau, nên khi triển khai nên trực tiếp đo các chỉ số như độ chính xác tìm kiếm (nDCG·recall@k) bằng dữ liệu của mình để chọn mô hình.

4. Đo độ tương đồng và các trường hợp ứng dụng

Lý do tạo embedding cuối cùng là để tính "sự gần" trong không gian vector và tạo ra giá trị sử dụng. Nếu đã thu được hệ tọa độ tốt bằng việc học, thì bước tiếp theo là hàm độ tương đồng định lượng hai vector giống nhau bao nhiêu, và chỉ mục tìm nhanh cái gần trong vô số vector. Mục này trước tiên xem tiêu chí chọn chỉ số độ tương đồng, rồi khảo sát nó được hiện thực bằng những cách khác nhau ra sao trong các ứng dụng tiêu biểu là tìm kiếm·gợi ý·phát hiện bất thường·gom cụm.

Giá trị của embedding được hiện thực bằng cách đo độ tương đồng giữa các vector. Tiêu biểu, độ tương đồng cosine (Cosine Similarity) chỉ nhìn hướng (góc) của hai vector nên loại trừ ảnh hưởng độ lớn (độ dài), được dùng làm chuẩn trong tìm kiếm văn bản có độ dài tài liệu khác nhau. Tích trong (Dot Product) phản ánh cả hướng và độ lớn nên được dùng khi muốn chứa cả độ phổ biến trong gợi ý, còn khoảng cách Euclid (L2) đo chênh lệch vị trí tuyệt đối. Nếu chuẩn hóa vector thì cosine·tích trong·L2 thực chất tương đương nhau, nên trong thực tế nhiều khi tính bằng tích trong sau khi chuẩn hóa để lấy tốc độ.

Khác biệt của ba chỉ số lộ ra bằng một con số đơn giản. Xét vector A=(1, 0) và B=(2, 0) dài gấp đôi nó, vì hướng của hai vector hoàn toàn giống nhau nên độ tương đồng cosine là 1.0 đạt cực đại, nhưng khoảng cách Euclid là 1.0 khác 0 và tích trong là 2 lớn hơn A·A (=1). Nghĩa là nếu muốn xem "cùng hướng thì đương nhiên tương tự" thì cosine hợp, còn nếu muốn "phản ánh cả độ lớn (cường độ·tần suất·độ phổ biến)" thì tích trong hợp. Nếu dùng tích trong mà không chuẩn hóa embedding tài liệu thì sinh ra thiên lệch tài liệu dài lên hạng cao một cách bất công, và đây là lý do thực tế khiến cosine trở thành thông lệ trong tìm kiếm văn bản.

Trường hợp 1 — Tìm kiếm ngữ nghĩa và RAG. Tìm kiếm từ khóa hiện có bỏ sót tài liệu "khiếm khuyết xe" khi truy vấn "xe hỏng". Tìm kiếm embedding biến hai cách diễn đạt thành vector gần nhau để thực hiện so khớp dựa trên nghĩa. Ví dụ chuyển hàng trăm nghìn tài liệu nội bộ thành vector 768 chiều đưa vào vector DB, ánh xạ câu hỏi người dùng vào cùng không gian rồi rút 5 kết quả có độ tương đồng cosine cao nhất đưa vào prompt của LLM là pipeline [[rag]] điển hình. Chất lượng tìm kiếm chịu chi phối trực tiếp bởi hiệu năng của mô hình embedding. Trong thực tế, tìm kiếm lai (hybrid) dùng chung tìm kiếm đậm đặc (dense) dựa trên embedding và tìm kiếm thưa (sparse) dựa trên từ khóa như BM25 đã trở thành chuẩn, vì tìm kiếm đậm đặc bổ trợ về nghĩa còn tìm kiếm thưa bổ trợ khớp chính xác như danh từ riêng·mã·số, lấp điểm yếu của nhau.

Trường hợp 2 — Hệ thống gợi ý. Netflix·trung tâm mua sắm học người dùng·sản phẩm thành embedding hàng trăm chiều mỗi loại, gợi ý các vector sản phẩm gần với vector của người dùng cụ thể. "Sản phẩm mà người xem sản phẩm này cũng xem" được hiện thực bằng tìm kiếm lân cận gần nhất của embedding sản phẩm. Khởi động nguội (cold start) vốn khó gợi ý do người dùng·sản phẩm mới chưa có vector được giảm nhẹ bằng embedding siêu dữ liệu.

Lý do embedding mạnh trong gợi ý nằm ở cách học. Cấu trúc hai tháp (two-tower) mã hóa người dùng và sản phẩm thành vector riêng, lấy log nhấp chuột·mua hàng thực làm cặp đáp án để học "người dùng–sản phẩm đã tương tác thì gần, cặp không thì xa". Kết quả là cấu trúc tiềm ẩn của sở thích được chứa vào vector mà không cần quy tắc tường minh, và sản phẩm mới chỉ cần có đặc trưng là được ánh xạ vào cùng không gian trở thành ứng viên gợi ý ngay lập tức. Xem như embedding bổ trợ đáng kể các điểm yếu về độ thưa·khởi động nguội của lọc cộng tác.

Trường hợp 3 — Phát hiện bất thường·khử trùng lặp. Embedding dữ liệu log·giao dịch để phát hiện các vector nằm xa mẫu bình thường như điểm bất thường, hoặc lọc nội dung đạo·trùng lặp trên quy mô lớn bằng độ gần của embedding tài liệu·hình ảnh. Ở quy mô hàng trăm triệu bản, người ta đạt tìm kiếm cấp mili giây bằng chỉ mục tìm kiếm lân cận gần đúng (ANN) như HNSW·IVF-PQ. Tìm kiếm toàn bộ chính xác (brute-force) tốn O(N) tỉ lệ với số ứng viên N, nhưng ANN nhường một chút độ chính xác (recall) để đổi lấy việc tìm lân cận gần trong thời gian dưới tuyến tính (sub-linear), giúp dịch vụ quy mô lớn thời gian thực.

Trường hợp 4 — Gom cụm·hiểu dữ liệu. Sau khi embedding hàng trăm nghìn đánh giá khách hàng rồi gom cụm bằng k-means·HDBSCAN thì các cụm chủ đề như "phàn nàn giao hàng", "hài lòng chất lượng" tự động lộ ra mà con người không cần gán nhãn. Điều này kết hợp với trực quan hóa t-SNE·UMAP của [[dimensionality-reduction]] trở thành công cụ mạnh cho khám phá dữ liệu·kiểm định chất lượng.

Để nâng cao độ chính xác hơn nữa thì dùng cấu trúc tìm kiếm 2 giai đoạn (retrieve-then-rerank). Trước tiên dùng bộ mã hóa đôi (bi-encoder) dựa trên embedding để rút nhanh vài chục kết quả hàng đầu từ hàng triệu ứng viên, rồi tái sắp xếp (re-rank) bằng bộ mã hóa chéo (cross-encoder) vốn nhập chung truy vấn–ứng viên để chấm điểm tinh vi. Bộ mã hóa đôi nhanh vì đã vector hóa trước nhưng không thấy được tương tác truy vấn–tài liệu, còn bộ mã hóa chéo chậm nhưng tinh vi. Kết hợp hai phương thức thành các giai đoạn để đạt đồng thời tốc độ và độ chính xác là thiết kế chuẩn mực của tìm kiếm·RAG quy mô lớn.

Cốt lõi của so sánh là "dùng độ tương đồng nào" gắn trực tiếp với ý nghĩa của tác vụ. Tìm kiếm tài liệu cần loại bỏ thiên lệch độ dài thì cosine, gợi ý cần phản ánh độ phổ biến·cường độ thì tích trong, dữ liệu dạng tọa độ nơi độ gần vật lý có ý nghĩa thì Euclid là phù hợp. Nên chọn theo dữ liệu·mục đích thay vì dùng cosine theo quán tính đơn thuần. Ngoài ra, cân bằng giữa độ chính xác (recall) và độ trễ (latency)·chi phí được điều chỉnh bằng loại chỉ mục và tham số, nên việc chọn chỉ số độ tương đồng và thiết kế chỉ mục phải được xử lý cùng nhau như một bài toán.

5. Chuyên sâu: Xu hướng mới nhất và hướng ra đề dự kiến

Công nghệ embedding xuất phát từ vector từ tĩnh, qua ngữ cảnh·đa phương thức, và nay đang hội tụ theo hướng "xử lý nhiều tác vụ bằng một embedding vạn năng nhưng điều chỉnh chi phí linh hoạt". Sắp xếp dòng chảy mới nhất theo ba trục.

Thứ nhất, sự trỗi dậy của embedding vạn năng dựa trên học tương phản. Mô hình embedding gần đây nâng chất lượng bằng học tương phản (Contrastive Learning) kéo "cặp dương gần lại, cặp âm xa ra" mà không cần nhãn. Các mô hình embedding câu như SimCSE·E5·BGE và mô hình đa phương thức dòng CLIP đều chia sẻ nguyên lý này, hướng tới embedding vạn năng xử lý tìm kiếm·phân loại·gom cụm bằng một vector. Làm chuẩn thực chất để so sánh chất lượng embedding, người ta tham chiếu các benchmark đa tác vụ như MTEB (Massive Text Embedding Benchmark).

Thứ hai, chiều biến đổi và làm nhẹ — embedding Matryoshka. Học biểu diễn matryoshka (MRL) học sao cho một vector giữ nghĩa ngay cả khi chỉ cắt các chiều phía trước, giúp điều chỉnh chiều theo mục đích trong cùng một mô hình (ví dụ: tìm kiếm chính xác 1.536 chiều, lọc ứng viên số lượng lớn 256 chiều). Dòng text-embedding-3 của OpenAI phản ánh điều này bằng tùy chọn giảm chiều, cho thấy rõ dòng chảy dung hòa linh hoạt chi phí lưu·tìm kiếm với độ chính xác. Kết hợp thêm lượng tử hóa vector (Product Quantization) để giảm kích thước chỉ mục xuống vài chục lần.

Thứ ba, embedding chuyên biệt hóa tác vụ dựa trên chỉ dẫn (instruction). Mô hình embedding gần đây đang tiến hóa để gắn một câu chỉ dẫn ngắn cho biết mục đích như "để tìm kiếm câu hỏi", "để lập chỉ mục tài liệu" ở trước đầu vào, sinh ra vector khác nhau phù hợp với tác vụ ngay cả với cùng một câu. Đây là dòng chảy giúp một mô hình vạn năng đáp ứng nhiều tác vụ như tìm kiếm·phân loại·gom cụm·độ tương đồng câu, mã hóa truy vấn và tài liệu bất đối xứng để nâng cao chất lượng tìm kiếm. Điều này cho thấy embedding đang chuyển từ biểu diễn cố định sang biểu diễn thích nghi với ngữ cảnh·mục đích.

Thứ tư, hướng ra đề đã ra·dự kiến. Trong kỳ thi kỹ sư trưởng dự kiến các dạng: (1) chỉ ra giới hạn của mã hóa one-hot và luận về embedding giải quyết điều đó ra sao, (2) đối chiếu khác biệt giữa embedding tĩnh và embedding ngữ cảnh (word2vec vs BERT) từ góc độ xử lý từ đa nghĩa, (3) giải thích vị trí và vai trò của embedding trong kiến trúc RAG nối embedding–vector DB–ANN–LLM, (4) trình bày tiêu chí chọn độ tương đồng cosine·tích trong·Euclid và hàm ý thực tế. Bài làm triển khai theo trình tự 'khái niệm→nguyên lý (giả thuyết phân bố)→loại→độ tương đồng·ứng dụng→đánh đổi·quản trị' thì tính hoàn chỉnh cao.

6. Điểm cần cân nhắc và hàm ý

Embedding không phải công nghệ chỉ cần triển khai là xong, mà là hạ tầng phải quản lý toàn bộ vòng đời từ chọn mô hình đến thiên lệch·trôi dạt·bảo mật·chi phí. Từ góc độ kỹ sư trưởng, khi thiết kế·vận hành·đánh giá embedding phải cân nhắc tổng hợp những điều sau.

Quản lý đánh đổi trong chọn mô hình·chiều. Chiều càng lớn thì khả năng biểu diễn càng cao nhưng chi phí lưu·tìm kiếm và rủi ro tập trung khoảng cách theo "lời nguyền chiều" càng lớn. Phải định mô hình embedding và chiều theo đặc tính tác vụ (tìm kiếm·phân loại·gợi ý) và quy mô dữ liệu, và khi cần thì dung hòa định lượng độ chính xác–chi phí bằng Matryoshka·PQ. Nếu có nhiều dữ liệu chuyên biệt miền thì tinh chỉnh theo miền nâng cao đáng kể chất lượng tìm kiếm thay vì dùng nguyên mô hình vạn năng.
Thiên lệch (Bias) và tính công bằng. Embedding có thể hấp thụ nguyên trạng thiên lệch xã hội (định kiến giới·chủng tộc·nghề nghiệp) của kho ngữ liệu học và mã hóa các quan hệ méo mó như 'programmer:man = homemaker:woman'. Trong các lĩnh vực nhạy cảm như tuyển dụng·tín dụng, đo·giảm nhẹ thiên lệch (debiasing) và đánh giá tác động là bắt buộc, và điều này gắn trực tiếp với [[ai-trustworthiness]]·quản trị AI.
Trôi dạt embedding và quản lý phiên bản. Nếu phân bố dữ liệu thay đổi hoặc thay mô hình thì không gian embedding khác đi, không tương thích với vector đã lập chỉ mục trước đó. Vì thay mô hình thì phải embedding lại toàn bộ kho ngữ liệu (re-embedding), nên phải quản lý phiên bản·chiều·cách chuẩn hóa của mô hình embedding bằng siêu dữ liệu và phản ánh chi phí lập chỉ mục lại vào kế hoạch vận hành. Trong sản xuất đòi hỏi hệ thống giám sát trôi dạt và kiểm định A/B.
Bảo mật·quyền riêng tư. Embedding từng được coi là không thể khôi phục bản gốc, nhưng nghiên cứu gần đây cho thấy có thể khôi phục phần lớn văn bản gốc bằng đảo ngược embedding (embedding inversion). Embedding của văn bản chứa thông tin cá nhân có thể tự nó là thông tin bán-định danh, nên phải áp dụng kiểm soát truy cập·mã hóa·biện pháp phi định danh, và nhất định phải xem xét rủi ro rò rỉ khi gửi dữ liệu nhạy cảm qua API embedding bên ngoài.
Góc độ chi phí·vận hành (FinOps). Sinh embedding của kho ngữ liệu quy mô lớn gây chi phí GPU, còn lưu·tìm kiếm vector gây chi phí bộ nhớ. Nếu lưu 100 triệu bản bằng float32 1.536 chiều thì lên tới khoảng 600GB, nên phải quản lý chi phí bằng giảm chiều (Matryoshka)·lượng tử hóa (PQ·nhị phân hóa)·chỉ mục dựa trên đĩa. API embedding bên ngoài tính phí tỉ lệ với lượng gọi, nên thiết kế bộ nhớ đệm embedding tránh tính lại và xử lý theo lô chi phối chi phí vận hành.
Công nghệ liên kết và thiết kế kiến trúc. Embedding không phải công nghệ đơn lẻ mà tối đa hóa giá trị khi kết hợp với [[vector-database]]·chỉ mục ANN (HNSW·IVF-PQ)·LLM·bộ nhớ đệm. Góc nhìn tích hợp khi thiết kế [[rag]]·gợi ý·tìm kiếm thành một pipeline vector duy nhất, và cùng tinh chỉnh chiến lược chia khối (chunking)·chỉ số độ tương đồng·tham số chỉ mục (ef·M của HNSW v.v.) sẽ chi phối đồng thời hiệu năng và chi phí.

Tài liệu tham khảo

T. Mikolov et al., "Efficient Estimation of Word Representations in Vector Space": https://arxiv.org/abs/1301.3781
Nils Reimers, "Sentence-BERT": https://arxiv.org/abs/1908.10084
Kusupati et al., "Matryoshka Representation Learning": https://arxiv.org/abs/2205.13147
MTEB: Massive Text Embedding Benchmark: https://huggingface.co/spaces/mteb/leaderboard

Tóm tắt một câu: Embedding là kỹ thuật học biểu diễn ánh xạ từ·câu·hình ảnh v.v. thành vector đậm đặc số chiều thấp trong đó sự tương đồng ngữ nghĩa được bảo toàn dưới dạng khoảng cách, vượt giới hạn của one-hot để phát triển thành tĩnh·ngữ cảnh·đa phương thức, hiện thực tìm kiếm ngữ nghĩa·RAG·gợi ý bằng độ tương đồng cosine·tích trong v.v., và tối đa hóa giá trị khi kết hợp với vector DB·ANN·LLM qua việc quản lý các đánh đổi chiều·thiên lệch·trôi dạt·quyền riêng tư.