Kỹ sư QLTT Ghi chú ôn thi
← Về danh sách
AI & Dữ liệu
#SSM#Mamba#선택적 상태공간#장문맥#Transformer 대안
Cập nhật lần cuối · 2026-10-22

Mô hình không gian trạng thái (SSM) và kiến trúc Mamba

1. Tổng quan

A. Định nghĩa và bối cảnh ra đời

Mô hình không gian trạng thái (SSM, State Space Model) là một họ mạng nơ-ron sâu mượn các phương trình không gian trạng thái tuyến tính của lý thuyết điều khiển (x'(t)=Ax(t)+Bu(t), y(t)=Cx(t)) cho mô hình hóa chuỗi, nén thông tin quá khứ vào một trạng thái ẩn (Hidden State) kích thước cố định trong khi xử lý chuỗi đầu vào theo thời gian tuyến tính (O(n)). Mamba là kiến trúc tiêu biểu năm 2023 bổ sung một cơ chế chọn lọc (Selective Mechanism) phụ thuộc đầu vào để đạt hiệu năng sánh ngang Transformer ở độ phức tạp tuyến tính.

Lịch sử mô hình hóa chuỗi là một hành trình dài trăn trở quanh câu hỏi "làm sao ghi nhớ quá khứ?". Mạng nơ-ron hồi quy (RNN) nén quá khứ bằng cách cập nhật trạng thái ẩn từng bước một, nhưng hiện tượng tiêu biến gradient khiến khó học các phụ thuộc dài hạn, và vì tính toán tuần tự nên không thể song song hóa, khiến huấn luyện chậm. Transformer ra đời năm 2017 dùng tự chú ý (Self-Attention) để kết nối trực tiếp mọi cặp token, giải quyết đồng thời phụ thuộc dài hạn và huấn luyện song song, và từ đó trở thành chuẩn mực trên thực tế của các mô hình ngôn ngữ lớn (LLM).

Tuy nhiên, tự chú ý của Transformer mang một giới hạn căn bản: tính toán và bộ nhớ tăng theo O(n²) theo độ dài chuỗi n. Tài liệu càng dài, tức cửa sổ ngữ cảnh càng phình ra hàng chục đến hàng trăm nghìn token, chi phí bùng nổ theo lũy thừa bậc hai, và khi suy luận, bộ đệm KV (KV Cache) lưu khóa·giá trị của mọi token quá khứ cứ lớn lên tỉ lệ với độ dài chuỗi. Với các bài toán phải xử lý chuỗi dài hàng trăm nghìn đơn vị như chuỗi gen dài, âm thanh độ phân giải cao, tài liệu dài, chi phí bậc hai này là chí mạng.

SSM và đỉnh cao của nó là Mamba nhắm đúng vào điểm này. Thay cho chú ý "nhìn toàn bộ quá khứ", nếu nén quá khứ vào một trạng thái kích thước cố định và mang theo, chi phí chỉ tăng tuyến tính theo độ dài chuỗi và kích thước trạng thái giữ không đổi khi suy luận. Nói cách khác, Mamba cố kết hợp suy luận hiệu quả của RNN với huấn luyện song song·năng lực biểu diễn của Transformer trong một khung, và nó nằm ở trung tâm cuộc tranh luận về kiến trúc "hậu Transformer (Post-Transformer)".

B. Sự cần thiết và đặc điểm

SSM cần thiết vì các chuỗi mà AI hiện đại xử lý đang dài ra nhanh chóng. Hiểu các cơ sở mã nguồn dài, phân tích hợp đồng hàng trăm trang, xử lý luồng giọng nói·cảm biến thời lượng dài, mô hình hóa chuỗi DNA·protein đều đòi quy mô hàng chục nghìn đến hàng triệu token. Trong lĩnh vực này, chú ý O(n²) đụng tường bộ nhớ, và một mô hình tuyến tính theo độ dài được đòi hỏi như giải pháp thay thế thực dụng. Độ phức tạp tuyến tính không chỉ là cải thiện tốc độ mà là một chuyển dịch về chất, biến các bài toán có độ dài trước đây bất khả xử lý thành những bài toán "giải được".

Nhờ đặc tính này, SSM phát huy thế mạnh đặc biệt với dữ liệu "gần với tín hiệu", tức các chuỗi rất dài, đều đặn và coi trọng cấu trúc cục bộ như sóng âm·chuỗi thời gian cảm biến·chuỗi gen. Ngược lại, với dữ liệu như mã nguồn·công thức phải tham chiếu chính xác các token ở xa, truy xuất trực tiếp của chú ý có thể có lợi. Do đó khẳng định kiểu "SSM tốt/kém hơn Transformer" không đứng vững; phải lấy làm tiền đề rằng lợi·bất lợi phân chia theo bản chất dữ liệu và yêu cầu của bài toán.

Đặc điểm của họ SSM tóm lại ba điểm. Thứ nhất, hình thức kép (Dual Form). Một SSM tuyến tính bất biến thời gian (LTI) có thể song song hóa khi huấn luyện ở hình thức tích chập (Convolution) xử lý toàn chuỗi một lần, và chuyển sang hình thức hồi quy (Recurrence) cập nhật trạng thái từng bước khi suy luận, sinh ra với thời gian·bộ nhớ hằng số cho mỗi token. Thứ hai, mạnh ở xử lý chuỗi dài. Khởi tạo ma trận trạng thái theo hướng có lợi cho trí nhớ dài hạn (HiPPO) giúp giữ trong trạng thái cả thông tin từ hàng nghìn đến hàng chục nghìn bước trước. Thứ ba, hiệu quả suy luận vượt trội. Không có bộ đệm KV nên bộ nhớ giữ không đổi bất kể độ dài chuỗi, do đó thông lượng vượt xa Transformer khi sinh ngữ cảnh dài.

Dù vậy, các SSM đời đầu (như S4) thiếu khả năng "ghi nhớ·quên theo nội dung một cách chọn lọc" vì cấu trúc LTI, tức luôn dùng cùng ma trận A·B·C bất kể đầu vào. Chúng yếu ở suy luận dựa trên nội dung (Content-based Reasoning) mà nhờ đó chú ý chỉ đích danh và tham chiếu các token cụ thể. Đổi mới cốt lõi của Mamba nằm ở cơ chế chọn lọc phá vỡ ràng buộc này bằng cách làm cho các ma trận phụ thuộc đầu vào, và đây là bước ngoặt nâng SSM từ "quán quân benchmark đồ chơi" lên "đối thủ của mô hình ngôn ngữ".

Tóm lại, họ SSM nhắm đồng thời ba yêu cầu của mô hình hóa chuỗi — nắm bắt phụ thuộc dài, tính song song khi huấn luyện, và suy luận chi phí thấp — trong một khung toán học. RNN có hiệu quả suy luận nhưng yếu về song song huấn luyện và trí nhớ dài hạn; Transformer có năng lực biểu diễn và song song nhưng mất hiệu quả suy luận. SSM, và đặc biệt Mamba, hồi sinh ý tưởng cũ "nén trạng thái" bằng khởi tạo hiện đại (HiPPO), cơ chế chọn lọc và tối ưu phần cứng, đưa ra một điểm cân bằng mới giữa ba yêu cầu — và ở đó nằm ý nghĩa lịch sử của chúng.

2. Cấu trúc toán học của mô hình không gian trạng thái và hai chế độ tính toán

Gốc của SSM là phương trình không gian trạng thái liên tục của kỹ thuật điều khiển. Khi tín hiệu đầu vào u(t) tới, trạng thái nội x(t) tiến hóa theo x'(t)=Ax(t)+Bu(t), và đầu ra được quyết định bởi y(t)=Cx(t). Ở đây A là ma trận chuyển trạng thái quy định trạng thái chuyển tiếp·suy giảm theo thời gian ra sao, B là ảnh hưởng của đầu vào lên trạng thái, C là ma trận ánh xạ trạng thái thành đầu ra. Trong học sâu, hệ liên tục này được rời rạc hóa (Discretization) để áp dụng cho chuỗi, đặt một bước Δ và thu các ma trận rời rạc Ā, B̄ qua giữ bậc không (ZOH, Zero-Order Hold) và tương tự.

Trong rời rạc hóa, bước Δ là giá trị quy định lấy mẫu hệ liên tục mịn đến đâu, tương ứng "độ phân giải thời gian". Δ nhỏ phản ánh đầu vào tinh tế và có xu hướng giữ trạng thái quá khứ lâu hơn; Δ lớn phản ánh đầu vào hiện tại mạnh và cập nhật trạng thái nhanh. Như sẽ thấy, Mamba hiện thực "trí nhớ chọn lọc" chính nhờ điều chỉnh động Δ này theo đầu vào, và khác biệt cốt lõi là ở SSM cố định giá trị này bị đóng băng thành một hằng số đã học.

Khi rời rạc hóa, hai phương trình trở thành cốt lõi: cập nhật trạng thái x_k = Ā·x_{k-1} + B̄·u_k, và đầu ra y_k = C·x_k. Hình thức hồi quy này, như RNN, cập nhật trạng thái từng bước, nên khi suy luận sinh đầu ra kế tiếp với thời gian·bộ nhớ hằng số mà không duyệt lại toàn bộ quá khứ. Dưới giả định LTI (Ā, B̄, C đồng nhất ở mọi bước), cùng phép tính có thể trải thành một nhân tích chập K̄ dài duy nhất, song song hóa toàn chuỗi một lần qua FFT khi huấn luyện. Tính kép này — rằng "cùng mô hình có thể tính theo hồi quy hoặc theo tích chập" — là bí quyết hiệu quả của SSM.

Sơ đồ cấu trúc dưới đây cho thấy toàn cảnh một SSM liên tục, qua rời rạc hóa, tách thành hai chế độ hồi quy và tích chập, và mỗi chế độ được dùng cho huấn luyện·suy luận ra sao.

flowchart TB
  CONT["SSM liên tục(x'=Ax+Bu, y=Cx)"] --> DISC["Rời rạc hóa(bước Delta, ZOH)"]
  DISC --> REC["Chế độ hồi quy(x_k=A_bar x_k-1 + B_bar u_k)"]
  DISC --> CONV["Chế độ tích chập(gộp qua nhân K_bar)"]
  REC --> INF["Suy luận: thời gian/bộ nhớ hằng số mỗi token"]
  CONV --> TRN["Huấn luyện: xử lý song song toàn chuỗi"]
  DISC --> HIPPO["Khởi tạo HiPPO(giữ trí nhớ dài hạn)"]
  HIPPO --> REC
  HIPPO --> CONV

Một điểm cần lưu ý là hình thức hồi quy và hình thức tích chập hoàn toàn tương đương về toán học. Chúng chỉ đổi cách tính với cùng tham số nên kết quả như nhau; chỉ khác là bên nào hiệu quả hơn cho tình huống (huấn luyện hay suy luận). Khoảnh khắc tính tương đương này đổ vỡ chính là nơi cơ chế chọn lọc của Mamba được đưa vào; từ đó, đổi lấy việc từ bỏ hình thức tích chập, cần một phương tiện tăng hiệu quả riêng — quét song song.

Việc chọn chiều trạng thái (State Dimension) N là siêu tham số cốt lõi của thiết kế SSM. N quy định "nén quá khứ vào bao nhiêu chiều": N lớn chứa nhiều thông tin quá khứ hơn và nâng năng lực biểu diễn nhưng tăng chi phí tính toán·bộ nhớ, còn N nhỏ thì hiệu quả nhưng mất mát thông tin nhiều hơn. Khác biệt quyết định so với bộ đệm KV của Transformer, vốn lớn lên tỉ lệ (O(n)) với độ dài chuỗi n, là bộ nhớ trạng thái của SSM cố định ở O(N) bất kể n. Ví dụ với N=16, dù xử lý 100.000 hay 1.000.000 token thì bộ nhớ trạng thái vẫn giữ nguyên.

Trải thêm hình thức tích chập một chút, đầu ra y của một SSM LTI có thể biểu diễn như tích chập của đầu vào u với một nhân dài duy nhất K̄=(C·B̄, C·Ā·B̄, C·Ā²·B̄, …). Tức nếu trải trước "kết quả cuộn trạng thái từng bước" thành một bộ lọc duy nhất, có thể tính đầu ra trên toàn chuỗi một lần qua FFT. Đây là thiết bị toán học cốt lõi giúp S4 song song hóa huấn luyện ngay cả trên chuỗi dài hàng chục nghìn. Vấn đề là tính nhân K̄ này một cách ổn định·hiệu quả từ lũy thừa của Ā là khó về mặt số học, và S4 giải quyết bằng cách tái cấu trúc ma trận thành dạng chéo hóa được.

Vai trò quyết định ở đây thuộc về lý thuyết HiPPO (High-order Polynomial Projection Operator). Đặt A ngẫu nhiên khiến trạng thái quên quá khứ rất nhanh, nhưng HiPPO thiết kế A để xấp xỉ tối ưu tín hiệu quá khứ lên một cơ sở đa thức trực giao, nén và bảo toàn trong trạng thái cả thông tin từ hàng nghìn bước trước. S4 (Structured State Space Sequence, 2021) làm ma trận HiPPO này hiệu quả bằng cấu trúc chéo cộng hạng thấp (Diagonal plus Low-Rank), vượt xa các Transformer đương thời trên các benchmark phụ thuộc dài hạn như Long Range Arena độ dài 16K và chứng minh tiềm năng của họ SSM. Đặc biệt, S4 trở thành mô hình đầu tiên giải một cách có ý nghĩa Path-X (bài toán độ dài 16K trải điểm ảnh thành 1 chiều) mà chưa mô hình nào bẻ khóa, cho thấy bằng thực nghiệm rằng "chỉ riêng nén trạng thái cũng có thể nắm bắt phụ thuộc siêu dài hạn".

Hàm ý thực tiễn của cấu trúc này rõ ràng. Huấn luyện nhanh bằng tích chập tận dụng tối đa song song GPU, và xử lý sinh token ở giai đoạn dịch vụ rẻ bằng hồi quy chỉ mang theo trạng thái. Ví dụ, khi huấn luyện tài liệu 100.000 token với cùng mô hình thì dùng tích chập song song, còn khi sinh câu trả lời thực từng token thì chỉ cập nhật một trạng thái kích thước cố định, nên bộ nhớ không bùng nổ ngay cả với ngữ cảnh dài. Đây là thế mạnh riêng của SSM mà Transformer khó có được về mặt cấu trúc.

3. Từ S4 đến Mamba — nguyên lý không gian trạng thái chọn lọc (Selective SSM)

Giới hạn của S4 chính là cấu trúc tuyến tính bất biến thời gian (LTI). Dùng cùng A·B·C·Δ ở mọi bước, nó nén quá khứ "theo đúng một cách" bất kể nội dung đầu vào. Điều này lý tưởng cho xử lý tín hiệu nhưng không hợp với các bài toán như ngôn ngữ phải phán đoán "từ vừa tới có quan trọng hay có thể bỏ qua". Chẳng hạn phải để các hư từ·khoảng trắng không cần thiết trôi qua trong khi ghi nhớ lâu các danh từ riêng cốt lõi, nhưng ma trận cố định khiến chọn lọc dựa trên nội dung như vậy bất khả. Chính điểm yếu này là lý do S4 không vượt được Transformer trong mô hình ngôn ngữ.

Mamba (2023, Gu & Dao) giải vấn đề này bằng cơ chế chọn lọc (Selective SSM, thường gọi S6). Ý tưởng cốt lõi là làm cho B, C, Δ không còn là tham số cố định mà là hàm của đầu vào hiện tại u_k. Tức mỗi bước nhìn đầu vào và quyết định động "phản ánh bao nhiêu thông tin lần này vào trạng thái (B)", "chiếu trạng thái lên đầu ra thế nào (C)", "cập nhật·quên trạng thái nhanh bao nhiêu (Δ)". Δ lớn tập trung vào đầu vào hiện tại và đặt lại quá khứ; Δ nhỏ bỏ qua hiện tại và giữ trạng thái. Nhờ đó Mamba, như chú ý, có được khả năng ghi nhớ chọn lọc các token quan trọng.

Diễn trực giác của cơ chế chọn lọc thành lời là thế này. Δ (bước) là một kiểu cổng quên thích ứng quy định "phản ứng nhạy đến đâu với đầu vào hiện tại". Khi một token có nghĩa (danh từ riêng, từ khóa) tới, mô hình tăng Δ để khắc mạnh thông tin đó vào trạng thái; với các token hư từ·khoảng trắng·nhiễu lặp lại thì giảm Δ, để chúng trôi qua gần như không đổi trạng thái. Ý tưởng giống cổng của LSTM, nhưng khác về chất ở chỗ nó vận hành phụ thuộc đầu vào trên mọi kênh·mọi bước và cho phép huấn luyện quy mô lớn qua một phép quét song song phần cứng. Nói cách khác, Mamba hiện thực một "RNN nén chọn lọc" ở quy mô GPU.

Khả năng chọn lọc này bộc lộ đặc biệt kịch tính ở hai bài toán tổng hợp mà bài báo Mamba đưa ra. Một là sao chép chọn lọc (Selective Copying), bài toán chỉ chọn các token nhất định trong số các token trộn ở khoảng ngẫu nhiên rồi sao chép theo thứ tự. S4 ma trận cố định thất bại vì không thể đổi "sao chép cái gì" theo đầu vào, nhưng Mamba phụ thuộc đầu vào giải gần như hoàn hảo bằng cách chỉ đặt các đối tượng cần sao chép vào trạng thái và bỏ qua phần còn lại. Hai là bài toán đầu quy nạp (Induction Heads), tái hiện về sau một mẫu đã thấy ("B theo sau A") — một năng lực cốt lõi của học trong ngữ cảnh — mà Mamba học được và khái quát cả với ngữ cảnh dài. Hai bài toán này là bằng chứng thuyết phục rằng "tính chọn lọc chính là chìa khóa của hiệu năng mô hình ngôn ngữ".

Tuy nhiên, khoảnh khắc các ma trận trở nên phụ thuộc đầu vào, giả định LTI đổ vỡ và không còn trải được thành một nhân tích chập cố định duy nhất. Phương tiện huấn luyện song song bị mất. Mamba vượt qua điều này bằng quét song song nhận biết phần cứng (Hardware-aware Parallel Scan). Nó xem quan hệ hồi quy như một phép quét (tổng tiền tố) có tính kết hợp và tính bằng thuật toán tổng tiền tố song song, đồng thời xử lý trạng thái trong SRAM nhanh thay vì HBM chậm và hợp nhất nhân (Kernel Fusion) để tối thiểu hóa vào·ra bộ nhớ. Sơ đồ quy trình chi tiết dưới đây cho thấy luồng này.

flowchart LR
  IN["token đầu vào u_k"] --> PROJ["chiếu tuyến tính"]
  PROJ --> SEL["sinh tham số chọn lọc(B_k, C_k, Delta_k = f(u_k))"]
  SEL --> DISC2["rời rạc hóa theo đầu vào(A_bar_k, B_bar_k)"]
  DISC2 --> SCAN["quét song song(quét kết hợp, nhân hợp nhất SRAM)"]
  SCAN --> STATE["cập nhật trạng thái x_k"]
  STATE --> OUT["đầu ra y_k = C_k x_k"]
  PROJ --> GATE["nhánh cổng(SiLU)"]
  GATE --> OUT

Vì sao tối ưu phần cứng này mang tính quyết định trở nên rõ khi nhớ lại phân cấp bộ nhớ của GPU. Một SSM phụ thuộc đầu vào phải xử lý một tensor trạng thái phình ra ở mỗi bước, và ghi tất cả vào bộ nhớ băng thông cao (HBM) rồi đọc lại khiến vào·ra bộ nhớ thành nút thắt cổ chai. Nhân quét chọn lọc (Selective Scan) của Mamba quét và tiêu biến trạng thái mở rộng ngay trong SRAM trên chip nhanh mà không hiện thực hóa (Materialize) nó vào HBM — loại bỏ nút thắt bộ nhớ theo đúng cách FlashAttention đã làm cho chú ý. Kết quả là ngay cả khi chấp nhận tính lại, thông lượng tổng thể vẫn tăng. Việc hiệu quả của Mamba chỉ thành hình khi đổi mới thuật toán (cơ chế chọn lọc) và đổi mới hệ thống (nhân quét hợp nhất) khớp vào nhau cho thấy rõ kiến trúc AI hiện đại tiến bộ qua đồng thiết kế (Co-design) giữa toán học và phần cứng.

Khối Mamba bọc SSM chọn lọc này trong một cấu trúc có cổng. Nó chiếu đầu vào thành hai nhánh, cho một nhánh qua SSM và điều biến nhánh kia bằng một cổng hàm kích hoạt (SiLU/Swish) trước khi nhân, thay khối chú ý+FFN của Transformer bằng một khối đồng nhất duy nhất. Kết quả, Mamba cho hiệu năng mô hình ngôn ngữ sánh ngang hoặc vượt Transformer cùng quy mô mà không hề dùng chú ý, với thông lượng suy luận cao gấp vài lần (khoảng 5 lần) theo báo cáo của các tác giả và mở rộng tuyến tính theo độ dài chuỗi. Cụ thể, các kết quả được đưa ra cho thấy nó xử lý chuỗi gen cỡ một triệu token mà không suy giảm chất lượng, chứng minh tính thực dụng trong lĩnh vực chuỗi dài.

4. So sánh — RNN · Transformer · SSM (Mamba)

Để chọn giữa ba họ, phải hiểu khác biệt căn bản về "cách xử lý quá khứ". RNN nén quá khứ vào trạng thái nhưng vì tuần tự nên huấn luyện chậm và yếu về phụ thuộc dài hạn. Transformer kết nối trực tiếp mọi token, năng lực biểu diễn và song song vượt trội nhưng chi phí O(n²) và bộ đệm KV phình mãi níu chân. Mamba nén trạng thái như RNN nhưng bảo đảm năng lực biểu diễn qua cơ chế chọn lọc và tốc độ huấn luyện qua quét song song, dung hòa cả hai. Khác biệt này không đến từ hơn·kém đơn thuần mà từ một đánh đổi giữa năng lực biểu diễn·hiệu quả·trí nhớ dài hạn.

Hạng mục RNN/LSTM Transformer SSM/Mamba
Độ phức tạp huấn luyện O(n), tuần tự (không song song) O(n²), song song O(n), song song (quét)
Bộ nhớ suy luận hằng số (trạng thái) tăng (bộ đệm KV) hằng số (trạng thái)
Phụ thuộc dài hạn yếu (tiêu biến gradient) mạnh (kết nối trực tiếp) mạnh (HiPPO·chọn lọc)
Tham chiếu theo nội dung hạn chế rất mạnh mạnh (chọn lọc)
Chuỗi dài (hàng trăm nghìn) phi thực tế chi phí bùng nổ có lợi, mở rộng tuyến tính

Thực ra Mamba có thể xem là một "RNN hiện đại hóa" ở chỗ nối tiếp dòng dõi RNN trong khi vượt qua hai giới hạn quyết định. Thứ nhất, nó làm nhẹ tiêu biến gradient của RNN bằng thiết kế trạng thái dựa trên HiPPO và rời rạc hóa ổn định, bảo đảm phụ thuộc dài hạn. Thứ hai, nó loại bỏ nút thắt huấn luyện tuần tự của RNN bằng quét song song, cho phép huấn luyện quy mô lớn cỡ Transformer. Tức cái mới của Mamba không hẳn là một ý tưởng hoàn toàn mới mà nằm ở chỗ "khiến ý tưởng kinh điển nén trạng thái vận hành trở lại" bằng các kỹ thuật toán học·hệ thống hiện đại.

Tương phản với Transformer đặc biệt đến từ khác biệt mang tính triết học về cách truy cập thông tin. Chú ý giữ toàn bộ quá khứ "không mất mát" rồi truy xuất trực tiếp khi cần, nên áp đảo ở hồi tưởng liên kết (Associative Recall) sao chép và nhớ lại chính xác một token cụ thể. Ngược lại, Mamba "nén có mất mát" quá khứ vào một trạng thái kích thước cố định, nên có được khả năng chọn cái gì để vứt bỏ nhưng tương đối yếu ở "sao chép nguyên văn một token bất kỳ vừa thấy". Vì vậy các SSM thuần có thể thua chú ý ở các bài toán trích xuất chính xác một sự kiện cụ thể từ ngữ cảnh dài (needle-in-a-haystack).

Bản chất của nén có mất mát này rõ nhất khi hiểu như "ngân sách" của chiều trạng thái N. Dung lượng trí nhớ hữu hiệu của chú ý tăng gần như vô hạn tỉ lệ với độ dài ngữ cảnh, nhưng trí nhớ của SSM phải nằm trong một ngân sách cố định — trạng thái N chiều. Ngữ cảnh càng dài, càng phải dồn nhiều thông tin vào cùng kích thước, nên mô hình phải phán đoán "cái gì quan trọng" một cách quyết liệt hơn. Cơ chế chọn lọc chính là thiết bị giải quyết phán đoán này bằng học, nhưng sự thật rằng thông tin về căn bản bị nén vào một ngân sách hữu hạn không thay đổi. Do đó ở các bài toán bắt buộc hồi tưởng chính xác tùy ý, việc tăng N hoặc trộn thêm chú ý là không tránh khỏi như một bổ sung.

Hàm ý thực tiễn rõ ràng. Hiệu quả tuyến tính của Mamba có lợi cho xử lý xu hướng tổng thể·tóm tắt·phát trực tuyến các chuỗi rất dài, còn chú ý vẫn mạnh cho hồi tưởng sự kiện chính xác·suy luận phức tạp. Do đó thiết kế thực tế hội tụ về xu hướng lai (hybrid) chứ không phải "chọn một trong hai". Nếu một số ít lớp chú ý đảm nhận hồi tưởng chính xác và nhiều lớp Mamba xử lý hiệu quả ngữ cảnh dài, có thể nắm cả chất lượng và chi phí. Thực tế, các thiết kế trộn lớp chú ý và Mamba ở tỉ lệ khoảng 1:7 đã được báo cáo.

Nhìn bằng con số, tương phản chi phí càng rõ. Khi ngữ cảnh dài gấp đôi, tính toán chú ý của Transformer tăng khoảng 4 lần, nhưng của Mamba chỉ tăng khoảng 2 lần. Ở giai đoạn suy luận, Transformer bắt đầu để bộ đệm KV chiếm bộ nhớ ngang trọng số mô hình khi vượt khoảng 32K token, trong khi Mamba giữ bộ nhớ trạng thái không đổi và chứa được ngữ cảnh dài hơn nhiều trên cùng phần cứng. Dù vậy, hiệu quả này đứng trên cái giá "nén có mất mát quá khứ", nên xác định trước liệu bài toán có phải loại mà một phần thông tin có thể bị vứt bỏ hay không phải là điểm khởi đầu của thiết kế.

5. Chuyên sâu — xu hướng mới nhất và các kiến trúc lai

Nghiên cứu sau Mamba triển khai theo hai hướng. Thứ nhất là thống nhất lý thuyết. Năm 2024, Mamba-2 đưa ra lý thuyết đối ngẫu không gian trạng thái (SSD, State Space Duality), hé lộ rằng SSM chọn lọc và chú ý thực ra là hai biểu diễn của cùng một cấu trúc toán học. Qua đó, nó tái dựng phép tính thành các phép nhân ma trận trong khi mở rộng lớn chiều trạng thái, nâng hiệu quả GPU, và Mamba-2 đạt huấn luyện nhanh hơn với trạng thái lớn hơn. SSD có ý nghĩa lớn ở chỗ mở đường thiết kế·tối ưu hai mô thức trong một khung, vượt khỏi lưỡng phân "chú ý đối SSM".

Giá trị thực tiễn của sự thống nhất này nằm ở việc cho SSM hấp thu các tài sản của hệ sinh thái Transformer hiện có. Các tối ưu nhân tensor·kỹ thuật huấn luyện phân tán phát triển cho chú ý trở nên tái dùng được phần lớn cho SSM theo góc nhìn SSD, điều này đẩy nhanh tốc độ trưởng thành của hệ sinh thái SSM. Ngược lại, phía chú ý cũng đang diễn ra một cuộc truyền máu chéo mượn ý tưởng nhân tuyến tính của SSM để nâng hiệu quả ngữ cảnh dài, nên ranh giới hai phe ngày càng mờ đi.

Thứ hai là hiện thực hóa thực chiến của mô hình lai. Jamba (2024) của AI21 kết hợp các lớp Mamba, các lớp chú ý Transformer và hỗn hợp chuyên gia (MoE) để trình làng một mô hình cấp thương mại xử lý hiệu quả ngữ cảnh dài 256K token trong ngân sách bộ nhớ một GPU. Nhìn con số của trường hợp tiêu biểu này, ở cùng độ dài ngữ cảnh nó giảm bộ nhớ bộ đệm KV xuống còn một phần nhỏ so với Transformer thuần trong khi nâng thông lượng. NVIDIA và nhiều tổ chức khác cũng đưa ra kết quả cho thấy các mô hình lai Mamba-chú ý cung cấp ngữ cảnh dài hơn·suy luận nhanh hơn ở chất lượng ngang Transformer thuần, xác lập mô hình lai như một hướng hàng đầu cho LLM ngữ cảnh dài.

Lý do mô hình lai hữu hiệu là vì điểm yếu của hai cơ chế bổ sung cho nhau. SSM thuần yếu ở hồi tưởng liên kết — sao chép và nhớ lại chính xác một token cụ thể trong ngữ cảnh dài — và chú ý thuần bùng nổ chi phí với ngữ cảnh dài. Nếu chỉ đặt một số ít lớp chú ý (khoảng 1/8 toàn bộ) để đảm nhận "khoảnh khắc nhất thiết cần truy xuất chính xác", và lấp phần còn lại bằng các lớp Mamba để thực hiện phần lớn xử lý ngữ cảnh ở chi phí tuyến tính, có thể giữ chất lượng cỡ Transformer trong khi hạ mạnh chi phí ngữ cảnh dài. Thêm MoE lên trên sẽ tăng số tham số trong khi kìm tính toán hoạt động mỗi token, nâng hiệu quả thêm một bậc. Thiết kế phân vai như vậy — "chú ý cho hồi tưởng chính xác, SSM cho nén dài hạn hiệu quả" — đang xác lập như giải pháp thực tế cho LLM ngữ cảnh dài.

Các lĩnh vực ứng dụng cũng đang mở rộng. Trong gen học, SSM được áp dụng cho các mô hình nền DNA xử lý hàng trăm nghìn đến hàng triệu base; trong âm thanh·giọng nói, cho xử lý thời gian thực các sóng dài; trong thị giác, cho Vision Mamba (Vim) xem một ảnh như chuỗi các mảnh (patch); và trong chuỗi thời gian·luồng cảm biến, cho giám sát dài hạn. Điểm chung là tất cả đều là các bài toán mà "chuỗi dài, tính phát trực tuyến mạnh và suy luận bộ nhớ hằng số quan trọng". Ví dụ, trải một ảnh y tế độ phân giải cao thành chuỗi mảnh cho ra hàng chục nghìn token, nên chi phí chú ý tăng vọt; Vision Mamba xử lý điều này ở độ phức tạp tuyến tính và đã báo cáo lợi thế hiệu quả bộ nhớ·thông lượng trên các chuỗi mảnh dài. Các bài toán công nghiệp như phát hiện bất thường thời gian thực trên luồng cảm biến thiết bị — nơi "một chuỗi dài ra không ngừng phải trôi qua với bộ nhớ hằng số" — cũng là lĩnh vực mà suy luận bộ nhớ hằng số của SSM tự nhiên khớp vào.

Đánh giá SSM không kết thúc bằng một chỉ số đơn lẻ. Phải bao gồm các bài toán đo hồi tưởng chính xác các sự kiện cụ thể trong ngữ cảnh dài như needle-in-a-haystack, và nắm bắt định lượng "đã hy sinh chất lượng nào để lấy hiệu quả". Hướng ra đề dự kiến theo góc nhìn Kỹ sư chuyên nghiệp là ① tương phản giới hạn O(n²) của Transformer với độ phức tạp tuyến tính của SSM, ② giới hạn LTI của S4 và nguyên lý cơ chế chọn lọc của Mamba, ③ so sánh đánh đổi RNN·Transformer·Mamba, và ④ bối cảnh thiết kế lai (Jamba·SSD) và chiến lược ngữ cảnh dài. Một bài làm được triển khai hiệu quả bằng cách đan sơ đồ·độ phức tạp·trường hợp quanh bản chất "nén chọn lọc quá khứ vào một trạng thái cố định".

6. Cân nhắc và hàm ý

Khi áp dụng SSM·Mamba vào thực tiễn và lựa chọn kiến trúc, Kỹ sư chuyên nghiệp phải cân nhắc toàn diện những điều sau.

Thứ nhất, chiến lược lựa chọn kiến trúc theo đặc tính bài toán. Nếu hồi tưởng sự kiện chính xác·suy luận phức tạp là cốt lõi thì nâng tỉ trọng chú ý; nếu ngữ cảnh rất dài·phát trực tuyến·suy luận độ trễ thấp là cốt lõi thì nâng tỉ trọng Mamba. Với phần lớn bài toán thực tế, điểm tối ưu không phải SSM thuần cũng không phải Transformer thuần mà là một mô hình lai, và cảm quan thiết kế điều chỉnh tỉ lệ lớp chú ý theo chất lượng yêu cầu·ngân sách chi phí là quan trọng. Phán đoán ngược từ yêu cầu, thay vì đuổi theo "kiến trúc mới nhất", là thái độ của Kỹ sư chuyên nghiệp. Chẳng hạn, với tìm kiếm tri thức nội bộ mà đầu vào trung bình ngắn và hỏi·đáp chính xác quan trọng thì thiết kế lấy chú ý làm trung tâm là hợp lý, nhưng với dịch vụ tóm tắt thời gian thực nhật ký·bản ghi cuộc gọi dài thì thiết kế lấy Mamba làm trung tâm hạ mạnh tổng chi phí.

Thứ hai, đánh đổi ở cấp phần cứng·hệ thống. Hiệu quả tuyến tính của Mamba phụ thuộc nhiều vào các tối ưu cấp thấp như quét song song·hợp nhất nhân, nên hiệu năng xoay quanh độ trưởng thành của các bộ tăng tốc·khung công cụ cụ thể. Trong khi Transformer có hệ sinh thái rất trưởng thành như FlashAttention, họ SSM có các nhân·ngăn xếp phục vụ đang phát triển nhanh nhưng còn tương đối non. Khi áp dụng, phải đánh giá đồng thời mức hỗ trợ của ngăn xếp huấn luyện·suy luận và tính ổn định vận hành. Đặc biệt, nếu không xác nhận trước rằng hỗ trợ SSM của lượng tử hóa·suy luận phân tán·khung phục vụ đã trưởng thành như với Transformer, và rằng các nhân tùy chỉnh đã được kiểm chứng trên phần cứng mục tiêu, thì hiệu quả trên lý thuyết có thể không tái hiện trong vận hành thực tế.

Thứ ba, nhận biết và bổ sung giới hạn năng lực biểu diễn. SSM thuần có điểm yếu cấu trúc ở hồi tưởng liên kết·sao chép chính xác, nên với các bài toán phải trích dẫn chính xác một sự kiện cụ thể từ một tài liệu dài, phải lấp khoảng trống bằng cách kết hợp một số ít lớp chú ý hoặc bộ nhớ ngoài như sinh tăng cường truy xuất (RAG). Cần một góc nhìn thiết kế các bổ sung ở cấp đường ống thay vì cố thỏa mọi yêu cầu chỉ bằng kiến trúc.

Thứ tư, chiến lược ngữ cảnh dài và quản trị chi phí. Bộ nhớ suy luận hằng số của SSM có thể hạ mạnh tổng chi phí sở hữu (TCO) của các dịch vụ ngữ cảnh dài, nhưng kéo dài mà không kiểm chứng chất lượng có thể mất thông tin do nén có mất mát. Phải benchmark độ dài ngữ cảnh·kích thước trạng thái·tỉ lệ chú ý cùng các chỉ số chất lượng (hồi tưởng ngữ cảnh dài·độ chính xác tóm tắt) để tìm điểm cân bằng, và cần quản trị giám sát liên tục để tiết kiệm chi phí không dẫn tới suy giảm chất lượng. Đánh giá cũng không đủ chỉ với các chỉ số hiệu năng trung bình; phải bao gồm các bài toán đo hồi tưởng chính xác các sự kiện cụ thể trong ngữ cảnh dài như needle-in-a-haystack để nắm bắt định lượng "đã hy sinh chất lượng nào để lấy hiệu quả".

Thứ năm, triển vọng và công nghệ liên kết. Khi lý thuyết SSD xói mòn ranh giới giữa chú ý và SSM, các mô hình nền tương lai nhiều khả năng tiến hóa theo hướng tự do kết hợp hai cơ chế. Ở các lĩnh vực phải "xử lý các chuỗi dài, liên tục với chi phí thấp" như AI trên thiết bị, phát trực tuyến biên, bộ nhớ tác tử dài hạn, tầm quan trọng của SSM dự kiến còn lớn hơn. Đặc biệt, môi trường trên thiết bị·biên bị ràng buộc bộ nhớ·điện năng, nên Transformer với bộ đệm KV phình to bất lợi, trong khi SSM duy trì ngữ cảnh dài với bộ nhớ hằng số lại có lợi về cấu trúc. Do đó Kỹ sư chuyên nghiệp nên xem SSM không phải vật thay thế Transformer mà là một yếu tố thiết kế bổ sung lẫn nhau, nắm giữ năng lực thiết kế tổ hợp tối ưu theo từng bài toán.

Tổng hợp lại, SSM và Mamba là một giải pháp thay thế có ý nghĩa đã làm nứt định kiến "Transformer là câu trả lời duy nhất". Vẫn còn các điểm cần bổ sung về độ trưởng thành hệ sinh thái và năng lực hồi tưởng chính xác, nhưng các lợi thế căn bản là độ phức tạp tuyến tính và bộ nhớ hằng số rõ ràng có giá trị trong một dòng chảy AI mà chuỗi cứ dài ra mãi. Kỹ sư chuyên nghiệp phải nắm giữ một phán đoán thiết kế cân bằng xuất phát từ yêu cầu (độ dài ngữ cảnh·độ chính xác hồi tưởng·độ trễ·chi phí·môi trường vận hành) và phối trộn chú ý với SSM một cách thích hợp, thay vì tin mù quáng hay bài xích một kiến trúc cụ thể.

Tài liệu tham khảo

Tóm tắt một câu: Mô hình không gian trạng thái (SSM) nén quá khứ vào một trạng thái kích thước cố định để xử lý chuỗi theo tuyến tính (O(n)), thu được cả suy luận hiệu quả và huấn luyện song song qua hình thức kép hồi quy·tích chập; Mamba, với cơ chế chọn lọc phụ thuộc đầu vào và một phép quét song song nhận biết phần cứng, vượt giới hạn O(n²) của Transformer để đưa ra một giải pháp thay thế mạnh ở ngữ cảnh dài·phát trực tuyến, và ngày nay hội tụ về các mô hình lai (Jamba·SSD) kết hợp với chú ý.