AI đa phương thức (Multimodal AI)

1. Tổng quan

Định nghĩa: AI đa phương thức (Multimodal AI) là công nghệ trí tuệ nhân tạo đồng thời tiếp nhận, xử lý và hợp nhất dữ liệu thuộc các dạng (Modality) khác nhau như văn bản, hình ảnh, âm thanh, video, tín hiệu cảm biến để đạt được khả năng hiểu và sinh tích hợp mà một phương thức đơn lẻ khó có được. Nguyên lý cốt lõi là căn chỉnh (Align) biểu diễn của từng phương thức vào không gian ngữ nghĩa chung (Joint Embedding Space) rồi kết hợp (Fuse) chúng.

Bối cảnh AI đa phương thức nổi lên gắn liền với bản chất nhận thức của con người. Con người không hiểu thế giới chỉ bằng ngôn ngữ. Khi hiểu câu "Con mèo ngủ trên ghế sofa", ta đồng thời huy động hình dáng thị giác của con mèo, tiếng meo meo, ký ức về cảm giác mềm mại. Tức là khái niệm (Concept) của con người về bản chất được hình thành từ sự kết hợp nhiều giác quan, và do đó mô hình ngôn ngữ chỉ học văn bản có giới hạn là trí tuệ nửa vời thiếu sự neo giữ (Grounding) vào thế giới vật lý. AI đa phương thức là nỗ lực lấp khoảng cách này để mở rộng AI thành trí tuệ được neo vào thế giới thực.

Động lực thứ hai là sự phát triển của mô hình ngôn ngữ lớn (LLM) và giới hạn của dữ liệu. Kho ngữ liệu văn bản đã bị tiêu hao phần lớn cho huấn luyện, và chỉ với dữ liệu ngôn ngữ thuần túy thì việc cải thiện hiệu năng đang chậm lại. Ngược lại, hình ảnh, video, âm thanh tồn tại khổng lồ trên Internet và chứa thông tin không gian, thời gian, cảm xúc mà ngôn ngữ không chứa được. Các phương thức khác nhau cung cấp thông tin bổ trợ (Complementary) cho nhau, nên kết hợp chúng giúp bù đắp điểm yếu của từng phương thức và cho dự đoán bền vững trước nhiễu (Noise). Ví dụ, dù tỷ lệ nhận dạng giọng nói giảm trong môi trường ồn, nếu xem thêm chuyển động môi (video) thì có thể khôi phục độ chính xác nhận dạng.

Động lực thứ ba là nhu cầu ứng dụng. Xe tự hành phải hợp nhất camera, LiDAR, radar; chẩn đoán y tế phải tổng hợp hình ảnh (CT, MRI), số liệu (xét nghiệm máu), văn bản (kết quả đọc phim); robot phải hiểu đồng thời thị giác và chỉ thị ngôn ngữ mới hành động được. Việc các mô hình nền tảng mới nhất như GPT-4o, Gemini, Claude hội tụ theo hướng xử lý văn bản, hình ảnh, âm thanh trong một mô hình duy nhất là sự phản ánh những nhu cầu thực tiễn này. Trong bài làm, hợp lý khi định vị AI đa phương thức không phải sự mở rộng chức năng đơn thuần mà là "con đường bắt buộc dẫn tới AGI (trí tuệ nhân tạo tổng quát) và hình thái chuẩn của mô hình nền tảng".

2. Cấu trúc tổng thể của AI đa phương thức

AI đa phương thức có cấu trúc phân tầng: mã hóa độc lập từng phương thức, căn chỉnh vào không gian biểu diễn chung, rồi hợp nhất để thực hiện tác vụ cuối cùng (hiểu, sinh). Sơ đồ khái niệm dưới đây thể hiện toàn bộ bộ khung từ đầu vào tới đầu ra.

flowchart TB
    subgraph INPUT["Đầu vào đa phương thức"]
        TXT["Văn bản"]
        IMG["Hình ảnh"]
        AUD["Âm thanh"]
        VID["Video/cảm biến"]
    end
    TXT --> TE["Bộ mã hóa văn bản (Transformer)"]
    IMG --> IE["Bộ mã hóa hình ảnh (ViT/CNN)"]
    AUD --> AE["Bộ mã hóa âm thanh (Wav2Vec v.v.)"]
    VID --> VE["Bộ mã hóa video"]
    TE --> ALIGN["Căn chỉnh không gian ngữ nghĩa chung (Alignment)"]
    IE --> ALIGN
    AE --> ALIGN
    VE --> ALIGN
    ALIGN --> FUSION["Tầng hợp nhất (Fusion)"]
    FUSION --> HEAD["Đầu tác vụ"]
    HEAD --> UND["Hiểu: phân loại/tìm kiếm/VQA"]
    HEAD --> GEN["Sinh: chú thích/hình ảnh/âm thanh"]

Vấn đề khó nhất trong cấu trúc này là tính dị biệt giữa các phương thức (Heterogeneity Gap). Văn bản là chuỗi token rời rạc (Discrete), hình ảnh là lưới điểm ảnh liên tục (Continuous), còn âm thanh là dạng sóng theo trục thời gian. Chiều, phân phối, mật độ ngữ nghĩa của dữ liệu đều khác nhau, nên căn chỉnh (Alignment) — làm cho chúng có thể so sánh trong một không gian vector duy nhất — trở thành cốt lõi kỹ thuật của đa phương thức. Nếu căn chỉnh tốt, "ảnh con chó con" và văn bản "a photo of a dog" sẽ nằm ở vị trí gần nhau trong không gian embedding, cho phép các tác vụ xuyên phương thức (Cross-modal) như tìm hình ảnh bằng văn bản hay mô tả hình ảnh bằng ngôn ngữ.

Trường hợp tiêu biểu của căn chỉnh là CLIP (Contrastive Language-Image Pre-training) của OpenAI. CLIP huấn luyện 400 triệu cặp dữ liệu (hình ảnh, văn bản) bằng học tương phản (Contrastive Learning), đặt embedding của cặp hình ảnh–văn bản khớp nhau ở gần, còn cặp không khớp ở xa. Nhờ không gian chung học được như vậy, CLIP có thể thực hiện phân loại zero-shot trên tập nhãn bất kỳ mà không cần huấn luyện lại, và về sau được dùng rộng rãi làm xương sống điều kiện hóa văn bản cho các mô hình sinh như Stable Diffusion, DALL-E.

3. Các loại chiến lược hợp nhất phương thức (Fusion) và quy trình

Tùy thuộc vào việc kết hợp thông tin của nhiều phương thức khi nào và như thế nào, hiệu năng và chi phí tính toán thay đổi lớn. Thông thường phân loại theo thời điểm hợp nhất thành hợp nhất sớm, muộn và trung gian (lai), và sơ đồ dưới đây cho thấy khác biệt về luồng dữ liệu giữa ba phương thức.

flowchart LR
    subgraph EARLY["Hợp nhất sớm (Early Fusion)"]
        E1["Ghép đặc trưng gốc"] --> E2["Huấn luyện một mô hình"]
    end
    subgraph LATE["Hợp nhất muộn (Late Fusion)"]
        L1["Dự đoán riêng theo phương thức"] --> L2["Tích hợp kết quả (bỏ phiếu/trung bình)"]
    end
    subgraph HYBRID["Hợp nhất trung gian/lai"]
        H1["Tham chiếu chéo biểu diễn trung gian"] --> H2["Kết hợp Cross-Attention"]
    end

Hợp nhất sớm (Early Fusion) là phương thức nối (Concatenation) đặc trưng (Feature) gốc của từng phương thức thành một ở giai đoạn đầu vào và huấn luyện bằng một mô hình duy nhất. Có thể học tương tác mức thấp giữa các phương thức ngay từ đầu nên thuận lợi cho việc nắm bắt tương quan tinh vi, nhưng có nhược điểm là số chiều tăng vọt và khi một phương thức bị thiếu (Missing) thì toàn bộ trở nên yếu. Hợp nhất muộn (Late Fusion) là phương thức để các mô hình độc lập theo từng phương thức tự đưa ra dự đoán rồi tích hợp kết quả bằng bỏ phiếu, trung bình có trọng số; tính mô-đun cao và bền vững trước thiếu dữ liệu nhưng không học được tương tác giữa các phương thức. Sự dung hòa của hai cách này là hợp nhất trung gian/lai, và phương thức dùng cross-attention (chú ý chéo) của Transformer để biểu diễn của một phương thức tham chiếu biểu diễn của phương thức khác đã trở thành dòng chính của các mô hình đa phương thức hiện đại. Ví dụ, trong hỏi đáp hình ảnh–văn bản (VQA), cấu trúc trong đó token câu hỏi văn bản dùng attention để tra cứu các patch hình ảnh nhằm tìm câu trả lời thuộc loại này.

Quy trình xử lý của LLM đa phương thức (MLLM) quy mô lớn thực tế như sau. ① Mã hóa hình ảnh bằng ViT (Vision Transformer) để có chuỗi token thị giác. ② Mô-đun căn chỉnh (ví dụ Q-Former, MLP Projector) chiếu (Projection) token thị giác vào không gian embedding mà mô hình ngôn ngữ hiểu được. ③ Nối token thị giác đã chiếu cùng token văn bản thành một chuỗi và đưa vào LLM. ④ LLM sinh phản hồi theo cách tự hồi quy (Autoregressive) trên chuỗi tích hợp. Phương thức này tận dụng nguyên vẹn khả năng suy luận của mô hình ngôn ngữ đã được huấn luyện tốt rồi đặt thêm khả năng hiểu thị giác lên trên, nên hiệu quả huấn luyện cao, được nhiều mô hình như LLaVA, BLIP-2, Flamingo áp dụng.

4. Ứng dụng chính và so sánh các mô hình tiêu biểu

Tác vụ của AI đa phương thức được chia lớn thành hiểu xuyên phương thức (Understanding) và sinh xuyên phương thức (Generation). Tác vụ hiểu gồm chú thích hình ảnh, hỏi đáp thị giác (VQA), tìm kiếm văn bản–hình ảnh, hiểu tài liệu (OCR+bố cục); tác vụ sinh gồm văn bản→hình ảnh (DALL-E, Stable Diffusion), văn bản→video (Sora), văn bản→giọng nói (TTS), hình ảnh→văn bản (chú thích). Bảng dưới đây so sánh đặc tính của các công nghệ tiêu biểu, nhưng điều quan trọng là hiểu cả lý do mỗi mô hình chọn triết lý thiết kế khác nhau.

Nếu CLIP tập trung vào việc tạo không gian căn chỉnh bằng học tương phản, thì Stable Diffusion tận dụng không gian căn chỉnh đó làm điều kiện (Condition) cho việc sinh. Tức là embedding văn bản dẫn hướng quá trình khuếch tán để tạo ra hình ảnh mong muốn. Đây là trường hợp cho thấy hiểu và sinh không tách rời mà chia sẻ cùng một không gian biểu diễn chung. Mặt khác, dạng tích hợp như GPT-4o, trong đó một mô hình xử lý nhiều phương thức một cách nguyên sinh (Native), khác với thế hệ trước vốn đặt riêng bộ mã hóa theo phương thức rồi kết hợp sau, xử lý đồng thời token của nhiều phương thức ngay từ giai đoạn đầu vào để giảm độ trễ (Latency) và phản ánh cả cảm xúc, ngữ điệu của hội thoại giọng nói.

Về trường hợp thành tựu cụ thể, trong lĩnh vực hình ảnh y tế, nhiều nghiên cứu đã báo cáo rằng mô hình đa phương thức học đồng thời ảnh X-quang ngực và văn bản kết quả đọc phim cải thiện hiệu năng hỗ trợ chẩn đoán so với mô hình chỉ dùng hình ảnh. Trong xe tự hành, Tesla, Waymo hợp nhất camera, radar, LiDAR để bổ trợ lẫn nhau cho điểm mù của cảm biến đơn lẻ (camera suy giảm khi thời tiết xấu, giới hạn tầm gần của radar). Những trường hợp này thực chứng rằng giá trị bản chất của đa phương thức nằm ở bảo đảm tính bền vững (Robustness) nhờ bổ trợ lẫn nhau giữa các phương thức.

5. Chuyên sâu: xu hướng mới nhất và thách thức

Gần đây AI đa phương thức đang tiến hóa thành mô hình nền tảng đa phương thức nguyên sinh (Any-to-Any). Ban đầu người ta kết nối (Bridging) sau bộ mã hóa thị giác và mô hình ngôn ngữ đã tiền huấn luyện, nhưng các mô hình mới nhất học nhiều phương thức thành token tích hợp ngay từ đầu, xóa bỏ ranh giới giữa các phương thức. Hơn nữa, mô hình Vision-Language-Action (VLA) xử lý không chỉ văn bản, hình ảnh, âm thanh mà cả hành động (Action) đang được áp dụng vào robot, và nghiên cứu trí tuệ hiện thân (Embodied AI) chuyển trực tiếp chỉ thị ngôn ngữ và nhận thức thị giác thành tín hiệu điều khiển robot đang rất sôi động.

Đồng thời, các thách thức cần giải quyết cũng rõ rệt. Thứ nhất, thiên lệch phương thức (Modality Bias) — hiện tượng việc học nghiêng về một phương thức cụ thể (chủ yếu là văn bản) và không tận dụng đủ thông tin thị giác. Thứ hai, ảo giác (Hallucination) — lỗi dựa vào tri thức ngôn ngữ có sẵn mà không có căn cứ thị giác, như trả lời có đối tượng không hề có trong ảnh, cũng xuất hiện ở đa phương thức. Thứ ba, bảo đảm dữ liệu căn chỉnh và chi phí tính toán — xây dựng cặp (hình ảnh, văn bản) chất lượng cao và học tương phản quy mô lớn đòi hỏi tài nguyên khổng lồ. Thứ tư, khó khăn trong đánh giá — các chỉ số chuẩn để đánh giá định lượng chất lượng kết quả sinh và tính nhất quán giữa các phương thức vẫn chưa trưởng thành. Đây là những luận điểm tốt để trình bày trong bài làm như giới hạn của đa phương thức và hướng nghiên cứu tương lai.

6. Lưu ý và hàm ý

Dưới góc nhìn Kỹ sư chuyên nghiệp, các chiến lược và hàm ý cần cân nhắc khi triển khai, sử dụng AI đa phương thức như sau.

• Chiến lược áp dụng — chọn phương thức hợp nhất phù hợp đặc tính tác vụ: nếu tương quan mức thấp giữa các phương thức là quan trọng (đồng bộ môi–giọng nói) thì chọn hợp nhất sớm, chéo; nếu các phương thức độc lập và thường xuyên thiếu dữ liệu thì chọn hợp nhất muộn. Mô hình lớn dạng tích hợp không phải lúc nào cũng là đáp án, cần thiết kế cân nhắc đồng thời chi phí, độ trễ và tính sẵn có của dữ liệu.
• Đánh đổi — hiệu năng so với tài nguyên: mô hình đa phương thức nguyên sinh rất mạnh nhưng chi phí huấn luyện và suy luận lớn. Trong thực tế, giảm chi phí bằng mô hình căn chỉnh gọn nhẹ như CLIP + tìm kiếm, hoặc phương thức chiếu tái sử dụng bộ mã hóa đã tiền huấn luyện, và trong môi trường on-device thì xem xét đa phương thức gọn nhẹ (sMLLM).
• Độ tin cậy·an toàn — ảo giác và trình bày căn cứ: trong lĩnh vực rủi ro cao như y tế, xe tự hành, để kiểm soát ảo giác đa phương thức cần trình bày kèm căn cứ thị giác (Grounding) và song hành quy trình kiểm chứng XAI, Human-in-the-loop. Phán đoán xuyên phương thức sai có thể dẫn trực tiếp tới thiệt hại vật lý.
• Dữ liệu·quản trị — thiên lệch và bản quyền: các cặp hình ảnh–văn bản quy mô lớn chứa vấn đề bản quyền, dữ liệu cá nhân và thiên lệch xã hội, nên phải có đồng thời hệ thống quản trị AI như quản lý nguồn gốc dữ liệu huấn luyện, giảm thiểu thiên lệch, ứng phó bản quyền của sản phẩm sinh ra và lạm dụng deepfake.
• Triển vọng — con đường tới AGI và chuẩn hóa: đa phương thức đang hội tụ thành hình thái chuẩn của mô hình nền tảng, và được dự báo sẽ mở rộng sang VLA, Embodied AI để phát triển thành trí tuệ tương tác với thế giới vật lý. Tổ chức nên chủ động chuẩn bị pipeline dữ liệu và hệ thống đánh giá có thể tích hợp, căn chỉnh tài sản dữ liệu một cách xuyên phương thức.

Tài liệu tham khảo

• Radford et al., "Learning Transferable Visual Models From Natural Language Supervision (CLIP)", 2021 — https://arxiv.org/abs/2103.00020
• Li et al., "BLIP-2: Bootstrapping Language-Image Pre-training", 2023 — https://arxiv.org/abs/2301.12597
• Liu et al., "Visual Instruction Tuning (LLaVA)", 2023 — https://arxiv.org/abs/2304.08485

Tóm tắt một câu: AI đa phương thức là công nghệ căn chỉnh và hợp nhất các phương thức dị biệt như văn bản, hình ảnh, âm thanh vào không gian ngữ nghĩa chung để hiện thực hóa khả năng hiểu và sinh bổ trợ lẫn nhau; dựa trên căn chỉnh bằng học tương phản của CLIP và hợp nhất bằng cross-attention, nó là hình thái chuẩn của mô hình nền tảng và là con đường then chốt dẫn tới AGI và trí tuệ hiện thân.