Quản lý chất lượng dữ liệu (Data Quality Management)
1. Tổng quan
A. Định nghĩa
Quản lý chất lượng dữ liệu (DQM) là hoạt động quản lý liên tục đo lường, cải tiến và bảo đảm các đặc tính chất lượng đa chiều của dữ liệu như tính chính xác, tính đầy đủ, tính nhất quán, tính hợp lệ, tính duy nhất, tính kịp thời thông qua một hệ thống gồm chính sách, tổ chức, quy trình và công nghệ; đây là nền tảng biến dữ liệu thành tài sản đáng tin cậy cho ra quyết định và AI.
Lý do quản lý chất lượng dữ liệu có tầm quan trọng quyết định là vì 'dữ liệu kém chất lượng dẫn thẳng đến quyết định sai'. Giao hàng thất bại vì địa chỉ khách hàng sai, kết quả kinh doanh bị bóp méo vì dữ liệu doanh thu trùng lặp, và AI học từ dữ liệu lẫn thiên lệch và lỗi sẽ đưa ra dự đoán sai. Câu châm ngôn lâu đời "rác vào thì rác ra (Garbage In, Garbage Out)" quay trở lại với cái giá lớn hơn trong thời đại dữ liệu và AI. Chiến dịch marketing gửi đi dựa trên dữ liệu sai, dự báo tồn kho sai và lỗi báo cáo cho cơ quan quản lý lập tức dẫn tới tổn thất tài chính và suy giảm niềm tin.
Điểm xuất phát để hiểu quản lý chất lượng là định nghĩa chất lượng bằng cách chia thành nhiều chiều. Chất lượng dữ liệu không phải là một thước đo duy nhất mà là tổng hợp của nhiều trục như: giá trị có khớp với thực tế không (tính chính xác), giá trị cần có có bị thiếu không (tính đầy đủ), giữa các hệ thống có mâu thuẫn không (tính nhất quán), có tuân thủ định dạng và phạm vi quy định không (tính hợp lệ), có trùng lặp không (tính duy nhất), có cập nhật mới nhất tại thời điểm cần không (tính kịp thời). Các chiều này không độc lập với nhau; ví dụ, nếu ép xử lý thời gian thực để tăng tính kịp thời thì việc kiểm chứng trở nên nông và tính chính xác có thể giảm. Vì vậy, quản lý chất lượng cũng là hoạt động điều chỉnh sự đánh đổi giữa các chiều này theo mức độ quan trọng của nghiệp vụ.
Một điều quan trọng nữa là chất lượng dữ liệu không tự nhiên mà tốt lên. Chất lượng chỉ được bảo đảm liên tục thông qua hệ thống quản lý kết hợp kiến trúc, quy trình, tổ chức và công nghệ. Không phải làm sạch một lần như tổng vệ sinh là xong, mà phải quản lý thường xuyên dữ liệu liên tục đổ vào, vì thế quản lý chất lượng phải trở thành 'quy trình vận hành' chứ không phải 'dự án'.
B. Sự cần thiết
Khi dữ liệu nằm rải rác ở nhiều hệ thống và tích lũy theo các tiêu chuẩn khác nhau, sự không nhất quán, trùng lặp và lỗi sẽ dồn lại. Nếu bỏ mặc, niềm tin vào việc sử dụng dữ liệu sụp đổ, nên cần một hệ thống quản lý có đủ tiêu chuẩn, chất lượng và quản trị. Đặc biệt, các quy định như ba luật dữ liệu (Data 3 Acts) và MyData của Hàn Quốc đòi hỏi quản lý thông tin cá nhân và dữ liệu một cách chính xác, đáng tin cậy, và khi giao dịch, công khai dữ liệu lan rộng, 'dữ liệu được bảo đảm chất lượng' trở thành yếu tố quyết định giá trị tài sản.
Cũng quan trọng là suy giảm chất lượng tích tụ âm thầm rồi bùng nổ thành chi phí lớn. Từng lỗi riêng lẻ có vẻ nhỏ, nhưng khi khách hàng trùng lặp và mã không nhất quán dồn lại, bản thân việc phân tích tích hợp trở nên bất khả thi, và các quyết định đưa ra cũng như AI được huấn luyện trong trạng thái đó sẽ làm mất niềm tin của toàn tổ chức. Do đó, quản lý chất lượng phải được hiểu là khoản đầu tư phòng ngừa — thường xuyên đo và sửa trước khi vấn đề lớn lên — và rẻ hơn nhiều so với chi phí ứng phó sau sự cố.
C. Đặc điểm
- Tính đa chiều: Chất lượng không phải một thước đo duy nhất mà là tổng hợp của nhiều chiều như chính xác, đầy đủ, nhất quán.
- Tính liên tục: Không phải làm sạch một lần mà là hoạt động vận hành quản lý thường xuyên dữ liệu liên tục đổ vào.
- Dựa trên trách nhiệm: Chủ sở hữu dữ liệu (data owner) và người quản lý dữ liệu (data steward) phải rõ ràng thì chất lượng mới được duy trì.
- Khả năng đo lường: Phải định lượng bằng chỉ số (KPI) thì mới đặt được mục tiêu và theo dõi cải tiến.
2. Các chiều chất lượng dữ liệu và kiến trúc quản lý
A. Các chiều chất lượng dữ liệu
Hoạt động cải thiện chất lượng bắt đầu từ việc định nghĩa trước sẽ đo cái gì. Mỗi chiều trong bảng dưới đây được quy đổi thành chỉ số đo lường để quản lý. Ví dụ, tính đầy đủ được định lượng bằng 'tỷ lệ thiếu ở các trường bắt buộc', tính duy nhất bằng 'tỷ lệ bản ghi trùng lặp', tính kịp thời bằng 'độ trễ cập nhật mới nhất của dữ liệu'. Chỉ khi chỉ số hóa như vậy mới có thể đặt mục tiêu và theo dõi việc cải thiện.
| Chiều | Ý nghĩa | Ví dụ đo lường |
|---|---|---|
| Tính chính xác | Giá trị khớp với sự thật thực tế | Tỷ lệ lỗi so với mẫu đã kiểm chứng |
| Tính đầy đủ | Không thiếu giá trị cần thiết | Tỷ lệ thiếu ở cột bắt buộc |
| Tính nhất quán | Không mâu thuẫn giữa hệ thống·thời điểm | Số trường hợp không khớp khi kiểm chứng chéo |
| Tính hợp lệ | Tuân thủ định dạng·phạm vi đã định nghĩa | Tỷ lệ vi phạm quy tắc |
| Tính duy nhất | Không trùng lặp | Tỷ lệ bản ghi trùng lặp |
| Tính kịp thời | Mới nhất vào thời điểm cần | Độ trễ cập nhật |
B. Kiến trúc quản lý
flowchart TB
A["Quản lý chất lượng dữ liệu (DQM)"] --> V["Tiêu chuẩn·chính sách chất lượng"]
A --> O["Tổ chức·quản trị"]
A --> P["Quy trình·thủ tục"]
A --> T["Công cụ·công nghệ"]
V --> P
O --> P
P --> T
style A fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
Kiến trúc quản lý chất lượng gồm bốn tầng ăn khớp hữu cơ với nhau. Trên cùng là chính sách và tiêu chuẩn (chỉ số, chuẩn chất lượng) xác định cái gì được coi là chất lượng, tiếp theo là tổ chức và quản trị (chủ sở hữu, người quản lý dữ liệu) chịu trách nhiệm thực thi. Bên dưới, quy trình (lập hồ sơ dữ liệu, làm sạch, kiểm chứng, giám sát) vận hành để bảo đảm chất lượng thực tế, và được hỗ trợ bởi công cụ và công nghệ (công cụ chẩn đoán chất lượng, MDM, quản lý siêu dữ liệu).
Trong bốn tầng này, tầng thường bị thiếu nhất trong thực tế là tổ chức và quản trị. Dù áp dụng công cụ chẩn đoán tốt đến đâu, nếu chưa xác định 'ai chịu trách nhiệm về chất lượng của dữ liệu này', thì khi phát hiện vấn đề cũng không ai sửa. Vì vậy, chỉ định chủ sở hữu dữ liệu (người chịu trách nhiệm nghiệp vụ) và người quản lý dữ liệu (người quản lý thực tế) để làm rõ trách nhiệm là tiền đề cho thành công của quản lý chất lượng. Chính sách đảm nhận định hướng, tổ chức đảm nhận trách nhiệm, quy trình đảm nhận thực thi, công cụ đảm nhận hiệu quả, và chỉ khi bốn trục cùng vận hành thì chất lượng bền vững mới được bảo đảm.
| Tầng | Thành phần | Câu hỏi cốt lõi |
|---|---|---|
| Chính sách·tiêu chuẩn | Định nghĩa tiêu chuẩn·chỉ số·chuẩn chất lượng | Coi cái gì là chất lượng tốt |
| Tổ chức·quản trị | Chủ sở hữu·người quản lý dữ liệu, hệ thống trách nhiệm | Ai chịu trách nhiệm |
| Quy trình | Lập hồ sơ·làm sạch·kiểm chứng·giám sát | Bảo đảm·duy trì như thế nào |
| Công cụ·công nghệ | Chẩn đoán chất lượng·MDM·quản lý siêu dữ liệu | Hiệu quả hóa bằng gì |
3. Quy trình quản lý chất lượng và mức độ trưởng thành
A. Quy trình quản lý chất lượng
flowchart LR
D["Định nghĩa tiêu chuẩn chất lượng"] --> M["Đo lường·lập hồ sơ"] --> A["Phân tích nguyên nhân"] --> C["Làm sạch·cải tiến"] --> Mo["Giám sát"]
Mo -. "Tuần hoàn liên tục (PDCA)" .-> M
style Mo fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
Quản lý chất lượng không phải làm sạch một lần mà là quy trình tuần hoàn. Trước tiên, định nghĩa (Define) tiêu chuẩn chất lượng từ góc độ nghiệp vụ, rồi lập hồ sơ (profiling) dữ liệu để đo lường (Measure) chất lượng hiện tại. Các lỗi phát hiện qua đo lường không chỉ được sửa ở triệu chứng bề mặt mà phải được phân tích nguyên nhân gốc (Analyze). Ví dụ, nếu lỗi địa chỉ khách hàng xảy ra thường xuyên, không dừng lại ở việc sửa từng giá trị mà phải tìm và khắc phục vấn đề gốc là màn hình nhập liệu không có logic kiểm chứng thì mới ngăn được tái diễn. Sau đó làm sạch và cải tiến (Correct), rồi tiếp tục giám sát (Monitor) chỉ số thường xuyên và cảnh báo khi có sai lệch. Vòng tuần hoàn này chính là PDCA phiên bản dữ liệu.
Điều đặc biệt cần nhấn mạnh là quy luật kinh nghiệm phòng ngừa rẻ hơn áp đảo so với làm sạch sau. Trong lĩnh vực chất lượng dữ liệu, 'quy tắc 1-10-100' thường được trích dẫn: nếu chi phí ngăn lỗi tại nguồn là 1 thì chi phí làm sạch, khôi phục sau khi lỗi đã chảy xuống hạ nguồn lớn hơn nhiều. Bội số chính xác khác nhau tùy tình huống, nhưng chiều hướng thì rõ ràng. Tức là, kiểm chứng và chuẩn hóa ở khâu nhập liệu căn bản và kinh tế hơn tổng vệ sinh sau đó.
Sai lầm con người thường mắc phải trong vòng tuần hoàn này là 'làm sạch trước khi đo'. Nếu chỉ sửa những lỗi dễ thấy mà không đo cái gì tệ và tệ đến mức nào, thì không thể chứng minh hiệu quả cải tiến và nguyên nhân gốc vẫn bị bỏ mặc. Ngược lại, nếu tạo ra thật nhiều chỉ số mà không gắn với cải tiến và trách nhiệm thì chỉ thành 'sân khấu chất lượng' với bảng điều khiển hào nhoáng. Điểm mấu chốt là thiết kế để mỗi bước của quy trình nối tiếp sang bước sau và tạo ra hành động thực tế.
B. Mức độ trưởng thành của quản lý chất lượng
Mức độ quản lý chất lượng khác nhau ở mỗi tổ chức, và mô hình trưởng thành được dùng để chẩn đoán vị trí hiện tại và xác định hướng cải tiến. Ở giai đoạn khởi đầu, quản lý chất lượng phụ thuộc vào năng lực cá nhân; ở giai đoạn định hình, xuất hiện một phần thủ tục; ở giai đoạn chuẩn hóa, tiêu chuẩn và quy trình toàn doanh nghiệp được thiết lập; ở giai đoạn tối ưu hóa, đạt được đo lường định lượng, cải tiến liên tục và tự động hóa. Mục đích của chẩn đoán mức trưởng thành không phải là bản thân xếp hạng mà là rút ra các nhiệm vụ cải tiến cụ thể để lên giai đoạn tiếp theo.
| Giai đoạn | Đặc điểm | Trọng tâm cải tiến |
|---|---|---|
| 1 Khởi đầu | Quản lý chất lượng yếu, phụ thuộc cá nhân | Nhận thức vấn đề·thiết lập tiêu chuẩn |
| 2 Định hình | Có một phần thủ tục·tiêu chuẩn | Văn bản hóa·mở rộng thủ tục |
| 3 Chuẩn hóa | Tiêu chuẩn·quy trình toàn doanh nghiệp được thiết lập | Tự động hóa·chỉ số hóa |
| 4 Tối ưu hóa | Đo lường định lượng·cải tiến liên tục, tự động hóa | Dự đoán·tự cải tiến |
4. Tiêu chuẩn chất lượng dữ liệu có cấu trúc/phi cấu trúc và so sánh
Tiêu chuẩn chất lượng khác nhau căn bản tùy loại dữ liệu. Lý do nằm ở câu hỏi 'có thể biểu diễn bằng quy tắc hay không'. Dữ liệu có cấu trúc như bảng và giá trị mã có lược đồ và quy tắc giá trị rõ ràng, nên có thể kiểm chứng tự động bằng các tiêu chuẩn định lượng như chính xác, đầy đủ, nhất quán, hợp lệ, duy nhất. Ví dụ, vi phạm các quy tắc như 'số định danh công dân là 13 chữ số', 'mã giới tính chỉ cho phép M/F' được phát hiện một cách máy móc.
Điểm xuất phát để bảo đảm chất lượng dữ liệu có cấu trúc là lập hồ sơ dữ liệu (profiling). Profiling tự động quét phân bố giá trị, giá trị nhỏ nhất, lớn nhất, tỷ lệ null, số giá trị khác nhau và mẫu của từng cột, làm lộ ra các mẫu bất thường mà con người chưa kịp định nghĩa (ví dụ: 'email lẫn vào cột số điện thoại'). Nắm hiện trạng bằng profiling, sau đó định nghĩa quy tắc kiểm chứng và liên tục đo lường vi phạm quy tắc là cách làm chuẩn mực của quản lý chất lượng dữ liệu có cấu trúc.
Ngược lại, dữ liệu phi cấu trúc như tài liệu, hình ảnh và log khó áp dụng các quy tắc đã định hình. Vì khó phán định 'tính chính xác' của một câu văn bằng quy tắc đơn giản. Do đó, người ta dùng các tiêu chuẩn tương đối định tính như độ tin cậy, tính phù hợp, tính dễ hiểu, tính hữu dụng, và thay vào đó chuyển điểm quản lý sang chất lượng siêu dữ liệu và gán nhãn. Ví dụ, với dữ liệu hình ảnh dùng để huấn luyện AI, cốt lõi của chất lượng là 'nhãn (đáp án) có được gán chính xác và nhất quán không' hơn là độ nét của hình ảnh. Khi đó, cách dùng mức độ đồng thuận nhãn giữa nhiều người kiểm duyệt làm chỉ số để quản lý định lượng chất lượng nhãn được sử dụng rộng rãi.
| Phân loại | Dữ liệu có cấu trúc | Dữ liệu phi cấu trúc |
|---|---|---|
| Tiêu chuẩn | Chính xác·đầy đủ·nhất quán·hợp lệ·duy nhất | Tin cậy·phù hợp·dễ hiểu·hữu dụng |
| Đối tượng | Bảng·giá trị mã | Tài liệu·hình ảnh·log |
| Phương pháp | Profiling dựa trên quy tắc | Chất lượng siêu dữ liệu·gán nhãn |
| Tự động hóa | Tương đối dễ | Kết hợp kiểm tra mẫu·kiểm duyệt của con người |
Khác biệt này quan trọng trong thực tế vì phần lớn dữ liệu AI là phi cấu trúc. Chỉ với công cụ chất lượng dữ liệu có cấu trúc thì không thể bảo đảm chất lượng dữ liệu huấn luyện AI, mà cần các quy trình riêng như hướng dẫn gán nhãn, hệ thống kiểm duyệt và kiểm tra mẫu. Nói cách khác, 'dữ liệu có cấu trúc hay phi cấu trúc' là điểm rẽ nhánh chiến lược quyết định cần trang bị công cụ, tổ chức và cơ cấu chi phí chất lượng nào.
5. Chiến lược và tình huống quản lý chất lượng dữ liệu
Chiến lược quản lý chất lượng hiệu quả có thể tóm gọn theo bốn hướng. Thứ nhất, tạo nền tảng chất lượng bằng chuẩn hóa dữ liệu. Nếu thuật ngữ, mã và định dạng không được chuẩn hóa thì bản thân tính nhất quán không thể thành lập, vì vậy "không có chuẩn thì không có chất lượng". Thứ hai, cách tiếp cận lấy phòng ngừa làm trung tâm, kiểm soát chất lượng ở khâu nguồn (nhập liệu) hiệu quả hơn nhiều so với làm sạch sau (logic 1-10-100 ở trên). Thứ ba, đo lường và giám sát chất lượng bằng chỉ số (KPI) định lượng để làm cho cải tiến trở nên hữu hình. Thứ tư, thiết lập hệ thống trách nhiệm bằng chủ sở hữu dữ liệu và cơ chế quản lý (stewardship) để bảo đảm tính bền vững.
Bốn chiến lược này có thứ tự. Nếu chuẩn hóa không đặt nền móng thì không thể định nghĩa quy tắc phòng ngừa, nếu không có chỉ số đo lường thì không biết phòng ngừa có hiệu quả không, và nếu không có hệ thống trách nhiệm thì dù chỉ số xấu đi cũng không ai hành động. Tức là, chuẩn hóa → phòng ngừa → đo lường → trách nhiệm phải được nhìn nhận như một chu trình hỗ trợ lẫn nhau, và chỉ nhấn mạnh một yếu tố thì không tạo ra chất lượng bền vững.
Làm tình huống cụ thể, khi một tổ chức tài chính tích hợp dữ liệu khách hàng của nhiều công ty thành viên, nếu cùng một khách hàng bị đăng ký trùng do khác biệt cách ghi, thì dùng quản lý dữ liệu chủ (MDM) để tạo 'góc nhìn khách hàng duy nhất' và áp dụng quy tắc làm sạch chuẩn nhằm bảo đảm tính duy nhất và nhất quán. Khi đó, nếu đặt tỷ lệ trùng lặp sau tích hợp làm KPI với giá trị mục tiêu (ví dụ: dưới 1%) để quản lý thì có thể theo dõi định lượng việc cải thiện.
Một tình huống khác: với dữ liệu khối lượng lớn, thời gian thực như log cảm biến IoT trong sản xuất, con người không thể kiểm chứng từng giá trị, nên cần nhúng kiểm chứng chất lượng tự động vào pipeline để lọc ngay các giá trị thiếu và ngoại lai khi dữ liệu đổ vào. Nếu tự động phát hiện các bất thường như một giá trị bị cố định ở 0 hoặc biến động đột ngột do cảm biến hỏng và loại chúng khỏi phân tích hạ nguồn, có thể ngăn chặn phán đoán sai trong bảo trì dự đoán thiết bị. Như vậy, điểm cốt lõi trong thực tế là phương thức bảo đảm chất lượng phù hợp thay đổi theo tính chất của dữ liệu (khối lượng lớn, thời gian thực hay không; có cấu trúc hay phi cấu trúc).
Tại Hàn Quốc, các chế độ chứng nhận chất lượng dữ liệu được vận hành chủ yếu ở khu vực công và tài chính, hình thành thông lệ chẩn đoán và chứng nhận chất lượng cơ sở dữ liệu theo tiêu chuẩn bên ngoài. Những chế độ này không để chất lượng chỉ phụ thuộc vào phán đoán nội bộ của tổ chức mà kiểm chứng bằng tiêu chuẩn khách quan, qua đó trở thành chất xúc tác nâng quản lý chất lượng lên thành hoạt động thường xuyên ở cấp tổ chức.
6. Chuyên sâu: AI lấy dữ liệu làm trung tâm và sự tiến hóa của quản lý chất lượng
Xu hướng đáng chú ý nhất trong quản lý chất lượng gần đây là AI lấy dữ liệu làm trung tâm (Data-centric AI). Nếu trước đây nghiên cứu AI tập trung cải tiến cấu trúc mô hình, thì nay cách tiếp cận "cố định mô hình và nâng chất lượng dữ liệu để tăng hiệu năng" được nhấn mạnh. Thực tế, khi có báo cáo về các trường hợp chỉ cần làm sạch lỗi nhãn và tăng tính nhất quán là hiệu năng mô hình cải thiện đáng kể, quản lý chất lượng dữ liệu đang được nhìn nhận lại như đòn bẩy cốt lõi cho hiệu năng AI.
Thứ hai là sự chuyển dịch sang giám sát chất lượng thường xuyên dựa trên khả năng quan sát (Observability). Vượt ra ngoài kiểm chứng theo lô (batch), giám sát chất lượng được nhúng vào pipeline dữ liệu để theo dõi thời gian thực độ tươi mới, phân bố và thay đổi lược đồ, tự động phát hiện và cảnh báo bất thường. Điều này gắn với khái niệm khả năng quan sát của DataOps đã giải thích trước đó, và cho thấy quản lý chất lượng đang tiến hóa từ chẩn đoán tĩnh sang giám sát động.
Thứ ba là hợp đồng dữ liệu (Data Contract) và tự động hóa quản trị. Bên sản xuất và bên tiêu thụ dữ liệu thỏa thuận trước bằng hợp đồng về lược đồ và kỳ vọng chất lượng rồi tự động kiểm chứng, qua đó đưa trách nhiệm chất lượng lên sớm tại điểm dữ liệu đổ vào. Đây là nỗ lực phòng ngừa vấn đề dai dẳng là bên sản xuất tùy tiện thay đổi lược đồ làm hỏng hạ nguồn, bằng cách tự động chặn vi phạm hợp đồng ở giai đoạn triển khai.
Thứ tư, tự động hóa quản lý chất lượng bằng AI cũng đang mở rộng. Ngày càng có nhiều nỗ lực áp dụng AI vào chính quản lý chất lượng, như học từ lịch sử để tự động phát hiện ngoại lai, bổ khuyết giá trị thiếu bằng thống kê hoặc mô hình, hay tìm ứng viên trùng lặp dựa trên độ tương đồng. Tuy nhiên, hiệu chỉnh tự động dựa trên AI có nguy cơ bóp méo dữ liệu gốc, nên phải có cơ chế kiểm soát lưu lịch sử hiệu chỉnh và để con người rà soát.
Dẫu vậy, ngay cả khi áp dụng các cách tiếp cận mới nhất này, điều cơ bản vẫn không đổi. Chỉ thay công cụ mới nhất mà không có nền tảng tiêu chuẩn, tổ chức và quy trình thì chất lượng không được bảo đảm. Cần nhớ rằng các kỹ thuật mới nhất chỉ phát huy hiệu quả khi được đặt trên một hệ thống quản lý chất lượng đã hoàn chỉnh.
7. Những điểm cần cân nhắc và hàm ý
Từ góc nhìn của Kỹ sư chuyên nghiệp (Professional Engineer), quản lý chất lượng dữ liệu không phải là nhiệm vụ kỹ thuật của một phòng ban đơn lẻ mà phải được thiết kế như một phần của quản trị dữ liệu toàn doanh nghiệp. Cần cân nhắc cân bằng năm điểm sau.
- Chất lượng dữ liệu là tiền đề cho độ tin cậy của AI và phân tích. Theo góc nhìn AI lấy dữ liệu làm trung tâm, quản lý chất lượng thường được ưu tiên hơn cải thiện hiệu năng mô hình, và quản lý thiên lệch, lỗi nhãn gắn trực tiếp với tính công bằng và an toàn của AI.
- Lấy phòng ngừa làm trung tâm và kiểm soát tại nguồn kinh tế hơn làm sạch sau. Ngăn lỗi tại nguồn bằng kiểm chứng và chuẩn hóa ở khâu nhập liệu căn bản và hiệu quả chi phí hơn làm sạch, khôi phục ở hạ nguồn (logic 1-10-100).
- Tổ chức và quản trị được ưu tiên hơn công cụ. Nếu không làm rõ hệ thống trách nhiệm bằng chủ sở hữu và người quản lý dữ liệu, không công cụ chẩn đoán nào tạo ra hiệu quả bền vững. Quản lý chất lượng không phải vấn đề công nghệ mà là vấn đề văn hóa vận hành.
- Với dữ liệu thời gian thực và khối lượng lớn, nhúng giám sát chất lượng tự động vào pipeline. Mỗi khi dữ liệu đổ vào, tự động kiểm chứng chất lượng và phát hiện bất thường để chặn vấn đề trước khi lan xuống hạ nguồn.
- Gắn trực tiếp với quy định và tuân thủ. Ba luật dữ liệu và MyData của Hàn Quốc đòi hỏi quản lý dữ liệu chính xác, đáng tin cậy, nên quản lý chất lượng trở thành nền tảng chung cho ứng phó quy định và nâng cao giá trị tài sản dữ liệu.
- Xác định thứ tự ưu tiên dựa trên hiệu quả so với chi phí. Quản lý mọi dữ liệu ở cùng một mức là không thực tế, nên cần nhận diện trước 'các phần tử dữ liệu trọng yếu (CDE)' có ảnh hưởng lớn đến ra quyết định, quy định và doanh thu để quản lý tập trung, còn dữ liệu ít quan trọng thì giảm cường độ quản lý để phân bổ nguồn lực hiệu quả.
Tài liệu tham khảo
- DAMA International, "DMBOK2 (Data Management Body of Knowledge)" — https://www.dama.org/cpages/body-of-knowledge
- ISO/IEC 25012, "Data quality model" — https://www.iso.org/standard/35736.html
- Andrew Ng, "A Chat with Andrew on MLOps: From Model-centric to Data-centric AI" — https://www.deeplearning.ai/the-batch/
Tóm tắt một câu: Quản lý chất lượng dữ liệu là hoạt động thường xuyên đo lường và cải tiến chất lượng đa chiều như tính chính xác, tính đầy đủ thông qua kiến trúc chính sách·tổ chức·quy trình·công cụ, áp dụng tiêu chuẩn riêng cho dữ liệu có cấu trúc và phi cấu trúc, và nhờ chiến lược chuẩn hóa·phòng ngừa·đo lường·trách nhiệm cùng AI lấy dữ liệu làm trung tâm và khả năng quan sát, biến dữ liệu thành tài sản đáng tin cậy cho ra quyết định và AI.