ICS35.240.01 CCS L 70 团 体 标 准 T/HAA1 003-2024 数据资产 数据质量评价规范 Data assets--Data quality evaluation specification 2024-11-27发布 2024-12-01实施 海南省人工智能学会 发布
T/HAA1 003-2024 目次 前言 1范围.. 2规范性引用文件 3术语和定义. 4数据质量评价的目的与作用 5数据质量评价内容. 5.1评价内容, 5.2评价方法.. 6数据质量评价指标 6.1规范性, 6.2完整性, 6.3时效性 6.4准确性, 6.5一致性 6.6 可访问性 6.7评价指标参考值 7数据质量评价流程 7.1总体流程 7.2准备阶段, 7.3实施评价 7.4评价结果. 7.5评价 参考文献. 附录A 数据质量评价结果明细表模板,
T/HAA1003-2024 前言 本文件按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定 起草.
本文件由海南省人工智能学会提出并归口.
本文件起草单位:中国电信股份有限公司数据要素技术创新(海南)中心、中国电信股份有限公司 海南分公司、海南师范大学、武汉大学、海南科技职业大学.
本文件主要起草人:张小建、黄健强、陈文思、符舒凡、梁钰、吴佩琦、丁超、黄程杰、周政成、 郭世坤、蔡雪云、严炜炜、王艺臻、白颢.
II
数据资产数据质量评价 1范围 本文件规定了数据资产质量评价的评价内容、评价指标和评价流程的应用.
本文件适用于公共和私营部门的数据资产质量评价工作.
2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.
其中,注日期 的引用文件,仅该日期对应的版本适用于本文件:不注日期的引用文件,其最新版本(包括 的修改单)适用于本文件.
GB/T36344-2018《信息技术数据质量评价指标》 海南省数据资源标准规范第7部分:数据标准与质量管理规范 其他相关地区和行业标准 3术语和定义 GB/T36344-2018界定的以及下列术语和定义适用于本文件.
3.1 数据资源dataresources 是指具有使用价值的数据,是可供人类利用的新型资源.
3.2 数据产品data products 是指基于数据加工形成的,可满足特定需求的数据加工品和数据服务.
3.3 数据资产dataassets 是指特定主体合法拥有或者控制的,能进行货币计量的,且能带来直接或者间接经济利 益的数据资源.
[来源:GB/T40685-2021,3.1,有修改] 3.4 数据质量dataquality 在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度.
[来源:GB/T 36344-2018 2.3] 3.5 数据质量评价dataqualityevaluation 按照数据质量评价指标体系,采用适当的方法对数据质量进行评估,并形成数据质量评 价结果的过程.
[来源:福建省地方标准DB35/T1952-2020 3.5] 注:数据质量评价内容包含数据的规范性、完整性、准确性、一致性、时效性、可访问性.
4数据质量评价的目的与作用 本标准所述的数据质量评价是在完成数据治理、数据资产识别与分类、确权登记后进行 的步骤,数据质量评价可为后续的数据资产入表、数据资产评估提供有力支撑,为数据交易 标的的流通定价提供一定依据,有利于优化数据管理、实现数据资产保值增值.
数据质量评价旨在确保数据的规范性、完整性、准确性、一致性、时效性、可访问性, 以支持相关业务决策与运营.
5数据质量评价内容 5.1评价内容 分类本标准按照以下指标框架的六个维度对数据质量进行分析定义,如图1所示.
数据质量评价指标框架 规 完 准 时 范 整 确 致 效 访 性 性 性 性 性 性 图1数据质量评价指标框架 具体规定如下: 规范性:数据符合数据标准、数据模型、元数据、业务规则、权威参考数据或安全 规范的度量: 一一完整性:包括数据元素的完整性和数据记录的完整性: 一准确性:包括数据内容的正确性、数据重复率、数据唯一性和脏数据出现率: 一一致性:包括相同数据一致性和关联数据一致性: 一时效性:包括基于时间段的正确性、基于时间点的及时性和时序性: 一一可访间性:数据在需要时可以获取,在设定的有效生存周期内可以使用.
5.2评价方法 数据质量评价按照评价指标对数据质量进行数据探查、数据检核,数据质量评价方法一 般使用定量评价法,其中: 数据探查,是指探索源数据的过程,用来理解数据结构、数据内容、数据关系以及 为数据工程识别可能存在的问题.
在进行数据质量评价前,需要对数据进行探查,以确定各 项数据的质量情况,为数据质量评价提供明细.
一一数据检核一般使用定量评价法,包括但不限于以下方法: 全量检核:对涉及的数据进行逐一检核数据质量.
增量检核:对涉及的数据,在特定的范围和时间段内新增的数据进行逐一检核数 据质量.
抽样检核:按照一定的抽样规则,对涉及的数据样本进行逐一检核数据质量.
6数据质量评价指标 2