1. 数据标准化
1.1. 数据标准定义
- 数据标准，是一套由管理制度、管控流程、技术工具共同组成的体系，是通过这套体系的推广，应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。
- 企业数据标准体系，一般是从数据域、数据分类、数据实体、数据属性四个层次构建。
1.2. 数据域
- 数据域是按业务领域划分的顶级数据分类；
- 例如：财务域、人力域、生产域、营销域等。
1.3. 数据分类
- 数据分类是按照业务主题对数据域的细分；
- 例如：财务域又可以分为盈利能力主题、企业发展主题、资金管理主题、运营管控主题等。
1.4. 数据实体
- 数据实体是每一类数据对象的个体，是数据标准化的主体；
- 需要规范数据实体的定义、标识、表示和允许值的数据单元。
1.5. 数据属性
- 数据一般有业务属性、技术属性和管理属性组成，例如：
- 业务属性：数据项的业务定义、业务规则、质量规则；
- 技术属性：数据项的名称、编码、类型、长度等；
- 管理属性：数据的存储位置、管理部门、管理人员为该数据的。
- 数据标准管理的过程，就是对数据以及数据的属性信息的标准化定义和应用的过程。
2. 数据标准化要解决的问题
2.1. 数据异构问题
- 数据存储结构不一致，调用多系统的数据时，由于某些数据在不同系统中数据存储结构不同，导致数据无法直接关联，影响不同系统之间的数据共享。
2.2. 数据名称含义混淆问题
- 数据定义不一致，不同系统对数据的命名、业务含义、取值范围等定义不同；
- 比如：
- 同名不同义
- 同义不同名
2.3. 沟通成本问题
- 数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多时间来进行沟通。
2.4. 数据来源不明问题
- 数据来源不一致，数据存在多个来源，在使用数据时，不清楚应该取哪个系统的数据；
- 比如：
- 名称问题：
- 同名不同源；
- 同源不同名；
- 含义问题：
- 同源不同义；
- 同义不同源；
- 名称问题：
3. 数据标准化的价值
3.1. 方便数据共享
- 数据标准的统一制定与管理，可保证数据定义和使用的一致性，促进企业级单一数据视图的形成，促进信息资源共享。
3.2. 提升数据质量
- 通过评估已有系统标准建设情况，可及时发现现有系统标准问题，支撑系统改造，减少数据转换，促进系统集成，提高数据质量。
- 没有标准化就没有信息化，那就更谈不上数据质量了。
- 通过对数据标准的统一定义，明确数据的归口部门和责任主体，为企业的数据质量和数据安全提供了一个基础的保障。
3.3. 保证数据规范化
- 数据标准可作为新建系统参考依据，为企业系统建设整体规划打好基础，减少系统建设工作量，保障新建系统完全符合标准。
- 通过对数据实体、数据关系以及数据处理阶段，定义统一的标准、数据映射关系和数据质量规则，使得数据的质量校验有据可依、有规可循，为企业数据质量的提升和优化提供支持。
3.4. 服务业务人员
- 对业务人员而言，数据标准建设可提升业务规范性，保障人员对数据业务含义理解一致，支撑业务数据分析、挖掘及信息共享。
- 对技术人员而言，有数据标准作为支撑，可提升系统实施工作效率，保障系统建设符合规范，同时降低出错率，提升数据质量。
- 对管理人员而言，数据标准建设可提供更加完整、准确的数据，更好的支撑经营决策、精细化管理。
4. 数据标准化的分类
4.1. 数据结构视角
- 结构化数据标准：
- 针对结构化数据制定的标准；
- 通常包括：信息项分类、类型、长度、定义、值域等。
- 非结构化数据标准：
- 针对非结构化数据制定的标准；
- 通常包括：文件名称、格式、分辨率等。
4.2. 数据内容来源视角
- 基础类数据标准：
- 指业务系统直接产生的明细数据和相关代码数据；
- 保障业务活动相关数据的一致性和准确性。
- 衍生类数据标准：
- 根据管理运营的需求、加工计算而派生出来的数据；
- 例如：统计指标、实体标签等。
4.3. 技术业务视角
- 业务数据标准：
- 为实现业务沟通而制定的标准；
- 通常包括：业务定义和管理部门，业务主题等。
- 技术数据标准：
- 从信息技术的角度对数据标准的统一规范和定义；
- 通常包括：数据类型、字段长度、精度、数据格式等。
5. 数据标准化涉及的内容
- 从范围上看，数据标准包括数据元数据标准、主数据标准、数据指标标准和其他数据元标准，
5.1. 元数据标准化
数据模型标准是元数据管理的主要内容，是企业数据治理的基础。
- 元数据是数据标准的基础，企业在制定数据标准的时候最先需要明确的就是数据业务属性、技术属性和管理属性，而这三类属性就是我们所说的业务元数据、技术元数据和管理元数据。
- 基于元数据的数据标准管理，为业务实体的定义、关系和业务规则到IT实现之间提供清晰、标准的语义转换，提高业务和IT之间的一致性，保障IT系统能够真实反映业务事实。
- 并为数据标准系统与其他业务系统的集成，提供有关数据标准、数据映射关系和数据规则的描述，为业务系统的集成提供支撑。
5.2. 主数据（参考数据）标准化
- 主数据是用来描述企业核心业务实体的数据；
- 比如：客户、供应商、员工、产品、物料等；
- 主数据是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，被誉为企业的“黄金数据”。
- 参考数据是用于将其他数据进行分类或目录整编的数据，是规定数据元的域值范围。参照数据一般是有国标可以参照的，固定不变的，或者是用于企业内部数据分类的，基本固定不变的数据。
- 例如：企业 SKU_CODE。
- 企业在数据治理项目中：
- 有整体建设的，包含了：元数据、主数据、数据标准等领域；
- 也有分开建设的，例如：主数据项目单独立项，数据标准管理和数据仓库放在一起实施；
- 企业应根据自身的实际情况和需求，明确实施范围和内容，制定适合企业发展需要的数据治理路线图。
- 主数据与参照数据的标准化是企业数据标准化的核心。
5.3. 指标数据标准化
- 指标数据是在实体数据基础之上，增加了统计维度、计算方式、分析规则等信息加工后的数据。
- 指标数据标准是对企业业务指标所涉及的指标项的统一定义和管理。
- 企业的财务、销售、采购、生产、质量、售后等各业务域均分布都有其相应的业务指标。
- 这些指标不仅需要在业务系统中统计和展现还需要在数据分析系统中展现，有的指标数据需要多个从不同的业务系统中进行获取。
6. 数据标准化覆盖的范围
6.1. 组织范围
- 数据标准适用的组织范围；
- 例如：部门级、公司级，集团级还是行业级。
6.2. 业务应用范围
- 数据标准都哪些业务部门会使用；
- 例如：一个“客户”数据标准，就会被市场、销售、生产、采购、仓储、物流、售后等多个部门使用。
6.3. 落地系统范围
- 该标准需要在哪些系统中贯彻执行；
- 例如：我们上边举的“客户”数据标准，落地系统范围可能包括ERP、CRM、WMS等。
7. 数据属性标准化
7.1. 业务属性定义
- 业务属性，定义数据与企业业务相关联的特性和用途，统一业务描述和理解；
- 包括：命名规则、编码规则、业务定义、业务规则、值集、维度、粒度等。
- 通过对实体数据的标准化定义，解决数据不一致、不完整、不准确等问题，消除数据的二义性，使得数据在企业有一个全局的定义，减少了各部门、各系统的沟通成本，提升企业业务处理的效率；
- 标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。
7.2. 技术属性定义
- 技术属性，定义数据与IT技术实现相关联的特性，对IT实施形成必要的指引和约束；
- 包括：字段名称、数据类型、数据格式、数据长度、度量单位、枚举值的限定等。
- 统一、标准的数据及数据结构是企业信息共享的基础；
- 标准的数据模型和标准数据元为新建系统提供支撑，提升应用系统的开发实施效率；
- 数据标准化清晰定义数据质量规则、数据的来源和去向、校验规则，提升数据质量。
7.3. 管理属性定义
- 管理属性，定义数据标准在管理和使用方面各部门承担的责任，对数据归属进行确权认知，明确数据所属部门、数据管理部门、数据使用部门、标准发布日期等管理属性做出规范；
- 通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；
- 统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理和分析效率，提供业务指标的事前提示、事中预警、事后提醒，实现数据驱动管理，让领导能够第一时间获取决策信息。
8. 数据标准化设计
8.1. 标准设计的定义
- 数据标准设计，是对数据标准的主题、信息大类、信息小类、信息项、数据类型、数据长度、数据定义、数据规则等进行规划设计。
- 在方法论指导下，完成数据标准设计和定义工作，包括数据业务描述定义(业务属性)、类型长度定义（技术属性）、其他标准信息定义。
8.2. 业务属性规范
- 主题
- 分类
- 大类
- 小类
- 名称
- 业务含义
- 数据来源
- （指标）计算公式
- 应用场景
8.3. 技术属性规范
- 类型
- 长度
- 域值范围
- 编码
- 数据源表
- 质量规则
- （指标）统计周期
- （指标）统计维度
- （指标）计算精度
8.4. 管理属性规范
- 归口部门
- 维护部门
- 安全级别
- 接口人
- 生成数据的业务系统
- 等
9. 数据标准实施
9.1 数据映射
- 明确需要映射内容的系统范围、应用领域、数据库表、数据字典、数据字段等。
- 将已定义的数据标准与业务系统、业务应用进行映射，表明标准和现状的关系以及可能影响到的应用。
9.2. 规范业务流程
- 数据治理过程中，有一个比较常见的问题：企业花费了大量精力建立起来的数据标准，在实际业务中没有很难使用起来。
- 当然，造成这个问题的因素有很多，例如：标准本身制定的不合理，历史系统的改造难度大，标准没有得到广泛的普及等等。
- 在众多的因素中，有一个因素我们不能忽略，那就是“业务流程的优化”，只有将数据标准与业务流程进行深度融合，融为一体的时候，才是真正意义上实现了数据标准的落地。
- 不能只关注数据而忽视了业务流程，事实上数据标准和流程优化，相互依存、互为支撑，没有规范化的业务流程，就不会有标准化的数据。
