数据中台:数据中台的功能模块

1. 工具平台模块

工具平台层是数据中台的载体,包含大数据处理的基础能力技术,如集数据采集、数据存储、数据计算、数据安全等于一体的大数据平台;还包含建设数据中台的一系列工具,如离线或实时数据研发 工具、数据联通工具、标签计算工具、算法平台工具、数据服务工具及自助分析工具。

2. 数据资产模块

2.1. 主题域模型

主题域模型是指面向业务分析,将业务过程或维度进行抽象的集合。业务过程可以概括为一个个不可拆分的行为事件,如订单、合同、营销等。

为了保障整个体系的生命力,主题域即数据域需要抽象提炼,并且长期维护和更新,但是不轻易变动。在划分数据域时,既要涵盖当前所有业务的需求,又要保证新业务能够无影响地被包含进已有的数据域中或者很容易扩展新的数据域.

2.2. 标签模型

标签模型的设计与主题域模型方法大同小异,同样需要结合业务过程进行设计,需要充分理解业务过程。

标签一般会涉及企业经营过程中的实体对象,如会员、商品、门店、经销商等。这些主体一般来说都穿插在各个业务流程中,比如会员一般都穿插在关注、注册、浏览、下单、评价、服务等环节。那么在设计标签的时候就需要充分理解这些业务流程,在流程中发现标签的应用点,结合这些应用点来搭建企业的标签体系。标签模型按计算模式一般分为客观标签和主观标签。

设计标签模型时非常关键的要素是标签模型一定要具有可扩展性。毕竟标签这种数据资产是需要持续运营的,也是有生命周期的,在运营的过程中随时可能增加新的标签。

2.2. 算法模型

算法模型更加贴近业务场景。在设计算法模型的时候要反复推演算法模型使用的场景,包括模型的冷启动等问题。整个模型搭建过程包含定场景、数据源准备、特征工程、模型设计、模型训练、正式上线、参数调整7个环节。

以新零售企业为例,常用的机器学习算法有决策树、神经网络、关联规则、聚类、贝叶斯、支持向量机等。这些算法已经非常成熟,可以用来实现商品个性化推荐、销量预测、流失预测、商品组货优化等新零售场景的算法模型。

3. 数据应用模块

数据应用层严格来说不属于数据中台的范畴,但数据中台的使命就是为业务赋能,几乎所有企业在建设数据中台的同时都已规划好数据应用。数据应用可按数据使用场景来划分为以下多个使用领域:分析与决策应用、标签应用、智能应用。

3.1. 底层服务

  • 底层服务层重点为整个数据中台,从数据接入层到数据安全管控全流程的数据活动,提供统一的数据存储资源、计算引擎、数据处理中间件服务,增强了服务器资源的有效调度和统一管理。

3.2. 数据接入

  • 数据接入层提供统一的数据接入平台,根据数据采集的业务场景,平台提供了数据收集的工具及解决方案,让数据采集》数据传输》数据存储》数据资源管理全链路都可自动化完成,并实现对活动任务的自动化监控。

3.3. 数据整合

  • 数据整合层提供统一数据处理及标签/模型开发服务。在整合层的数据需求应当来自企业的数据使用场景对数据进行建模,生成如标签管理、数据仓库这样的服务平台,为企业的数据团队/业务团队使用数据提供一个高效的整合后的数据源;
  • 并在这一层对数据进行治理,例如编码规范、主题域划分,表模型规划、数据质量校验规则设计等都在这一层完成,通过这些模型、规范及平台的协同作用,为企业提供可高效获取并质量可靠的数据。

3.4. 数据挖掘分析

  • 数据挖掘分析层整合了企业存在的几大数据挖掘及分析工作场景,比如对用户行为数据进行数据分析、通过算法模型挖掘用户潜在的商业价值、或者多个BU之间进行数据加密碰撞发现新合作场景等,这一层提供的平台及工具,基本覆盖了大部分数据挖掘的工作场景;
  • 通过数据中台实现共享这些数据组件,使得各部门和团队都可以通过工具高效完成挖掘分析工作。

3.5. 业务应用

  • 业务应用层是指可以直接提供给业务端使用的数据产品,业务可以直接使用这些数据产品高效获得满足业务需求的目标数据,甚至这些数据可以直接打通到业务系统;
  • 比如 DMP 平台,让用户从 产生数据需求 > 数据加工 > 数据使用 的整个数据获取周期大幅度缩短。
  • 此外,也可以通过提满足特定具体业务场景的数据应用来给业务赋能。

3.6. 数据服务管理

  • 数据服务管理层提供统一的数据服务出口,目标在帮助企业提升数据资产的应用价值,同时要保证数据的安全性和有效性。
  • 统一服务通过行业成熟的ONESERVICE解决方案,构建API和数据服务接口来满足不同数据使用场景的需要,同时降低了数据的开发门槛。