数据中台:数据中台的基本概念

1. 数据中台概念

1.1. 数据中台的定义

  • 数据中台的概念是最早由阿里巴巴首次提出,其最核心的是 OneData 体系。
  • 这个数据管理体系包括:
    • 全局数据仓库规划
    • 数据规范定义
    • 数据建模研发
    • 数据连接萃取
    • 数据运维监控
    • 数据资产管理工具等
  • 数据中台对海量数据进行采集、计算、存储、加工,同时统一标准和口径。
  • 数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产,进而为企业不同部门设置外部企业提供高效服务。

  • 从技术视角:
    • 数据中台是一种数据管理体系,最重要的目标是支持各部门业务数据和提供计算服务。数据中台的本质就是“数据仓库+数据服务中间件”。
  • 从业务视角:
    • 数据中台是指通过完成企业内外部多源异构的数据采集、治理、建模、分析、应用,打通数据孤岛实现数据集中管理应用,成为企业数据资产管理中枢。

1.2. 数据中台的本质

  • 数据中台的本质,就是“数据仓库+数据服务中间件”,它不仅为数据分析挖掘而建,同时作为各个业务的数据源,为业务系统提供数据和计算服务。
  • 在这个过程中,数据中台不仅要解决“读”的问题,也要解决“写”的问题,需要的是一整套的数据治理规范。这一点在“主数据管理”和“交易数据管理”上,都能得到很好的体现。

2. 数据中台要解决的问题

2.1. 数据的统一管理

  • 通过大数据的技术,实现对海量的、多类型的、多来源的数据统一管理,沉淀并形成数据资产;
  • 具体包括:
    • 数据接口管理
    • 数据模型管理
    • One ID(ID Mapping)
    • 数据资产管理
    • 数据质量管理
    • 数据权限管理
    • 数据安全管理

2.2. 多源、异构数据融合

  • 在数字化时代,企业融入了整个互联网生态,企业内部、企业之间的联系在新的技术和工具下,业务连接更加紧密,这催生了企业之间的数据通过开放、共享,企业和社会级数据的连接服务,实现企业内、企业间、企业与社会公共服务的数据之间的融合共享;
  • 数据来源体系包括:
    • 业务系统
      • CRM
      • BPM
      • OA
      • WMS
      • TMS
      • OMS
    • 埋点数据
      • 前端埋点
      • 后端埋点
    • 第三方数据
      • 第三方企业提供的数据
        • 如:阿里妈妈、巨量引擎;
    • 手工数据
      • 人工手动处理的表格文档;
    • 爬虫数据
      • 通过爬虫技术获取的数据

2.3. 数据服务体系

  • 数据最终是为了服务于应用,通过面向智能的方法和工具,可大幅的提升数据运用的效率,帮助企业实现业务的实时响应。
  • 数据服务体系,具体包括:
    • BI 报表
    • 用户分析
    • 商品分析
    • 流量分析
    • 交易分析
    • 自助分析平台
    • 自动化营销平台
    • 推荐系统 / 用户画像
    • 欺诈行为分析

3. 数据中台与传统数据仓库的差别

3.1. 数据存储差异

  • 与存储“已知”结构化数据,解决“已知问题”的传统数据仓库(Data Warehouse)相比,数据中台存储了大量“未知”的原始数据,利用数据科学(Data Science)可在应用层面进行更多探索,帮助企业解决更多“未知”的商业问题。

3.2. 数据量级差异

  • 数字技术的革命,使得可收集的数据在量级上产生了爆发,因为数据的“量变”,催生了数据管理和应用的“质变”,这是数据中台出现的主要原因。
  • 如果说传统的“数据仓库”面对的是“小数据”,数据中台处理的则是真正的“大数据”。

3.3. 服务对象差异

  • 传统的数据仓库只是满足领导数据决策的需要,因此更多地体现在报表输出,使用者以小部分的业务人员和决策层为主,新需求的开发周期以月甚至到年为计。
  • 而数据中台由于起家于互联网企业,其使用对象扩大到一线服务人员和商家企业,其业务需求更繁杂,很难用一套报表系统满足需求,因此催生出一个生态的数据服务。

3.4. 在服务表现形式差异

  • 数据中台体现的更多样化,数据中台不仅能提供报表基础服务功能,而且为了满足各个业务部门不同需求,会提供领导决策系统、行业分析、业务洞察、业务重塑、自助查询等多个功能,满足从领导层、PD、业务人员、开发人员等各个层级的需求。
  • 在继承性方面,数据中台采用传统的数据仓库Kimball维度建模法,按照事实表、维表来构建数据中台的数据模型。

4. 数据中台的三种形式

4.1. Data Lake(数据湖)

  • 技术难度最重的一种,定位是企业业务层面的数据大集市,会整合全公司各种数据源,支撑的不只是营销场景,还包括企业个性化的业务场景;
  • 往往由企业的最高层直接领导,目标是帮助企业进行数字化转型。由于在数据对接和数据处理层面需要处理大量定制化数据源,因此构建过程往往以年为时间单位;

4.2. CDP(Customer Data Platform)

  • 技术难度稍低的数据中台,定位是营销层面的数据大集市,目标是支撑各种利用企业自有数据的营销场景。
  • 因为CDP通常只对接标准化数据源(例如两个企业用的是同一款标准化CRM,他们的底层数据结构都是一样的),数据治理和数据管理相对容易,因此实施周期以月为单位;

4.3. DMP(Data Management Platform)

  • 定位是支撑以程序化广告为主的实时营销场景,和Data Lake,CDP的最大不同是毫秒级数据输出。因为DMP主要用到的是广告监测数据、网站分析数据和第三方大数据,数据格式相对固定,因此实施难度最低。

5. 数据中台在营销中的应用

  • 赋予企业数字营销的精细化操作能力:
    • 当市场部们承接的数字营销预算大到一定程度时,便无法仅凭借营销人员的个人经验对营销活动进行微观操作。
    • 而在拥有数据中台后,便可依靠数据+技术,驱动整个营销体系的精细化操作;
  • 提升营销执行的ROI:
    • 这是企业最常规的诉求,市场部绝大部分预算都分配在营销执行层面。按照每年1亿的营销投入计算,如果能通过数据提升1%的精准度,就能为企业节省100万的成本,这是能最直接看到的真金白银;
  • 战略视角的营销策略:
    • 在打通生产、销售、电商、服务等数据后,市场部就能看到更加连贯的全局数据,可以站在更高维度审视营销在公司战略布局中的定位和作用;
  • 提升市场部内部运营的整合度:
    • 当市场部内部职能划分过细,便需要通过数据来串接营销运营过程中的市场研究->市场策略->营销执行->效果考核,避免内部信息不对称,提升运营效率 ;
  • 加强市场部和其他部门间协作:
    • 当企业内部组织架构达到一定复杂度,市场部需要通过数据对接其他部门的运作,在企业统一的考核体系下,于企业内部证明自身价值,争取更多资源;
  • 支撑业务的数字化转型:
    • “数字营销”已不再只是营销词汇,数据中台所拥有的资源(数据/IT设施/考核规则/运营人员),除了支持营销场景,还可用于构建各种数字化转型的业务场景,作为CMO和CEO/CGO/CDO对话的核心资本。
    • 今天讨论建立营销数据中台的,除了市场部和IT部门,很多需求是来自更高层的CEO、COO(首席运营官)、CGO(首席增长官),这些高层的诉求通过“数据中台”来解决业务问题(例如产能过剩、人员效能、获客),支持企业的创新业务(例如新零售、金融科技、数字化管理)。