BI

BI:电商卖家类企业 BI 团队建设

1. BI 四类岗位

  • 针对 BI 的四个范畴,在企业组织架构中,也分别对应了一个小型 BI 团队的四个类型的岗位,分别是数据采集、数仓开发、数据分析和可视化开发;
  • 这四类岗位的工作职能,会存在部分的重叠,需要做好分工和协作安排;
  • 同时,岗位所需的技术栈很多也是通用的,比如 python、SQL,可以根据业务需要,调整岗位设计和人员职能,不要一上来就要求全部配齐人员,却工作量不饱和;

组建团队时要注意,人员的技术栈尽可能全面一些,在工作较忙时可以内部协调、相互帮助,比如数据采集就可以协助做 ETL,可视化最好也懂一点 SQL 和数据分析。

注意:在管理上,可以专人专责,但尽量不要专人专职。

1.1. 数据采集岗

  • 第三方数据(部分职能与数仓工程师重叠):
    • RPA;
    • API;
  • 业务数据:
    • 手动报表上传;
    • 数据库导入等;
  • 埋点数据;
  • 日志数据;
  • 爬虫数据

2.2. 数仓开发岗

  • DBA:
  • 数仓:
    • Hadoop 生态圈;
  • ETL;
    • 部分工作会与数据采集职能重叠;
  • OLAP;
  • 数据湖:
    • OSS 等;

2.3. 数据分析岗

  • SQL;
  • python
  • 数据挖掘;
  • 算法模型;

2.4. 数据可视化岗

  • PowerBI;
  • Tableau;
  • FineBI;

2. BI 团队搭建

2.1. 常规 BI 团队

  • 需要指出的是,在不同的行业、不同企业组织架构不尽相同,对于 BI 的需求和定义不尽相同,BI 各个模块具体职能实际可能是由不同团队负责的,并不一定都在 BI 团队独立负责。

  • 尤其是不少企业,数据中台的建设比较完善,数据采集、数据管理的一部分工作,事实上是由多个部门来承担的,比如有专门的爬虫、RPA团队负责外采数据,有专门的的大数据团队负责数仓的统一管理。

2.2. 电商 BI 团队

  • 就大多数的电商卖家企业来说,数据中台建设普遍起步比较晚,且数据量、企业规模都比互联网企业低了一个量级,一般来说具体的数据采集和管理,仍是由 BI 团队负责。

  • 要注意的是,部门间的沟通协调是非常消耗时间精力的,这无形中会增加企业 BI 建设的成本。

最理想的状态,是一定要保证 BI 团队和职能的完整性,即使职能和相关部门有一定的重叠也是合理的,关键是要厘清分工与协作关系。

3. 工程师的能力要求

  • 基本的数据处理能力
    • ETL 架构设计
    • ETL 工具操作
    • SQL 查询及调优
    • 复杂存储过程
  • 数据仓库建模能力
    • 业务指标体系梳理
    • 维度建模设计
    • 多数据源、多层架构的设计开发能力
  • 原型设计能力
    • 可视化报表原型设计
  • 业务理解能力
    • 理解业务指标背后意义
      • 业务场景
      • 分析逻辑
  • 项目管理能力
    • 项目管理规范化、流程化、制度化
    • 需求梳理
    • 计划资源
    • 交付质量
    • 文档输出
  • 沟通能力
    • 语言表达
    • 理解能力
    • 文档撰写能力

4. 外部沟通协调机制

  • 在多数情况下,BI 需求是企业高管、或者前台业务部门提出的,BI 部门直接面对高层领导和前台业务部门;
  • 同时 BI 需要的数据、开发资源又掌握在后台开发部门,需要开发部门提供资源和信息支撑;
  • 这些决定了 BI 部门需要常态化的多向沟通。

4.1. 业务接口人

  • BI 需求一般是由企业高层领导或者部门的领导提出,但多数时候会有一个专门的人员,和 BI 部门进行具体的细节对接;
  • 接口人不一定能充分理解领导意图、或业务部门的需求,一定要注意多与领导沟通,了解真实意图;

    这些年,随着企业信息化、数字化建设的发展,越来越多的企业业务部门,会配备有专门的数据运营岗,负责处理各种数据、报表,用以支撑部门的管理运营工作。这类人员有一定的数据分析能力,同时又比较了解业务,是比较理想的业务接口人。

  • 业务接口人职责:
    • 需求整理
      • 数据源梳理
      • 统计逻辑梳理
      • 报表需求整理
    • 资源协调
      • 提供账号、权限、数据、文档等
      • 协调第三方服务商
      • 协调业务团队提供支持

4.2. 内部数据接口人

由于企业信息化建设情况不一,多数企业会存在数据来源多、数据类型多等问题,需要梳理清楚各个 BI 的数据来源,厘清对应的负责人,并且要将其纳入 BI 建设项目协调机制中来,防止出现要数据找不到人、或者对方不配合的情况。

  • IT 部门的 DBA
    • DBA 主要的职责,是在数据库层面,为 BI 团队提供支撑。
    • 具体包括:
      • 数据库账号密码、读取权限;
      • 数据字典:数据库表关系、字段属性、元数据等;
      • 数据库运维支撑;
  • 业务部门第三方系统管理人员
    • 第三方软件的系统管理工作,一般是由 IT 部门负责的,但也有的会安排在业务部门。

4.3. 第三方服务商接口人

  • 一般来说,电商卖家的 ERP、SCM、财务软件、OA大多是外采的产品,第三方服务商交付以后,会安排售后与 BI 对接;

要注意的是,如果外采的软件涉及到二次开发,那工作中真正要对接的,其实是负责开发的 DBA 或写 SQL 的开发人员,只有他们才清楚表结构设计和具体的业务逻辑。

5. 与数据中台关系

5.1. 数据中台概念介绍

数据中台的概念是最早由阿里巴巴首次提出,其最核心的是 OneData 体系。这个数据管理体系包括:全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。 数据中台对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产,进而为企业不同部门设置外部企业提供高效服务。

数据中台的本质,就是“数据仓库+数据服务中间件”,它不仅为数据分析挖掘而建,同时作为各个业务的数据源,为业务系统提供数据和计算服务。在这个过程中,数据中台不仅要解决“读”的问题,也要解决“写”的问题,需要的是一整套的数据治理规范。这一点在“主数据管理”和“交易数据管理”上,都能得到很好的体现。

5.2. BI 与 数据中台 的关系

相比于数据中台,BI 要做的数据分析和展示,则主要是是围绕着“读”数据展开,BI 强调的是利用数据的能力。理解了这一点,也就清楚了数据中台对于 BI 的基础性作用。 我们也可以简单的理解为:数据中台提供数据,BI 使用数据,BI 对数据中台是有依赖的。

需要补充的是,BI 建设和数据中台建设,是需要对方的全程参与的,绝不能闭门造车。比如表结构设计、字段设计、数据获取逻辑等等,这些看似不起眼的问题,如果沟通不畅很容易出问题。尤其是很多企业的数据中台建设起步比较晚,很多都是先开始做 BI,后面才开始做数据中台,这就导致了一系列的问题。

举个最简单的例子,笔者就曾经遇到过 BI 团队为方便数据分析,建表时、表名和字段名都使用汉字,但后来数据中台推出的数据库上线后、却根本不支持汉字,这就让数据中台的建设失去了意义。