1. BI 四类岗位
- 针对 BI 的四个范畴,在企业组织架构中,也分别对应了一个小型 BI 团队的四个类型的岗位,分别是数据采集、数仓开发、数据分析和可视化开发;
- 这四类岗位的工作职能,会存在部分的重叠,需要做好分工和协作安排;
- 同时,岗位所需的技术栈很多也是通用的,比如 python、SQL,可以根据业务需要,调整岗位设计和人员职能,不要一上来就要求全部配齐人员,却工作量不饱和;
组建团队时要注意,人员的技术栈尽可能全面一些,在工作较忙时可以内部协调、相互帮助,比如数据采集就可以协助做 ETL,可视化最好也懂一点 SQL 和数据分析。
注意:在管理上,可以专人专责,但尽量不要专人专职。
1.1. 数据采集岗
- 第三方数据(部分职能与数仓工程师重叠):
- RPA;
- API;
- 业务数据:
- 手动报表上传;
- 数据库导入等;
- 埋点数据;
- 日志数据;
- 爬虫数据
2.2. 数仓开发岗
- DBA:
- 数仓:
- Hadoop 生态圈;
- ETL;
- 部分工作会与数据采集职能重叠;
- OLAP;
- 数据湖:
- OSS 等;
2.3. 数据分析岗
- SQL;
- python
- 数据挖掘;
- 算法模型;
2.4. 数据可视化岗
- PowerBI;
- Tableau;
- FineBI;
2. BI 团队搭建
2.1. 常规 BI 团队
-
需要指出的是,在不同的行业、不同企业组织架构不尽相同,对于 BI 的需求和定义不尽相同,BI 各个模块具体职能实际可能是由不同团队负责的,并不一定都在 BI 团队独立负责。
-
尤其是不少企业,数据中台的建设比较完善,数据采集、数据管理的一部分工作,事实上是由多个部门来承担的,比如有专门的爬虫、RPA团队负责外采数据,有专门的的大数据团队负责数仓的统一管理。
2.2. 电商 BI 团队
-
就大多数的电商卖家企业来说,数据中台建设普遍起步比较晚,且数据量、企业规模都比互联网企业低了一个量级,一般来说具体的数据采集和管理,仍是由 BI 团队负责。
-
要注意的是,部门间的沟通协调是非常消耗时间精力的,这无形中会增加企业 BI 建设的成本。
最理想的状态,是一定要保证 BI 团队和职能的完整性,即使职能和相关部门有一定的重叠也是合理的,关键是要厘清分工与协作关系。
3. 工程师的能力要求
- 基本的数据处理能力
- ETL 架构设计
- ETL 工具操作
- SQL 查询及调优
- 复杂存储过程
- 数据仓库建模能力
- 业务指标体系梳理
- 维度建模设计
- 多数据源、多层架构的设计开发能力
- 原型设计能力
- 可视化报表原型设计
- 业务理解能力
- 理解业务指标背后意义
- 业务场景
- 分析逻辑
- 理解业务指标背后意义
- 项目管理能力
- 项目管理规范化、流程化、制度化
- 需求梳理
- 计划资源
- 交付质量
- 文档输出
- 沟通能力
- 语言表达
- 理解能力
- 文档撰写能力
4. 外部沟通协调机制
- 在多数情况下,BI 需求是企业高管、或者前台业务部门提出的,BI 部门直接面对高层领导和前台业务部门;
- 同时 BI 需要的数据、开发资源又掌握在后台开发部门,需要开发部门提供资源和信息支撑;
- 这些决定了 BI 部门需要常态化的多向沟通。
4.1. 业务接口人
- BI 需求一般是由企业高层领导或者部门的领导提出,但多数时候会有一个专门的人员,和 BI 部门进行具体的细节对接;
- 接口人不一定能充分理解领导意图、或业务部门的需求,一定要注意多与领导沟通,了解真实意图;
这些年,随着企业信息化、数字化建设的发展,越来越多的企业业务部门,会配备有专门的数据运营岗,负责处理各种数据、报表,用以支撑部门的管理运营工作。这类人员有一定的数据分析能力,同时又比较了解业务,是比较理想的业务接口人。
- 业务接口人职责:
- 需求整理
- 数据源梳理
- 统计逻辑梳理
- 报表需求整理
- 资源协调
- 提供账号、权限、数据、文档等
- 协调第三方服务商
- 协调业务团队提供支持
- 需求整理
4.2. 内部数据接口人
由于企业信息化建设情况不一,多数企业会存在数据来源多、数据类型多等问题,需要梳理清楚各个 BI 的数据来源,厘清对应的负责人,并且要将其纳入 BI 建设项目协调机制中来,防止出现要数据找不到人、或者对方不配合的情况。
- IT 部门的 DBA
- DBA 主要的职责,是在数据库层面,为 BI 团队提供支撑。
- 具体包括:
- 数据库账号密码、读取权限;
- 数据字典:数据库表关系、字段属性、元数据等;
- 数据库运维支撑;
- 业务部门第三方系统管理人员
- 第三方软件的系统管理工作,一般是由 IT 部门负责的,但也有的会安排在业务部门。
4.3. 第三方服务商接口人
- 一般来说,电商卖家的 ERP、SCM、财务软件、OA大多是外采的产品,第三方服务商交付以后,会安排售后与 BI 对接;
要注意的是,如果外采的软件涉及到二次开发,那工作中真正要对接的,其实是负责开发的 DBA 或写 SQL 的开发人员,只有他们才清楚表结构设计和具体的业务逻辑。
5. 与数据中台关系
5.1. 数据中台概念介绍
数据中台的概念是最早由阿里巴巴首次提出,其最核心的是 OneData 体系。这个数据管理体系包括:全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。 数据中台对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产,进而为企业不同部门设置外部企业提供高效服务。
数据中台的本质,就是“数据仓库+数据服务中间件”,它不仅为数据分析挖掘而建,同时作为各个业务的数据源,为业务系统提供数据和计算服务。在这个过程中,数据中台不仅要解决“读”的问题,也要解决“写”的问题,需要的是一整套的数据治理规范。这一点在“主数据管理”和“交易数据管理”上,都能得到很好的体现。
5.2. BI 与 数据中台 的关系
相比于数据中台,BI 要做的数据分析和展示,则主要是是围绕着“读”数据展开,BI 强调的是利用数据的能力。理解了这一点,也就清楚了数据中台对于 BI 的基础性作用。 我们也可以简单的理解为:数据中台提供数据,BI 使用数据,BI 对数据中台是有依赖的。
需要补充的是,BI 建设和数据中台建设,是需要对方的全程参与的,绝不能闭门造车。比如表结构设计、字段设计、数据获取逻辑等等,这些看似不起眼的问题,如果沟通不畅很容易出问题。尤其是很多企业的数据中台建设起步比较晚,很多都是先开始做 BI,后面才开始做数据中台,这就导致了一系列的问题。
举个最简单的例子,笔者就曾经遇到过 BI 团队为方便数据分析,建表时、表名和字段名都使用汉字,但后来数据中台推出的数据库上线后、却根本不支持汉字,这就让数据中台的建设失去了意义。