用户画像

用户画像：用户画像系统设计

1. 系统架构

1.1. 系统架构图

1.2. ETL 数据流向图

2. 用户画像系统分层

2.1. 应用层

广告投放系统
营销系统
CRM 系统
推荐系统
用户分析平台
产品开发分析

2.2. 服务层

业务服务
- 画像看板
- 单用户画像
- 群体用户画像
- 相似性拓展
- 标签集市
- 人群洞察
- 标签管理
  - 标签上架
  - 标签下架
  - 标签规则
- 权限管理
- 账号管理
系统服务
- API
- 数据库接口

2.3. 数据挖掘层

用户唯一标识（One ID）
- 跨平台映射关联（ID-Mapping）
用户档案
- 用户数据集市
  - 按主题，在数仓搭建用户相关表汇聚层
  - 包含内容：
    - 用户基础数据
    - 用户行为数据
    - 用户交易数据
    - 用户客诉数据
标签建模
- 事实类标签
- 规则类标签
- 预测类标签
标签宽表
- 宽表建模 & 存储
- 包括内容：
  - 日全量宽表：
    - 用户基础信息宽表
    - 用户行为信息宽表
    - 用户消费偏好宽表
    - 用户价值维度宽表（消费能力、客诉敏感度、价格敏感度）
    - 用户风控维度宽表（反作弊）
  - 日增量宽表：
    - 用户行为
    - 用户偏好
    - 群体偏好

2.4. ETL 层

数据清洗转换
ETL 过程

2.5. 数据采集层

业务数据
埋点数据
日志数据
第三方数据
爬虫数据

3. 用户标签建模

3.1. 基本信息

自然属性
社会属性
平台属性

3.2. 行为特征

订单统计
商品偏好

3.3. 兴趣特征

兴趣爱好
- 浏览内容
- 收藏内容
- 阅读咨询
- 购买物品偏好等

3.4. 消费特征

优惠使用信息

3.5. 社交特征

用户社交相关数据

3.6. 服务特征

售后&反馈

4. 用户标签落表

4.1. Hive

在 hive 中做主题建模
存储用户画像标签

4.2. Hbase / Redis

个性化推荐
线上实时数据

4.3. MySQL

用户画像标签-元数据管理
BI 报表展示

4.4. Elasticsearch

圈人服务 & 用户列表
- ES 中快速获取标签对应的用户列表，进而定向推送营销信息
ES 方便复杂查询

5. 系统模块

5.1. 标签模块

基础标签
- 标签名称
- 业务含义
- 标签规则
组合标签

5.2. 标签引擎

数据源管理
规则标签模型
统计标签模型
挖掘标签模型
引擎状态监控

5.3. 画像模块

个体画像
群体画像

5.4. 标签查询

覆盖用户查询
- 基于组合标签，查询用户人群
标签模型查询

5.5. 系统设置

用户管理
权限管理