dex0423 的博客

记录工作学习的点点滴滴。

用户画像：标签模型的设计规范

1. 标签规范 1.1. 规范对象标签编码标签命名标签描述（定义）标签计算逻辑标签取值规则更新周期安全等级物理存储信息标签负责人开发时间（版本） 1.2. 规范内容格式规范用词规范内容规范取值规范 1.3. 标签分类主分类标签一级标签二级标签 ...

用户画像：标签模型开发流程

开发流程阶段 & 各阶段关键产出

开发流程阶段目标解读在建立用户画像前，首先需要明确用户画像服务于企业的对象，再根据业务方需求，明确未来产品建设目标和用户画像分析之后的预期效果。一般而言，用户画像的服务对象包括运营人员和数据分析人员，不同业务方对用户画像的需求有不同的侧重点；就运营人员来说，他们需要分析用户的特征、定位用户行为偏好，做商品或内容的个性化推送以提高点击转化率，所以画像的侧重点就落在了用...

用户画像：常见的用户标签体系

标签梳理 & 标签分类

1. 用户标签的分类 1.1. 按照维度划分自然属性商业属性行为属性价值属性 1.2. 按照层级划分主分类标签一级标签二级标签三级标签业务标签四级标签属性...

用户画像：如何验证用户画像的准确性

验证对象用户基本信息主要是用户基本信息，如年龄、性别、学历、职业、收入、资产、婚否、是否有房、是否有车等；用户行为画像基于互联网业务，此处的用户行为主要指用户的消费行为；如品类偏好、下单预测、分期意愿等；用户分群画像此类画像基于统计方法（聚类）将同类型用...

用户画像：基于拉链表实现 ID Mapping

基于 Hive ETL 实现

ID-Map 用户在未登录 App 的状态下，在 App 站内访问、搜索相关内容时，记录的是设备 id（即cookieid）相关的行为数据。用户在登录 App 后，访问、收藏、下单等相关的行为记录的是账号 id（即userid）相关行为数据。虽然是同一个用户，但其在登录和未登录设备时、记录的行为数据之间是未打通的。通过 ID-MApping 打通 user...

用户画像：基于 Spark 开发标签模型

标签模型开发流程标签开发，是用户画像工程化的重点模块，包含统计类、规则类、挖掘类、流式计算类标签的开发，以及人群计算功能的开发，打通画像数据和各业务系统之间的通路，提供接口服务等开发内容。标签建模所有的离线标签系统，都需要两个核心模型：离线标签用户维表 ...

用户画像：从数据中台到用户标签

用户标签在数据中台的位置数据中台是数据+技术+产品+组织的有机组合，是快、准、全、统、通的智能大数据体系。与数据仓库等传统数据工具相比，数据中台是一种新的理念，以“技术+业务”为双驱动，是企业开展新型运营的一个中枢系统。数据资产和数据服务中最核心的是标签：数据资产本身以标签为组织载体，而数据服务本质上是一种将标签传递给业务端使用的价值管道。标签是数据中台价值链路中“核心的核心...

用户画像：从 Hive 数仓同步标签数据到 HBase

用户画像系统数据流向用户画像数仓架构用户画像系统数仓 ETL 加工流程，是将业务数据、日志数据、埋点数据等经过 ETL 过程，加工到数据仓库对应的 ODS 层、DW 层、DM 层中；中间的虚线框即为用户画像建模的主要环节，是对基于数据仓库 ODS 层、DW 层、DM 层中与用户相关数据的二次建模加工；在 ETL 过程中将用户标签计算结果...

用户画像：ID Mapping 的设计与实现

1. ID Mapping 的概念 1.1. 定义 ID Mapping，就如同它的名字一样，咱们要做的就是将一系列的ID 关联起来，一些列的ID 可能是用户在不同平台上的标识，也可能是用户在不同设施上的标识，也可能是用户在不同状态下的标识； ID Mapping 就是将这一系列的ID 关联起来，尽可能地将用户的数据买通，从而提供更加全面精确的剖...

用户画像：Hive 数仓各层表设计示例

ODS 层业务数据表商品订单表商品订单表（dw.order_info_fact）商品评论表商品评论表（dw.book_comment）用户收藏表用户收藏表（dw.book_collection_df）购物车信息表购物车信息表（dw.sho...