1.1数据应用体系层级划分：
1.2标签类型：
分为统计类标签、规则类标签、机器学习挖掘类标签、自定义类型标签；
统计类标签：用户的近7日活跃时长可以从用户注册数据、用户访问、消费数据中统计得出，该类型的标签构成了用户画像的基础；
规则类标签：在实际开发画像的过程中，由于运营人员对业务更为熟悉，而数据人员对数据的结构、分布；特征更为熟悉，因此规则类标签的规则由运营人员以及数据人员共同协商而定。如经过某个业务数据流转，可以获得得到一个标签；
机器学习挖掘类标签：通过机器学习挖掘产生，用于对用户的某些属性或某些行为进行预测判断，该类标签需要通过算法挖掘产生。
总结：统计类规则类标签用的比较常见，占系统开发的大多数，机器学习挖掘用的比较少。
1.3数据架构
用户画像是不是产生数据的源头，而是对于基于数据仓库DW、ODS、DM层中与用户相关数据的二次建模加工，在ETL过程中将用户标签计算结果写入Hive，由于不同数据库有不同的应用场景，后续需要进一步到将数据同步到MySQL、HBASE、Elasticsearch中；
解释：
（1）ETL是英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
（2）ODS：操作性数据
（3）DW：数据仓库
（4）DM：数据集市
（5） MySQL：一个关系型数据库管理系统，存储元数据标签、监控相关数据，导出到业务系统的数据；
（6）Elasticsearch：一个分布式、高扩展、高实时的搜索与数据分析引擎，支持海量数据的实时查询分析，用于存储用户人群计算、用户群透视分析所需的用户标签数据（由于用户人群计算、用户群透视分析的条件转化成的SQL语句多条件嵌套较为复杂，使用Impala执行也需要花大量时间）
（7）HBase：一个分布式的、面向列的开源数据库，存储线上接口实时调用类数据
（8）FTP：文件传输
（9）Hive：存储用户标签计算结果、用户人群计算结果、用户特征库计算结果；
1.4主要覆盖模块：
1.5开发流程：
（1）目标解读：
在建立用户画像前，首先需要明确用户画像服务于企业的对象，再根据业务方需求，明确未来产品建设目标和用户画像分析之后的预期效果；
（2）任务分解与需求调研
当已经明确了用户画像的服务对象与应用场景，接下来需要针对服务对象的需求侧重点，结合产品现有业务体系和“数据字典”规约实体和标签之间的关联关系，明确分析维度。
（3）需求场景讨论与明确
数据运营人员需要根据与需求方的沟通结果，输出产品用户画像需求文档，在该文档中明确画像应用场景、最终开发出的标签内容与应用方式，沟通确认。
（4）应用场景与数据口径确认
经过上述的需求场景讨论与明确，最终实现的标签维度、标签类型后，数据运营人员需要结合业务与数据仓库中已有的相关表，明确与各业务场景相关的数据口径，需要产出产品用户画像开发文档，并且文档中需要明确应用场景，标签开发的模型，涉及的数据库与表以及应用实施流程。
（5）特征选取与模型数据落表
将已经明确的需求场景进行业务建模，写好HQL逻辑，将相应的模型逻辑写入临时表中，并抽取数据校验是否符合业务场景需求
（6）线下模型数据验收与测试
数据仓库团队的人员将相关数据落表后，设置定时调度任务，定期增量更新数据。数据运营人员需求验收数据仓库加工的HQL逻辑是否符合预期，根据业务需求抽取表中数据查看是否在合理范围内，如果发现问题要及时反馈给数据仓库人员调整代码逻辑和行为权重的数值
（7）线上模型发布与效果追踪
通过持续追踪标签应用效果及业务方反馈，调整优化模型及相关权重配置。
1.6画像体系开发主要阶段
（1）标签开发：根据业务需求和应用场景梳理标签指标体系，调研业务上定义的数据口径，确认数据来源，开发响应的标签，标签开发在整个画像项目周期中占有较大比重；
（2）ETL调度：熟路需要调度的个任务之间的依赖关系，开发调度脚本及调度监控告警脚本，上线调度系统；
（3）打通服务层接口：为了让画像数据走出数据仓库，应用到用户身上，需要打通数据仓库和各业务系统的接口；
（4）画像产品化：需要产品经理与业务人员、技术开发人员一起对接业务需求点和产品功能实现形式，话产品原型，确定工作排期，JAVA WEB端开发完成后，需要数据开发人员 面向对应的库表中灌入数据
（5）开发的优化：在画像的数据和产品端搭建好架构，能提供稳定服务的基础上，为了让调度任务执行起来更加高效，提供服务更加稳重，需要对标签计算脚本，调度脚本，数据同步脚本等相关计算任务进行重构优化；
（6）面向业务方推广应用：用户画像最终的价值产出点是业务方应用画像数据进行用户分析，多渠道触达运营用户，分析ROI，提升用户活跃度或营收。面向用户提供使用文档。
网友评论