算法层面、规则层面（RFM）
性别：真实性别、购物性别、预测性别
《数据化运营 系统方法与实践案例》的源代码
用户画像相关
《用户画像：方法论与工程化解决方案》 书中案例的参考代码
用户画像体系和系统构建的几点思考
属性标签，事实标签，建模标签，预测标签
用户标签体系的应用过程
大数据框架
本次开发以spark作为计算引擎，HDFS存储对应计算的结果。
HIVE存储所有标签相关数据的计算结果集。
3种数据库存储标签数据：HIVE（海量数据）、Mysql（量级小：标签监控、元数据、状态位）、Hbase（实时性：存储线上推荐给用户的实时性较强的数据）。
hdfs
zookeeper（集群的高可用性）
mysql
数据仓库
OLTP联机事务处理 vs OLAP联机分析处理
星型模型：1个事实表（订单事实表）和一组维度表（时间维度/顾客维度/商品维度/地点维度）
雪花模型：用多个维度表去描述一个复杂维
数据仓库分层：ODS数据源、DW数据仓库、DM数据集市
画像数据和数仓数据的关系
数据倾斜
数据倾斜解决方案（hive的etl中间表数据）
数据倾斜解决方案2
合并小文件（spark把job转变成task，而task会消耗大量的时间在启动和释放上）
Spark相比hadoop的优势
Crontab命令管理调度的方式总结来看存在以下几方面的弊端
用户画像-《数据化运营 系统方法与实践案例》
用户先关的全部数据：属性数据、行为数据（描述用户所执行的行为）、内容数据（用户行为的对象，如用户加关注、加入购物车、形成订单所对应的商品）。
用户画像的用途：定向广告投放、个性化推荐（初衷是发掘用户千人千面的特征。用户画像已成为流量精准的分发中心）、数据化运营。
1、用户画像建模其实就是为用户打标签（用户画像即用户信息标签化）。标签分为3种：
- 基于统计类的标签：如近7日活跃时长
- 基于规则类的标签：活跃用户（30天内交易次数≥2次）的定义。涉及的规则由运营人员（熟悉业务）和数据人员（对数据的结构、分布和特征更为熟悉）共同协商确定。
- 基于机器学习挖掘类的标签（通过算法挖掘产生，适用于预测场景——性别、偏好、流失意向）：预测对商品的偏好程度。
2、开发画像建立的过程要用的数据非常多，按数据粒度和应用场景分3个层次：
- 明细层：以日为数据粒度。可视为数据仓库中ODS层数据（不对数据做任何汇总、统计类的处理）。
- 统计中间层：以用户为数据粒度。对上面的ODS层数据进行统计加工、汇总计算，可视为数据仓库中DW层数据。
- 应用层：以用户为数据粒度。应用层数据输出后可支持产品应用，可视为数据仓库中DM层数据。
3、开发出的用户画像相关宽表及明细标签表，按应用场景一般分为：用户人口属性画像（静态属性，最终呈现的是一张用户宽表）、用户个性化标签（最终呈现的是一张用户行为标签表）、各业务线用户画像、用户偏好画像（在用户个性化标签的基础上，根据业务规则设定用户各种行为类型的权重、时间衰减方式、标签权重，并通过基于物品相关的协同过滤算法建立用户偏好画像的数据表）和用户群体属性画像。
4、用户画像用途
- 数据分析/挖掘和精细化运营：用户流失预警、用户生命周期、下单预测、用户价值；
- 个性化推荐：图书推荐、猜你喜欢、个性化展示、广告营销。
医院画像
邬惊雷说，上海市公立医院管理平台通过对大数据的抓取，可以给医院和科室“画像”。“这个‘画像’可以精确反映出你增加的服务量是不是和你的医院定位相匹配；精确反映出对于同一种疾病的治疗，你消耗的药品和耗材是不是合理。每位院长都可以看到兄弟医院的情况，分管区长、分管市长也可以看到各家医院的情况。”这样的管理手段，真正让院长坐不住了。
基础信息：床位/等级/位置/门急诊量/
特色专科/重点专科
互联网医疗用户画像：用户维度、行为属性、风控维度、社交属性维度
银行用户画像
客户分类维度
利用事后分类维度做客户分类，可保证分类的深入性；利用事前分类维度做细分客户的描述和检验，以保证细分客户的可接触性和差异性。
客户基本属性 / 特征维度：年龄、工作经验、行业、教育程度、家庭人数；
行为维度（借贷行为、响应行为）：账龄、还款行为、消费行为、抵押品估值（抵押类：房、车）；
态度偏好维度：心理需求、购买动机、使用习惯、使用体验与态度倾向。
风控维度：逾期行为；
银行用户画像
信贷风控流程：接受申请、N要素验证、合规性验证、个人信息核查、黑名单查询、反欺诈验证、信用评估、放款
《用户画像：工程与方法论一套解决方案》读书笔记
用户画像：工程与方法论一套解决方案
《用户画像：工程与方法论一套解决方案》读书笔记
《如何从0到1构建用户画像系统》PPT下载链接: https://pan.baidu.com/s/1kcSHBQtRC2C5_ZQzbmi9OQ提取码: z81q
干货PPT下载链接: https://pan.baidu.com/s/1fny2G7lckBX1WEx6r-2QDg 提取码: gg8m
配套源码下载：https://github.com/HunterChao/User-Portrait
直播回放链接：http://live.eyunbo.cn/live/40148?uin=1729
从0到1搭建用户画像系统【把大数据组件（HIVE/Spark/HBase/Mysql/数据仓库）统筹起来搭建用户画像系统】：从离线标签开发（离线批处理计算的标签）、用户数据分析、ETL调度、流式计算（流式计算标签）开发，到打通数据服务层、应用画像数据服务业务方、获得业务增长的反馈。
用户画像作用与意义：企业应用大数据的根基，是定向广告投放与个性化推荐的前置条件，为数据驱动运营奠定基础。
网友评论