特征工程（一）

转自七月算法班

特征工程需要根据实际的业务场景进行处理

---数据与特征处理

1. 数据选择/清洗/采样

2. 数值型/类别型/日期型/文本型特征处理

3. 组合特征处理

---特征选择

1. Filter/Wrapper/Embedded 三种特征选择方式及开发包/案例

特征：数据中抽取出来的对结果预测有用的信息

特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程

意义：

      更好的特征意味着更强的灵活度

     更好的特征意味着只需要用简单的模型

     更好的特征意味着更好的结果

真正在互联网公司进行开发的人，在做

     1. 跑数据，各种map-reduce，hive SQL，数据仓库搬砖

     2. 数据清洗

     3. 分析业务，分析case，找特征

     4. 应用在常见的机器学习算法上  

特征工程在特征工业界的作用

能够有效提高AUC

更高效的特征，能够获得更精准的结果

---1. 数据采集（思考哪些数据对最后的预测结果有帮助）

举例：现在要做预测用户对商品下单情况，或者做商品推荐，那么我们需要采集什么信息？

从三个维度：商家的，商品的，用户的

商家（商家评分，评论数据：发货速度，开业时间，服务态度）

商品（购买量、点击量、加入购物车、商品固有属性）

用户（历史性：以前购买最高价，最低价、喜欢什么材质、消费能力

上下文信息：停留时间）

----2. 数据格式化

  确定存储格式

  1. 按时间存储（年月日、时间戳、第几天）

   2. 单个动作记录/一天行为集合

大多数情况需要关联很多的hive表和hdfs文件夹，所以要用到很多的map-reduce

----3. 数据清洗

   去掉脏数据

举例：

简单：身高高于3米+ | 一个月买脸盆墩布买了10w的人 | 5,6w买发卡

组合或者统计属性判定：

1）号称在米国却ip一直都是大陆的新闻阅读用户

2）判定一个人是否会买篮球鞋，样本中女性用户占比85%

补齐可对应的缺省值

1）不可信样本丢掉，缺省值极多的字段考虑不用（比如contry，contrycode）

---4. 数据采样

   很多情况下，正负样本是不均衡的

     1）电商的用户点/买过的商品和没有行为的商品

      2）某些疾病的患者和健康人

   大多数的模型对正负样本的比例是敏感的（比如LR）

   随机采样和分层抽样

正负样本不平衡的处理办法

1. 正样本>>负样本，且量都很大 -->downSampling（下采样，从正样本中抽取和负样本差不多1:1的情况）

2. 正样本 >>负样本，量不大

    1）采集更多数据

    2） 上采样/oversampling（比如图像识别中的镜像和旋转）造一些负样本

    3） 修改损失函数（给负样本大一些权重）